Aus den ersten Reichstagswahlen vom 3. März 1871 waren die mit dem Reichskanzler Otto von Bismarck verbündeten Nationalliberalen als stärkste Kraft hervorgegangen. Sie bejahten sowohl den wenige Monate zuvor gegründeten kleindeutschen Nationalstaat als auch den Parlamentarismus. Von daher kann es nicht verwundern, dass bereits wenige Monate nach der Reichsgründung, am 19. April 1871, der nacheinander in diversen Provisorien untergebrachte Reichstag beschloss: „Die Errichtung eines den Aufgaben des deutschen Reichstags entsprechenden und der Vertretung des deutschen Volkes würdigen Parlamentshauses ist ein dringendes Bedürfnis.“

Die Frage war nun, wer damit beauftragt werden sollte, es wo zu errichten. Für die Beantwortung der Frage nach dem „wer“ wurde noch im Jahre der Reichsgründung ein Architektenwettbewerb ausgeschrieben. Der Wettbewerb war international offen, und so fanden sich unter den 103 Teilnehmern auch 15 aus Großbritannien, sieben aus Österreich sowie weitere aus Italien, Belgien, Holland und sogar Frankreich. Die Jury bestand aus zwölf Parlamentariern sowie den sechs Architekten Gottfried Semper, Vinzenz Statz, Gottfried Neureuther, Friedrich Schmidt, Friedrich Hitzig und Richard Lucae sowie dem Bildhauer Friedrich Drake. Als Gewinner ging im darauffolgenden Jahr ein Entwurf Ludwig Bohnstedts hervor.

Blieb die Frage nach dem „wo“. Als Bauplatz war bereits frühzeitig der heutige im Spreebogen ausge­guckt. Als Problem erwies sich, dass auf diesem Platz damals bereits ein Gebäude stand, das Palais Raczynski. 1847 hatte der damalige preußische König, Friedrich Wilhelm IV., Athanasius Raczynski das Grundstück für die Errichtung eines Galeriegebäudes geschenkt, damit dieser dort seine Bilder der Öffentlichkeit zugänglich machen konnte. Weder war Raczynski bereit, sein Lebenswerk aufzugeben, noch Kaiser Wilhelm I., eine Enteignung durchzuführen, um einem Mann das zu nehmen, was ihm sein älterer Bruder und Vorgänger als preußischer König für treue Verdienste überlassen hatte. So musste der Tod Raczynskis im Jahre 1874 abgewartet werden. Dessen Sohn sträubte sich zwar aus Pietät anfänglich auch etwas, das Erbe seines Vaters aufzugeben, verkaufte aber schließlich.

Nun hätte man den Entwurf des in Russland geborenen Deutschen Bohnstedt realisieren können, aber das tat man nicht. Die mittlerweile in den Provisorien gemachte Parlamentserfahrung hatte bei den Reichstagsabgeordneten neue Ansprüche an den Neubau entstehen lassen. So wurde 1882 erneut ein Architektenwettbewerb ausgeschrieben. Abgesehen von Preisträgern des vorangegangenen Wettbewerbes wurden diesmal allerdings nur Deutsche zugelassen. Die Jury war wieder ähnlich zusammengesetzt. Diesmal standen 13 Parlamentariern sieben Architekten und ein Maler gegen­über. Das Rennen unter den 189 Einreichungen machte ein Entwurf des Frankfurter Architekten Paul Wallot. Eine überarbeitete Fassung erhielt Ende 1883 das Placet von Reichstag, Kaiser, Reichsregierung und der Akademie des Bauwesens.

Am 9. Juni 1884 wurde feierlich der Grundstein gelegt. Zu den 75 Personen, die auf den Stein hämmerten, zählten neben dem damaligen auch die beiden späteren Deutschen Kaiser. Wilhelm I. hatte auf der Teilnahme des damaligen Kronprinzen bestanden in dem Wissen, dass er selber die Fertigstellung des Baus nicht mehr erleben würde. Dass dieses auch seinem Sohne versagt blieb, konnte er nicht ahnen.

In der mehr als zehn Jahre umfassenden Bauphase wurden rund 32,7 Millionen Ziegelsteine, 30000 Quadratmeter Sandstein und allein für die neuartige Kuppelkonstruktion 320 Tonnen Stahl verbaut. Am 5. Dezember 1894 war es dann so weit. An jenem Tage vor Nikolaus wurde im neuen Reichstagsgebäude der Schlussstein gelegt und im Berliner Schloss der Reichstag eröffnet.