Am Beginn der 1647 vom Großen Kurfürsten angelegten Straße Unter den Linden befanden sich nach Auskunft des Memhardtschen Stadts dem Kupfergraben zugewandte Häuser mit Gärten dahinter. Der Gedanke, ein neues Zeughaus zu bauen, ist wohl schon unter dem Großen Kurfürsten aufgekommen, ausgeführt wurde er jedoch erst 1695 unter seinem Sohn und Nachfolger Friedrich III. Johann Arnold Ncring, der bereits im gleichen Jahr starb, begann den Bau. dem rmutlich ein Entwurf des Franzosen Francois Blondel zugrunde lag. Andreas Schlüter arbeitete seit I696als Bildhauer für das Zeughaus, ehe er die Bauleitung übernahm. Vollendet wurde der Außenbau durch Jean de Bodt 1706, während sich die Ausgestaltung des Inneren noch bis 1730 hinzog. Das Zeughaus war der erste barocke Großbau Berlins. Der aufwendige Schmuck der Trophäen auf der Dachbalustrade und die Helme über den Fenstern des Erdgeschosses lassen die Bestimmung des Hauses erkennen. Die triumphale Geste des Außeren erfährt im Innenhof jedoch eine einschränkende Ergänzung. Hier wird in den berühmten 22 Masken sterbender Krieger die Kehrseite des Krieges vor Augen geführt. Zwar sind es Barbaren, deren Tod als Unterlegene dargestellt wird, aber ihr Tod ist von Schlüter mitleidend und achtungsgebietend gestaltet.
Am 14. Juni 1848 erstürmten Berliner Arbeiter und Handwerksgesellen das Zeughaus, um sich mit Gewehren und Munition zu bewaffnen. »Allgemeine Volksbewaffnung« hieß die Parole. Der Maschinenbauer Karl Siegrist hatte vor dem Zeughaus in die Menge gerufen: »Man hat uns die Waffen rsprochen, man gibt sie uns nicht gutwillig, und da wir heute so zahlreich rsammelt sind, so wollen wir sie uns mit Gewalt nehmen.« Nach der Reichsgründung 1871 ließ Wilhelm I. das Zeughaus zu einem Waffenmuseum und zu einer Ruhmeshalle des brandenburgisch-preußischen Herrscherhauses umgestalten. Die notwendigen Umbauten wurden durch den Architekten Friedrich Hitzig ausgeführt. Der Innenhof erhielt eine monumentale Freitreppe mit einer Glaskuppel. Am 21. März 1943 mißlang im Zeughaus ein Attentatsrsuch auf Hitler. Oberst von Gersdorff wollte sich selber mit Hiller und der gesamten Spitze des Regimes während einer Besichtigung erbeuteter russischer Kriegswaffen in die Luft sprengen. Weil Hitler den Rundgang plötzlich auf wenige Minuten rkürzte, konnte der Zeitzünder nicht ausgelöst werden.
Im Zweiten Weltkrieg wurde der Bau schwer beschädigt, danach äußerlich in den alten Formen wiederhergestellt. 1952 wurde von der DDR-Regierung im ehemaligen Zeughaus das Museum für Deutsche Geschichte eröffnet; seit 1981 präsentierte man die Bestände in einer neu gestalteten Dauerausstellung. Sozialistischer Interpretation gemäß, wurde die DDR als das Deutschland der friedlichen und fortschrittlichen Kräfte dargestellt. Die letzte Proanda-Ausstellung zum 40. Gründungsjahr der DDR hat man nach der Wende im Herbst 1989 schleunigst abgebaut. Am 15. September 1990 hat das Museum für Deutsche Geschichte seine Tätigkeit eingestellt. Es wurde von dem neugegründeten Deutschen Historischen Museum (DHM) übernommen. Direktor des Museums wurde der aus München nach Berlin berufene Historiker Christoph Stölzl. Im Januar 1992 einigten sich der Berliner Senat und Bundeskanzler Helmut Kohl darauf, das Deutsche Historische Museum im Zeughaus Unter den Linden unterzubringen. Damit konnte auf einen ursprünglich vorgesehenen Neubau im Spreebogen rzichtet werden.