Museum ini semula adalah kediaman pribadi dari Nasution yang ditempati bersama dengan keluarganya sejak menjabat sebagai KSAD tahun 1949 hingga wafatnya pada tanggal 6 Sepetember 2000. Selanjutnya keluarga Nasution pindah rumah pada tanggal 29 Juli 2008, sejak dimulainya renovasi rumah pribadi tersebut menjadi museum.
Di kediaman ini Jenderal Besar DR. Abdul Haris Nasution telah menghasilkan banyak karya juang yang dipersembahkan bagi kemajuan bangsa dan negaranya. Di tempat ini pulalah pada tanggal 1 Oktober 1965 telah terjadi peristiwa dramatis yang hampir merenggut nyawa Jenderal Besar DR. Abdul Haris Nasution. Pasukan Tjakrabirawa G-30S/PKI berupaya menculik dan membunuh beliau, namun hal ini gagal dilakukan. Dalam peristiwa tersebut, putri kedua beliau, Ade Irma Suryani Nation dan ajudannya, Kapten Anumerta Pierre Andreas Tendean gugur.
Museum Nasional Jenderal Besar Dr. A.H. Nasution diresmikan pada hari Rabu, 3 Desember 2008 (bertepatan dengan hari kelahiran Abdul Haris Nasution), oleh Presiden Susilo Bambang Yudhoyono.