Museum Sasmita Loka Ahmad Yani dibangun sekitar tahun 1930-1940an ketika masa pengembangan wilayah Menteng dan Gondangdia. Semula gedung ini dipergunakan sebagai rumah tinggal pejabat maskapai swasta Belanda atau Eropa.
Pada tahun 1950-an tempat ini dikelola oleh Dinas Perumahan Tentara, kemudian dihuni oleh Letjen Ahmad Yani sebagai perwira tinggi TNI AD dengan jabatan terakhir Menteri/ Panglima Angkatan Darat RI. Rumah ini kemudian menjadi museum sejarah sebagai peringatan atas terbununya Letjen A. Yani dalam peristiwa G-30S/PKI. Museum Sasmita Loka Ahmad Yani ini diresmikan pada 1 Oktober 1966 oleh Menpangad Mayjen Soeharto, sesaat setelah rumah beserta isinya diserahkan oleh Ibu A Yani dan putera-puterinya kepada negara.
Museum ini memajang foto di bagian belakang rumah, di antaranya adalah rekonstruksi penembakan dan penculikan oleh Pasukan Cakrabirawa terhadap Letjen Ahmad Yani, serta koleksi foto-foto pengangkatan jenazah para Pahlawan Revolusi oleh KKO (Marinir) pada 4 Oktober 1965, upacara pemakaman pada 5 Oktober 1965, foto-foto keluarga, penyerahan Kota Magelang pada 1949 dari Belanda diwakili Letkol van Santen kepada Letkol Ahmad Yani, dan foto-foto karier militer Ahmad Yani lainnya.
Di dalam kamar tidur Letjen A. Yani tersimpan pula memorabilia, senjata otomatis Thompson Cakrabirawa yang menewaskannya, lengkap dengan sisa pelurunya, senjata LE Cal 7,62 buatan Cekoslovakia yang dipakai untuk membunuh Letjen TNI Anumerta S. Parman, dan senjata Owengun yang digunakan untuk menembak DN Aidit dan tokoh PKI lainnya, serta replika pakaian tidur lengan pendek yang digunakan Ibu A. Yani untuk membersihkan lantai dari lumuran darah suaminya, gaji terakhir bulan Obtober 1965 sebesar Rp. 120.000, cincin, kaca mata, keris, dan tongkat komando.