Museum Aceh didirikan pada tanggal 31 Juli 1915 dengan nama Atjeh Museum yang dipimpin oleh F.W.Stammeshous dan diresmikan oleh Gubernur Sipil dan Militer Jenderal Belanda H.N.A. Swart. Pada awal berdirinya bangunan Museum tersebut hanya berupa Rumoh Aceh.
Museum ini didirikan pada masa pemerintahan Hindia Belanda. Peresmian dilakukan pada tanggal 31 Juli 1915, oleh Gubernur Sipil dan Militer Aceh Jenderal H.N.A Swart. Museum ini dikepalai oleh FW Stammeshaus yang menjabat sebagai Kepala Museum sekaligus Kurator hingga tahun 1931. Pada saat itu, museum ini hanya berbentuk sebuah rumah tradisional Aceh (Rumoh Aceh) yang keberadaannya masih tetap dipertahankan dalam area halaman museum hingga saat ini. Bangunan berbahan dasar kayu ini berbentuk rumah panggung dengan sistem konstruksi pasak yang dapat dibongkar pasang secara fleksibel.
Rumoh Aceh ini sebelumnya dipertunjukkan dalam Pameran Kolonial (De Koloniale Tentoonsteling) yang berlangsung di Semarang pada tahun sebelumnya. Dalam pameran tersebut, kebanyakan koleksi di Paviliun Aceh merupakan koleksi pribadi Stammeshaus ditambah berbagai koleksi benda pusaka peninggalan kesultanan Aceh. Dalam pameran ini, Rumoh Aceh memperoleh anugerah sebagai Paviliun terbaik dengan perolehan 4 medali emas, 11 perak serta 3 perunggu untuk berbagai kategori.
Diantara koleksi yang cukup populer dari museum ini adalah sebuah lonceng yang usianya telah mencapai 1400 tahun. Lonceng ini bernama ‘Lonceng Cakra Donya’ yang merupakkan hadiah dari Kaisar Cina dari Dinasti Ming kepada Sultan Pasai pada Abad Ke-15, yang dihadiahkan saat perjalanan muhibah Laksamana Muhammad Cheng Ho. Lonceng ini dibawa ke Aceh saat Sultan Ali Mughayat Syah dari Kesultanan Aceh menaklukkan Pasai pada tahun 1524 M.
Setelah Indonesia merdeka, operasional Museum Aceh secara bergantian dikelola oleh Pemerintah Daerah Tk.II Banda Aceh (1945-1969), Badan Pembina Rumpun Iskandar Muda (Baperis) (1970-1975), Departemen Pendidikan dan Kebudayaan (1976-2002) dan saat ini pengelolaan Museum Aceh menjadi kewenangan Pemerintah Provinsi Aceh. Berdasarkan Surat Keputusan Gubernur Nomor 10 Tahun 2002 tanggal 2 Februari 2002, status Museum Aceh menjadi UPTD Museum Provinsi Aceh dibawah Dinas Kebudayaan dan Pariwisata Aceh.
Sampai tahun 2019, Museum Aceh memiliki 5.328 koleksi benda budaya dari berbagai jenis dan 12.445 buku dari berbagai judul yang berisi aneka macam ilmu pengetahuan.