Museum Tosan Aji diresmikan pada tanggal 13 April 1987 oleh Gubernur KDH Tingkat I Jawa tengah Bapak Ismail. Lokasi museum pada waktu itu terletak di Pendopo Kawedanan Kutoarjo. Pada tanggal 10 Juni 2001 oleh Pemerintah Kabupaten dipindah dari Kutoarjo ke kota Purworejo menempati bangunan bekas Pengadilan Negeri pada zaman Belanda, yaitu di jalan Mayjend Sutoyo No. 10 atau sebelah selatan alun-alun Purworejo. Hal tersebut dilakukan sebagai upaya mewujudkan lokasi terpadu beberapa bangunan bersejarah, seperti Masjid Agung Darul Mutaqin di sebelah barat alun-alun dengan Bedug Pendowonya terbesar di Indonesia mungkin di dunia, dan Museum di sebelah selatan.
Museum Tosan Aji merupakan museum khusus yang menyajikan satu jenis koleksi yaitu Tosan Aji (keris). Tosan Aji merupakan salah satu hasil budaya bangsa sebagai warisan nenek moyang yang menunjukan salah satu identitas budaya bangsa. Suasana di museum ternyata didesain sedemikian rupa agar seakan-akan menikmati alam bersejarah kota Purworejo. Alat, bahan, dan keris yang sudah ada disajikan tepat di ruang paling depan, kita dapat pertama kali menikmati dan mengetahui proses pembuatan keris budaya leluhur bangsa.
Seiring perkembangannya, Museum Tosan Aji tidak hanya menyajikan koleksi Tosan Aji saja, namun juga menampilkan berbagai koleksi benda cagar budaya yang banyak ditemukan di wilayah purworejo, baik pada masa prasejarah maupun masa klasik. Koleksi cagar budaya menambah daya tarik tersendiri bagi para pengunjung. Disamping pengetahuan yang diperoleh ternyata ketakjuban juga dengan kekayaan alam yang dimiliki kota Purworejo.
Koleksi pusaka yang dimiliki lebih dari 1000 bilah terdiri dari keris, pedang, tombak, kujang/kudi, Cundrik Granggang yang berasal dari masa Kerajaan Pajajaran, Majapahit hingga sekarang, dan tersimpan pula benda-benda cagar budaya lainnya seperti Gamelan Kuno Kiyai Cokronegoro, hadiah dari Sri Susuhan Paku Bowono VI kepada Bupati Purworejo Pertama Cokronegoro serta arca, prasati, lingga, yoni, fragmen lumping, guci, beliung, batu gong, gerabah menhir, dan fosil.