Sebelum menjadi museum tekstil, gedung ini mulanya adalah rumah pribadi seorang warga negara Perancis yang dibangun pada abad ke-19. Tempat ini kemudian dibeli oleh konsul Turki bernama Abdul Azis Almussawi Al Katiri, yang selanjutnya pada tahun 1942 dijual kepada Dr. Karel Christian Cruq. Pada masa perjuangan kemerdekaan Indonesia, gedung ini difungsikan sebagai markas Barisan Keamanan Rakyat (BKR) dan tahun 1947 didiami oleh Lie Sion Pin. Departemen Sosial kemudian membeli gedung tersebut pada 1952 dan diserahkan kepada Pemda DKI Jakarta. Gedung ini diresmikan sebagai Museum Tekstil pada tanggal 28 Juni 1976 oleh Ibu Tien Soeharto.
Gagasan untuk mendirikan Museum Tekstil muncul tahun 1975 yang dilatarbelakangi sinyalemen membanjirnya tekstil modern yang dikhawatirkan menggeser tekstil tradisional nusantara. Pemrakarsa gagasan tersebut adalah Kelompok Pecinta Kain Tradisional Indonesia WASTRAPREMA, Bapak Ir.Safioen (saat itu selaku Dirjen Tekstil Departemen Perindustrian). Gubernur DKI Jakarta pada waktu itu dijabat oleh Bapak Ali Sadikin mendukung upaya ini dan menyediakan tempat bagi museum yang akan didirikan yaitu gedung yang berada di Jl. KS Tubun No. 4 Petamburan, Jakarta Barat. Pada tanggal 28 Juni 1976 gedung ini diresmikan sebagai Museum tekstil oleh Ibu Tien Soeharto (Ibu Negara pada saat itu) dengan disaksikan oleh Bapak Ali Sadikin selaku Gubernur DKI Jakarta.
Pada tahun 1998 Pemda DKI Jakarta melakukan perluasan areal Museum Tekstil ke sebelah timur dan sekaligus menjadikan gedung tua di Jl. KS Tubun No. 2 tersebut sebagai sarana penunjang kegiatan museum dengan menampung partisipasi masyarakat untuk turut mengembangkan tekstil kontemporer yang berkembang di Indonesia, sehingga gedung ini diberi nama Galeri Tekstil Kontemporer. Gedung II diresmikan penggunaannya pada tanggal 21 November 2000, ditandai dengan berlangsungnya kegiatan perdana berupa Pameran Koleksi Batik Iwan Tirta, hasil kerja sama Museum Tekstil dengan Wastraprema dan Yayasan Mitra Museum Indonesia. Selanjutnya berturut-turut pernah diselenggarakan juga kerja sama kegiatan dengan Perhimpunan Persahabatan Indonesia-Amerika (PPIA), Pusat Kebudayaan Perancis, Pusat Kebudayaan Meksiko, serta beberapa lembaga/kelompok masyarakat lainnya.
Koleksi awal yang dihimpun di Museum Tekstil diperoleh dari sumbangan Wastraprema (sekitar 500 koleksi), selanjutnya makin bertambah melalui pembelian oleh Dinas Museum dan Sejarah/ Dinas Museum dan Pemugaran/Dinas Kebudayaan dan Permuseuman, serta sumbangan dari masyarakat baik secara individu maupun kelompok. Hingga saat ini koleksi Museum Tekstil tercatat sejumlah 1914 buah.
Dihiasi dengan tiang Tuscan dan pilaster bergalur khas arsitektur pada masanya, gedung satu lantai beratap tinggi yang menaungi Museum Tekstil di Jalan Aipda K.S. Tubun berasal dari awal abad ke-19. Dibangun oleh orang Prancis, kemudian dijual ke Konsul Turki, yang menambahkan bangunan di kedua sisi perkebunan; Galeri Batik sekarang terletak di sebelah kanan. Menantu konsul, Sayid Abdullah bin Alwi Alatas, yang secara lokal dikenal sebagai “Tuan Baghdad” karena kedermawanannya, kemudian membeli properti itu dan tinggal di gedung utama. Sebuah atap diperpanjang kemudian ditambahkan di sekitar struktur, yang melindungi teras dan jendela tinggi dari matahari tropis dan hujan lebat. Atap ini dipangkas dengan pinggiran yang anggun dengan gaya yang sekarang dikenal di Indonesia sebagai renda atau renda.*
*Teks dari: Judi Achjadi, Museum Tekstil Jakarta (Jakarta: Indonesian Heritage Society, 2004), 13-11.