ساختمان موزه متعلق به کریم خان فراش، مباشر قوام الملک شیرازی بوده و یکی از عمارت های مجموعه قوام به حساب میاد که در عصر قاجار بنا شده. فرش های نفیس و قدیمی در آن به نمایش گذاشته شده و ساعت کار هر روز