کاروانسرای قلعه خرگوشی یکی از مهمترین کاروانسراهای دوره صفوی است که ساخت آن را به زمان حکومت شاه عباس صفوی نسبت می دهند. در واقع، قلعه خرگوشی یکی از همان 999 کاروانسرایی است که به دستور شاه عباس در مسیرهای اصلی آن زمان ساخته شده است.تمام این بنای 80×80 متر از سنگ گرانیت و آجر ساخته شده است. حتی صفه ها، حجره ها و اصطبل بنا هم سنگی هستند و این شاید مهم ترین دلیل استوار ماندن قلعه خرگوشی تا امروز باشد .شاید جالب ترین تزئین بنا که در نگاه اول نظرتان را جلب می کند، کتیبه ای باشد که بر سر در ورودی نصب شده و روی آن به خط "علی رضا عباسی" خطاط معروف عصر "شاه عباس" نوشته شده است.