این قلعه بسیار گسترده است به طوری که گویا این قلعه خود یک روستای بزرگ بوده. در چهار طرف این قلعه چهار برج قرار گرفته. قلعه خویدک یزد از جمله شاهکارهای کویر ایرانِ که با مصالح کاملا بومی و با استفاده از روش ها و متد معماری سنتی کویر ساخته شده. ساخت و ساز فعلی بنا مربوط به دوران آل مظفرِ (قرن هشتم هجر