در چهار گوشه قلعه چهار برج سر به فلک کشیده که در قدیم مخصوص نگهبانان و مراقبت از اوضاع امنیتی اطراف قرار گرفته، تماماً به سبک معماری سنتی ساخته شده است. خوشبختانه هنوز حوادث طبیعی بخصوص زلزله های اسفند 83 و اردیبهشت 85 به لحاظ استحکام و مقاومت بنای مذکور نتوانسته به آن آسیب جدی وارد نماید. طرح و سبک معماری قلعه براساس اصول معماری قدیم، با در نظر گرفتن مکان های مخصوص زندگی و سکونت سران قوم، رعیت ها و همچنین در نظر گرفتن جایگاه مخصوص نگهداری احشام صورت گرفته است. معماری زیبا و گچ بری و مقرنس کاری حاشیه سر در اتاق ها و حتی سقوف اتاق ها و دیگر تزئینات بکار گرفته شده کلاً استادانه و با مهارت انجام گردیده که در خور تحسین و جالب توجه است. بطوریکه بعد از گذشت سال ها هنوز تعدادی از درب های چوبی قدیم که با دقت و ظرافت و از بهترین نوع چوب ساخته شده اند، موجود و سالم باقی مانده است. وجود چنین قلعه ای در یزدان آباد نشانه ازدیاد جمعیت و قدمت تاریخی آن ناحیه در گذشته می باشد. باغچه نسبتاً بزرگی که در وسط حیاط قلعه قرار گرفته و دارای چند درخت قدیمی می باشد به سرسبزی و زیبادی حیاط قلعه افزوده است. ابتدا ساختمان های قلعه ساخته شده و چون خبری از دزدی و چپاول نبود، مردم با خیال راحت و امنیت خاطر زندگی می کردند. بعد از گذشت سال ها خبر آوردند که دزدان و راهزنان از حوالی شیراز به شهرها و روستاها حمله می کنند و مال مردم را به غارت می برند. بعد از پخش این خبر مرحوم شاهرخ خان که یکی از مالکین عمده یزدان اباد بود برای حفظ جان خود و خانواده اش و نیز مردم آن ناحیه دستور می دهد تا به منظور دیده بانی و مراقبت از آن روستا چهار برج در چهار گوشه قلعه بسازند که در مدت پنجاه روز چهار برج مطمئن که مخصوص دیده بانی و اطلاع نگهبانان برج از حمله احتمالی راهزنان بود ساخته می شود. مرحوم شاهرخ خان برای اطمینان از بکارگرفتن استادان ماهر، پس از تحقیق برای ساختن برج ها از مرحوم سلمان فرزند علی و پسرش مرحوم کربلائی غلامحسین برهانی زرندی که از معماران با تجربه سنتی بوده، دعوت می نماید که پس از پنجاه روز برج ها را به شکل زیبائی احداث نمایند. به لحاظ مهارت در ساخت برج ها و نیز بکارگرفتن مصالح مطمئن که باعث استحکام برج ها گردیده، حوادث طبیعی بخصوص زلزله های اسفند 83 و اردیبهشت 85 قادر به آسیب رساندن برج ها نبوده اند. البته سالمندان یزدان آباد قدمت برج ها را بین 200 تا 220 سال قبل می دانند. از آنجائیکه چهار برج شاهرخ خان دارای موقوفاتی می باشد، سال ها تولیت آن به عهده حاج عزت اله خان سیف الدینی بوده است.