کاروانسرای برازجان بنای بلند و محکمی بوده که در میان مردم محل به دژ معروف هست. بنا مربوط به دوره قاجاریه بوده، ولی معماریش به سبک معماری زندیه است. تا مدتهای طولانی به عنوان زندان مورد استفاده قرار می گرفت و مهندس مهدی بازرگان هم در این دژ زندانی بود. این بنا جز آثار ملی ایران به ثبت رسیده است.