امامزاده یحیی بن موسی کاظم در مرکز بافت قدیم شهر سمنان و در انتهای بازار جنوبی حضرت قرار دارد. بنا به گواهی ابن شهر آشوب در مناقب و صاحب عمدة الطالب و کشف الغمه و کتب دیگر و تأیید محمد صالح حائری مازندرانی که سالها در جوار بقعه سکونت داشته و تحقیقات فراوانی در خصوص این بقعه و سایر بقاع سمنان انجام داده ، صاحب بقعه فرزند بلافصل موسی کاظم امام هفتم شیعیان است که در سال 198 هجری قمری هنگام مسافرت علی بن موسی الرضا از مدینه به مرو جزو همراهان او بود و برادرش وی را جهت ارشاد مردم مأمور کرد. بعد از کشته شدن علی بن موسی الرضا، به تحریک مأمون خلیفه عباسی یحیی بن موسی نیز در سمنان کشته و در محل کنونی به خاک سپرده شد.
بقعه دارای گنبد بزرگ و ایوان کاشیکاری شده، حرم و صحن است که ارتفاع ایوان آن حدود 12/5 متر بوده و کاشیکاری آن در سال 1338 انجام شده است. بخش پایینی ایوان دارای کاشی کاری جدیدتری هست و شامل چهار طاقنمای کاشی کاری شده است. همچنین، در طرفین درب ورودی حرم که در سمت غرب ایوان واقع شده ، دو طاقنما با کاشی های لاجوردی وجود دارد که طاقنمای سمت راست زیارتنامه یحیی بن موسی و طاقنمای سمت چپ دعای اذن دخول هست. همچنین، دو طاقنمای دیگر یکی در ضلع شمالی ایوان شامل سوره توحید و دیگری در ضلع جنوبی شامل آیه الکرسی وجود دارد. در شمال و جنوب ایوان دو راهرو ایوان را به صحن مرتبط می سازد.
قدمت گنبد عظیم بقعه که بر بالای حرم و بر روی چهار فیل پوش استوار بوده، مربوط به قرن هشتم و دوران مغول هست. این گنبد پیازی شکل بوده و نمای خارجی آن را کاشی های فیروزه ای پوشانده که کاشی کاری آن در سال 1348 انجام شده است. در ضلع شمالی حرم امامزاده یحیی، مدفن بیش از 270 نفر از کشته شدگان سمنانی انقلاب 1357، جنگ ایران و عراق و جنگ داخلی سوریه وجود دارد.