ตั้งอยู่ริมทางรถไฟด้านทิศตะวันออกของพระปรางค์สามยอด เป็นเทวสถานเก่าของขอมเรียกอีกชื่อหนึ่งว่า “ศาลสูง” มีทับหลังซึ่งทำด้วยศิลาทรายสลักเป็นรูปพระนารายณ์บรรทมสิทธุ์ อายุราวศตวรรษที่ 16 วางอยู่ติดฝาผนังวิหารหลังเล็กชั้นบน และยังได้พบหลักศิลาจารึกแปดเหลี่ยม จารึกอักษรมอญโบราณด้วย
ส่วนด้านหน้าเป็นศาลที่สร้างขึ้นเมื่อ พ.ศ. 2494 โดยสร้างบนฐานเดิมที่สร้างในรัชสมัยสมเด็จพระนารายณ์มหาราชภายในวิหารประดิษฐานพระนารายณ์ทรงยืน ทำด้วยศิลา 2 องค์ องค์เล็กเป็นแบบเทวรูปเก่าในประเทศไทย องค์ใหญ่เป็นประติมากรรมแบบลพบุรี แต่พระเศียรเดิมหายไป ภายหลังมีผู้นำเศียรพระพุทธรูปศิลาทรายสมัยอยุธยามาสวมไว้เป็นที่เคารพสักการะของประชาชนทั่วไป
ในบริเวณรอบศาลพระกาฬร่มรื่นด้วยต้นไม้ใหญ่ จึงเป็นที่อยู่อาศัยของฝูงลิงจำนวนมาก เป็นสัญลักษณ์อีกอย่างหนึ่งของจังหวัดลพบุรี