ห่างจากเทวสถานปรางค์แขก 300 เมตร อยู่ทางทิศเหนือของพระนารายณ์ราชนิเวศน์ ใช้เป็นที่รับรองราชทูตที่มาเฝ้าฯ สมเด็จพระนารายณ์มหาราชที่เมืองลพบุรี คณะราชฑูตจากประเทศฝรั่งเศสชุดแรกที่เข้ามาเมื่อ ปี พ.ศ. 2228 ได้พำนัก ณ ที่แห่งวนี้ ต่อมา Constantine Phaulkon (คอนสแตนติน ฟอลคอน) ซึ่งเป็นชาวกรีกได้เข้ามารับราชการ ได้รับความดีความชอบ และได้รับการแต่งตั้งให้เป็น “เจ้าพระยาวิชาเยนทร์” และได้รับพระราชทานที่พักอาศัยทางทิศตะวันตกของบ้านหลวงรับราชทูต เจ้าพระยาวิชาเยนทร์มีภริยาชื่อ มารี เดอร์ กีมาร์ หรือคนไทยรู้จังในชื่อ “ท้าวทองกีบม้า” ต้นตำรับขนมทองหยิบ ทองหยอด ฝอยทอง
พื้นที่ในบริเวณบ้านหลวงรับราชทูตแบ่งเป็น 3 ส่วน คือ ที่พักอาศัยของเจ้าพระยาวิชาเยนทร์ หอระฆังและโบสถ์คริสต์ และอาคารที่พักอาศัยของคณะทูต เป็นต้น