История дома сложна и запутанна: так, известно, что с конца 1820-х гг. усадьба была передана Приказу общественного призрения для размещения воспитательного дома. Но планировка здания при этом осталась прежней, типичной для особняка. Это позволяет предположить, что для нужд воспитательного дома был отдан один из флигелей, а бывшую губернаторскую резиденцию сдавали внаём богатым арендатором (например, вполне вероятно, что с 1844 по 1847 гг. именно этот дом арендовала княгиня Волконская)