Двор московского князя-вотчинника первоначально был построен на высокой крутой горе при впадении в Москву-реку речки Неглинны. Крутой угол этой горы, опускавшейся к Неглинной, теперь не существует: его несколько раз сравнивали и срывали и в последнее время привели в теперешний довольно отлогий вид; в первые годы нынешнего столетия еще трудно было и въезжать, и всходить на эту гору, а в прежнее время, без сомнения, она была с этой стороны еще круче. С горы открывался обширный и живописный вид на Заречье – один из тех, которыми так богаты вообще берега рек Московской области, и в особенности берега Москвы-реки.
В то время как князья стали здесь строиться, гора была покрыта боровым лесом, чему свидетелями служат остающиеся до сих пор названия Боровицких ворот и дворцовой церкви Спаса на Бору. Здесь же против ворот стояла другая церковь, сломанная при постройке нового дворца, – Рождества Иоанна Предтечи на Бору, о которой летописец рассказывает, что она в том бору была и срублена и была первою древнейшею церковью Москвы и первым ее соборным храмом при Петре митрополите, который вначале и жил возле нее. Есть также свидетельство, что это место было заселено еще в глубокой древности. При постройке здания теперешней Оружейной палаты, примыкающего к Боровицким воротам, были найдены на материке два серебряных витых обруча (гривны) и две серьги, принадлежащие еще языческой эпохе и весьма сходные с подобными же вещами, находимыми в курганах Московской области. Нельзя забыть также и мнения Ходаковского о древнеславянских городищах и городках, которые он считает богослужебными языческими капищами и которые устраивались именно на таких горах, при слиянии двух рек, с отлогим всходом с восточной стороны, как все и существует на этой Кремлевской горе. Во всяком случае, место было очень удобно если не для языческого капища, то для обыкновенного поселения.
Если церковь Иоанна Предтечи была первою в древнем городке Москвы, то и первый княжий дворец мы должны отыскивать возле этой же церкви, и притом с западной ее стороны, так что его местоположение придется еще ближе к Боровицким воротам или же вообще ближе к острому углу бывшего здесь некогда берегового острога, или косогора, теперь, как мы упомянули, значительно срытого. После, быть может, уже в XIII в., когда население распространилось, и княжеский двор по тесноте места должен был отодвинуться дальше к востоку, где и устроился на месте нынешнего Большого дворца пред новою церковью Благовещения на княжих Сенях. По легендам, постройка этой церкви относится к 1291 г.