Нелегко Ушаковым было привыкать к новому месту. В памяти оставалась многолюдная Москва с многочисленными большими и красивыми храмами и домами.
Вскоре жителей Черного Яра постигло несчастье: 25 июля 1652 г. в городе начался пожар. С дома местного священника Пафнутия он перекинулся на дом воеводы и приказную избу. За ними вслед запылал целый город. Всего несколько часов бушевало пламя, но за эти часы весь Черный Яр выгорел без остатка. Местные жители, прихватив самый необходимый скарб и спешно покинув городские пределы, в смятении смотрели со стороны на пожарище. Слышались плач, стоны, горестные восклицания.
Борис, а ему было лишь пять лет от роду, не понимал всего горя. Но вид человеческого страдания оставил самый глубокий след в душе мальчика.
В том же 1652 г. из Астрахани пришло повеление воеводы боярина князя Михаила Петровича Пронского строить Черный Яр заново, на полверсты выше по берегу. Вместе с городом была заложена и новая церковь. Усердием воеводы Ушакова она строилась больше прежней, о трех приделах: центральный – Воскресения Христова, а боковые – Казанской Божией Матери и святителя Николая. Воеводские палаты стояли, как прежде, напротив. Стройка шла споро, настроение жителей, как и всегда во времена общего поновления, было самое бодрое. Казалось, жизнь черноярцев налаживается, и все бедствия остались далеко позади.