Четыре недели находился Зиновьев на Амуре, после чего отбыл в Москву, захватив с собою Ерофея. Прямой и честный Хабаров не пришелся по душе спесивому и властолюбивому вельможе, а ко всему прочему не понравились ему и вольнолюбивые порядки на Амуре, вот он и решил предать того суду. Вроде как заподозрив в утайке ясака. А перед тем царский посланец и в лицо Ярке Хабарову плевал, требуя отчета, и за бороду драл, при этом пытаясь вооружить против него его товарищей. Вот так, пережив на Амуре три тяжелейших года ратных трудов и добившись немалых успехов в деле освоения Приамурья, Ерофей Хабаров по прозвищу Святицкий впал в опалу. По пути в Москву и в самом стольном граде, претерпев унижения, он прожил два года, может быть, самых трудных в своей жизни.
Но Хабарову повезло. Ему удалось избежать дальнейших злоключений. Отчасти в этом ему помог его недруг Зиновьев, который в своем докладе государю отметил, что, несмотря на вольницу, дела на Амуре идут полным ходом. Растут крепости, отстраиваются села, возводятся повсюду православные храмы.
Опалу сняли, Хабарова возвеличили, наградили званием сына боярского за успешное приведение народов Приамурья в российское подданство и отправили в родные приленские места, откуда он несколько лет назад пошел на великий Амур для поиска новых землиц, казны и мягкой рухляди[18]. Однако душеньку-то ему измотали, прежде чем назначить приказчиком поселений между Леной и Илимом, от Усть-Кута до Чечуйского волока. Имущество, которое успел отобрать у него Зиновьев, было ему возвращено. Но по прибытии на Лену Хабарова вскоре арестовали и отправили в Якутский острог, так как он не мог сразу рассчитаться с долгами, сделанными перед даурским походом. Однако ему удалось найти поручителей, и лишь тогда он смог возвратиться на свои родовые земли. В 1667 году Хабаров просил тобольского воеводу Годунова снова отпустить его на Амур, но получил отказ. Видно, такой ответ велела давать ему Москва. И это в самый разгар строительства приамурских городов и весей, которое затеял Хабаров!
Ерофей Павлович умер в 1671 году от Рождества Христова в своей родовой деревне Хабаровке, что недалеко от Усть-Киренги. В тот год его старый товарищ и сподвижник иеромонах Гермоген основал на Амуре, неподалеку от заложенной Ерофеем Павловичем крепости, Албазин монастырь Всемилостивейшего Спаса, ставшего оплотом православия на Амуре.