Осенью 1650 года Ерофей Павлович встретился со старыми соратниками. Все они были живы и здоровы, хотя и выдержали немало стычек с даурами. Не теряя времени, Хабаров поднял все свое небольшое войско и пошел «на великую на Амур реку, в княж Лавкаево княжение, в их Даурскому городу». Дауры поджидали чужаков. Увидев их, они вышли из стен острога князя Албазы, что находился напротив впадения реки Амурхэ в Амур, и, отказавшись от мирных переговоров, решили перебить всех казаков. Тогда и Хабаров показал им силу и «бился с ними с половины дни до вечера». Обратив дауров в бегство, казаки овладели крепостью Албазин.
Укрепив ее и захватив с собой большую часть отряда, Ерофей с двумя пушками двинулся вниз по Амуру. На десятый день пути он встретил многочисленное даурское войско и смело вступил с ним в неравный бой. Дауры не выдержали натиска русских и отступили. Рядом с этим местом Хабаров велел поставить острог, в котором остались двадцать казаков и еще столько же служилых людей для сбора ясака под началом Дуная Трофимова и Тренки Ермолина Чечигина. В том же году Хабаров отправил в Якутск богатый ясак: четыре сорока и шесть соболей.
Зима прошла в обычных заботах, в сборе ясака, в укреплении Албазина. А весной, когда река очистилась ото льда, Хабаров стал готовить сплав по Амуру. Главным его желанием было еще дальше продвинуться на восток, установив на дальних землях власть русского царя. 2 июня 1651 года Ерофей Павлович начал свой героический поход.
Двигались целой флотилий на дощаниках и стругах. Бородатые, крепкие русские мужики, готовые порадеть за царя и отечество. При появлении отряда дауры оставляли берега Амура и уходили в леса. Через два дня добрались до города князя Дасаула, расположенного на левом берегу реки, а на третий подплыли к городу Гайгударову. Дауры встретили отряд на берегу и не давали ему пристать. И только ружейные выстрелы заставили их отступить и запереться в крепости. Началась осада.
У Ерофея не было особого желания воевать. Надеялся на переговоры. Случается, сказанное веское слово стоит сотни пушек. Потому перед боем Хабаров обратился к осажденным с речью, в которой через толмача Костку Иванова призывал их добровольно «без драки сдаться и давать ясак государю по своей мочи». Однако ответа не последовало. Несколько раз ходили казаки под непрерывным градом стрел на приступ. «Всю ночь до схожево солнца», как писал Хабаров в своей отписке воеводе якутскому, шла осада. В конце концов дауры не выдержали и обратились в бегство. Но только «десятка полтора, лишь те и ушли из города», остальные же были окружены и взяты в плен. Отряд захватил много трофеев, знамена и лошадей. И то: добыча воинская – добычка праведная.