После смены собственника Харьковский земельный банк весьма быстро получил льготный правительственный кредит в 6 000 000 рублей, которого не мог добиться Алчевский. Уже к середине 1902 года банк полностью вышел из кризиса и начал полноценную работу. На поступавшие в правительство жалобы, в которых говорилось о злоупотреблениях в банке Рябушинских, следовали ответы: «Знаем, соболезнуем, но ничего сделать не можем, ибо изобличение немыслимо».
Первым Рябушинским по документам числится родившийся в 1786 году крестьянин Калужской губернии (Пафнутьево-Боровского монастыря слободы Ребушинской) Михаил Яковлев. 12-летним Миша был отдан в обучение «по торговому делу», а в 16 лет под фамилией Стекольщиков (отец его занимался стеклением окон) он записался в «московской третьей гильдии купцы», объявив при этом 1000 рублей капитала (деньги младшему брату ссудил Артемий Яковлев, уже несколько лет торговавший в Москве). Молодой купец занимался тем, что сам лично скупал по деревням у крестьян ткань, наносил на нее орнамент, делал ситец и продавал его в собственной лавке в Холщовом ряду Гостиного двора. Вскоре он довольно выгодно женился на дочери богатого московского кожевника Евфимии Скворцовой.
Удачному бизнесу помешала война 1812 года. Московский пожар тогда подкосил многих купцов. «По претерпленному мною от нашествия неприятельских войск в Москву разорению, процентных денег платить нахожу себя не в состоянии, почему покорнейше прошу по неимении мною купеческого капитала перечислить в здешнее мещанство» – бумагу такого содержания подал в купеческую гильдию Михаил в 1813 году. Пребывание в низшем городском сословии растянулось на долгие десять лет. Сначала молодой мещанин пытался наладить дела самостоятельно, но после нескольких безуспешных попыток решил вступить в «раскол». Тогдашние старообрядцы были не только религиозной, но и глубоко коммерческой организацией. Хорошо зарекомендовавшие себя члены свободно пользовались довольно крупными беспроцентными, а порой и безвозвратными кредитами у церкви. Кроме того, члены общины пользовались поддержкой известных купцов-старообрядцев. В 1820 году Михаил Яковлевич, взяв себе по отчизне фамилию Ребушинский (через «я» ее начнут писать с 1850-х годов), вступил в сообщество Рогожского кладбища – московскую твердыню старообрядчества «поповщинского толка». В том же 1820 году у него родился второй сын – Павел (первый, Иван, появился на два года раньше), которому суждено было стать продолжателем отцовского дела.