Родился он 24 октября 1966 года в Саратове. В этом городе на Волге его бабушка, Фаина Грутман, с трехлетней дочерью Ириной, мамой Романа, оказались осенью 1941 года. Им чудом удалось бежать из оккупированной фашистами Украины. Вся остальная родня погибла в Бабьем Яру. Мать, Ирина Васильевна, вышла замуж, уехала в Сыктывкар и через полтора года после рождения сына скончалась от лейкемии. Через два года после смерти матери в результате падения башенного крана на стройке погиб и отец Романа Аркадий Нахимович. По другим данным, родители мальчика погибли, когда перевернулся трактор, на котором они ехали. Круглого сироту усыновила бездетная семья старшего брата отца – Лейбы Нахимовича, который работал в то время начальником управления рабочего снабжения «Печорлеса» при «Комилесресурсе». После четвертого класса мальчик переехал в Москву к бабушке – матери покойного отца.
В школе, по словам учителей, Рома учился неважно, особыми талантами не выделялся, но отличался сообразительностью. (Став миллиард ером, он подарил родной школе компьютеры, оборудование для кабинетов и оплатил ремонт помещений.)
После школы Роман поступил в Ухтинский индустриальный институт, так как в Московский институт нефти и газа им. Губкина провалился на экзамене, но из-за неуспеваемости через полгода был отчислен. Затем служил в армии солдатом в автовзводе артиллерийского полка.
По другим данным, он успел отучиться два курса то ли в Москве, то ли в Коми АССР. (В 2001 году Абрамович, уже будучи миллиардером, получил диплом Московской государственной юридической академии.)
Вернувшись после службы в Ухту, солдат узнал, что его любимая женщина Вика Заборовская ему изменяла, и они расстались. Несколько месяцев он сильно страдал. Видимо, тогда, затаив обиду на женский пол, он перенес свою страсть на деньги. Когда Абрамович многого достиг, в 2001 году, он приказал найти Вику и доставить ее в бронированном лимузине в свой роскошный офис возле Кремля, больше похожий на дворец. Они говорили несколько часов, вспоминали юность. Отказавшись принять в подарок от него шубу за 30 тысяч долларов и поехать на уикэнд в Париж, Вика вернулась к своему мужу-бизнесмену и дочери.
Но это было потом. А после армии, по словам бывшего делового партнера Абрамовича, до того как освоить выплавку детских пластмассовых игрушек в кооперативе «Уют», Роман занимался перепродажей зубной пасты. Он дешево скупал ее в Москве и выгодно сбывал в Ухте, где в середине 1980-х годов подобный товар был дефицитным. За это спекулянта прозвали «Рома-зубочист».