Своего отца Малкольм позже описывал в «Автобиографии» как уверенного в себе, самодостаточного человека, готового противостоять произволу расистов. В то же время у него был довольно суровый, деспотический нрав, что выливалось в постоянные ссоры с женой, доходившие иногда до побоев, и в частые телесные наказания детей. Малкольма он выделял среди прочих своих детей и единственного не подвергал побоям, что, по мнению самого афроамериканского лидера, объяснялось его более светлой кожей и, таким образом, было следствием того, что негритянский националист Эрл Литтл сам был не до конца свободен от влияния пропаганды «белого превосходства».
Преподобный Эрл был очень деятельным человеком. Хотя по роду занятий он был баптистским священнослужителем, Литтл также работал и плотником. Но подлинной страстью Эрла было участие в гарвеитском движении. Основателем этого мощного движения, которое официально называлось «Всемирная ассоциация негритянского самосовершенствования», был знаменитый Маркус Мозайя Гарви (1887–1940 гг.), отец африканского национализма и панафриканизма. Собственно говоря, все последующие афроамериканские национально-освободительные движения, включая и «Нацию ислама», были рождены в купели гарвеизма. Гарви, уроженец Ямайки, прибывший в 1916 году в США, проповедовал расовую гордость африканцев, называл Африку колыбелью цивилизации, учил, что Христос, Дева Мария и апостолы были темнокожими. Он призывал негров к самоорганизации, к созданию собственной экономики. Главной целью своей деятельности он объявил лозунг «назад в Африку», то есть Гарви призывал всех негров Западного полушария переселиться на африканский континент, родину их предков. В начале 20-х годов прошлого века движение гарвеитов было исключительно мощным. По некоторым оценкам оно охватывало несколько миллионов американских негров. Гарвеиты устраивали красочные военизированные шествия в Гарлеме, привлекавшие внимание обитателей этого гетто, этой столицы Черной Америки.
В своей «Автобиографии» Малкольм охарактеризовал первые 12 лет своей жизни словом «кошмар». Действительно, жизнь активного гарвеиста-проповедника Эрла Литтла не могла быть спокойной – даже в условиях исконного американского Севера, не имевшего традиций рабовладения. Основные вехи этого кошмара таковы: нападение членов Ку-клукс-клана на дом Эрла Литтла в Омахе, постоянные драки самой семейной четы Литтлов и их жестокое обращение со своими детьми, сожжение расистами их нового дома в Лансинге, насильственная смерть отца, помещение матери в психиатрическую больницу, жизнь самого Малкольма в детском приюте.