Когда Малкольму было 6 лет, поздней ночью Эрл Литтл был сбит трамваем. Луиза была убеждена, что это дело рук белых расистов из «Черного легиона». Позже мать рассказывала Малкольму, что у нее было видение относительно предстоящей трагедии. Впоследствии сам Малкольм испытал видение, когда, находясь в тюрьме, ему явился образ Уоллеса Фарда; Малкольм считал, что дар предвидения достался ему в наследство от матери.
После смерти отца семья еле сводила концы с концами. После долгих препирательств относительно выплат страхования, Луиза добилась лишь мизерной суммы, так как по официальной версии смерть Эрла Литтла была признана несчастным случаем, а некоторые кредиторы и вовсе выдвинули версию самоубийства.
Огромная семья лишилась кормильца, при этом большинство детей были далеки от совершеннолетия. Мать стала покупать вещи в кредит – вопреки мнению покойного мужа, который был категорическим противником кредитной системы и ничего не брал в долг (будущий духовный наставник Малкольма Илия Мухаммед возведет этот принцип в ранг религиозной догмы).
Луиза пыталась найти работу по домашнему хозяйству или в качестве швеи, но белые жители Лансинга чаще всего отказывали ей в работе, так как не хотели видеть в своем доме «цветную» женщину. Часто она приходила домой в слезах.
Вдобавок ко всему в дом Литтлов стали наведываться социальные работники. Они не скрывали своего презрения к обитателям этого дома.
В конце концов Луизе стали выплачивать небольшую пенсию, которой не хватало на содержание семьи. Временами приходилось есть самый настоящий суп из одуванчиков. В это время юный Малкольм совершает свои первые кражи – ворует яблоки в магазине.
Визиты социальных работников не прекращались. Однажды один черный фермер, желая помочь бедствующему семейству Литтлов, зарезал свою свинью и предложил Луизе все мясо этого животного. Верная своим убеждениям, подкрепленным еще и тем, что после смерти мужа она присоединилась к движению «адвентистов седьмого дня», которые также строго соблюдали запрет на употребление свинины, Луиза отказалась. Слух об этом дошел до социальных работников и, явившись к ней в дом, они открыто, при детях назвали ее сумасшедшей. Они бдительно следили за ней, ожидая предлога, чтобы отнять у нее ее несовершеннолетних детей и отдать их в приют. Содержать их в приюте было выгоднее для государства, чем обеспечивать социальную защиту одинокой вдове.