Дети пробыли в работном доме около трех недель, пока Ламбетский опекунский совет разыскивал их предполагаемого отца, Чарльза Чаплина-старшего. В конечном счете его нашли. Представ перед опекунским советом, он согласился забрать Чарльза, но не Сидни – на том основании, что старший мальчик несомненно незаконнорожденный. Члены совета придерживались мнения, что братьям будет лучше вместе, и Чаплин согласился платить 15 шиллингов в неделю на содержание детей в Хэнуэллском приюте для сирот и бедных детей. Там их все-таки разлучили – 11-летнего Сидни отправили в отделение для старших, а 7-летнего Чарльза к малышам. Впоследствии он сказал кому-то из журналистов: «Мое детство закончилось в возрасте семи лет. Маленькие обитатели приюта строем ходили из класса в класс и из спальни в столовую». Чаплину присвоили номер 151. Конечно, в бытовом плане детям там жилось гораздо лучше, чем их сверстникам на улицах или в трущобах. Им выдавали теплую одежду, прочные ботинки, кормили просто, но сытно.
Для маленького Чарльза приют стал местом, где он страдал и часто чувствовал себя униженным. Впоследствии он называл проведенное там время своим тюремным заключением. Его разлучили с матерью и братом – Сидни отправили на учебное судно военно-морского флота. Во всем мире у него больше никого не было. Маленький, беспомощный, лишенный надежды… Возможно, он подглядывал за девочкой в замочную скважину. Возможно, он устроил пожар в туалете. Говорят разное… Но независимо от преступления наказание было известно заранее: мальчик получал один или два удара розгами. Однажды он занемог, и ему прописали слабительное, следствием чего стала замаранная постель. Два дня спустя его лишили апельсина и леденцов, которые детям раздавали на Рождество… Однако, несмотря на все страдания, это был единственный период в жизни Чаплина, когда он получал формальное образование. Чарльз научился писать свое имя, а также читать по слогам.
Ханна не навещала его почти год. По всей видимости, мальчик думал, что его предали. Когда наконец летом 1897 года мать приехала к нему, маленький Чаплин испытал ужас и унижение. Своему близкому другу Гарри Крокеру он признался, что мать вызвала у него мучительную неловкость. Возможно, Ханна несла на себе печать безумия, которое передавалось в семье из поколения в поколение. Чаплин рассказывал Крокеру, что она почему-то пришла с масленкой в руках. «Зачем ты это принесла, мама? – спросил он. – Зачем ты вообще пришла? Они все тебя увидят. Они все тебя увидят!» В книге «Моя биография» Чаплин рассказывает совсем другую историю – свежая, благоухающая красавица пришла навестить своего одинокого ребенка. Где правда?