Безусловно, были и счастливые моменты. Как-то маленький Чарли заработал несколько пенсов, танцуя у дверей пабов под доносившиеся оттуда звуки аккордеона. Однажды Сидни, продававший газеты, нашел в автобусе кошелек с золотыми монетами. Впрочем, не исключено, что он его вовсе не нашел… На эти деньги вся семья отправилась в Саутенд, где Чаплин впервые увидел море. Раньше они купались только в кеннингтонских банях, когда могли себе это позволить. Мать водила мальчиков на представления с волшебным фонарем в Baxter Hall, где вход стоил пенни. Ханна, когда была здорова и в хорошем настроении, развлекала детей тем, что копировала выражения лиц и движения проходящих по улице людей. Возможно, именно от нее младший сын унаследовал этот талант.
В очерке для журнала Photoplay, написанном в 1915 году, Чаплин утверждал: «…мать была самой удивительной женщиной из всех, которых я знал. Помню, какой она была очаровательной и хорошо воспитанной. Она бегло говорила на четырех языках и получила хорошее образование… Я никогда не встречал такой утонченной женщины, как моя мать». Конечно, скорее всего он переоценивал ее таланты и достоинства. Один из соседей вспоминал: «Он думал, что из живших на земле людей нет никого, кто сравнился бы с его матерью. Парень считал ее лучшей актрисой в мире, потрясающей леди, своим идеалом». Она же называла младшего сына «король». Скорее всего, подобная любовь обречена на разочарование.
Вскоре матери и сыну суждено было расстаться. Весной 1896 года швейную машинку Ханны пришлось вернуть из-за невозможности вносить арендную плату, и она уже не могла заниматься прежним ремеслом. Ханна снова заболела и попала в больницу. Выхода не было… Детей пришлось отдать в работный дом – место, которого больше всего боялись бедняки. «Ты попадешь в работный дом!» – это было самое страшное предупреждение. В мае того же года мальчики оказались в Сатеркском работном доме – судя по записи в книге регистрации «по причине отсутствия отца, а также нищеты и болезни матери». Можно представить себе их растерянность… Тем не менее в той же статье в Photoplay Чаплин заявлял: «Англичане очень боятся работного дома, но я не помню никаких особенных ужасов». Больше всего ему запомнилось, как он потихоньку выбирался из здания, гулял и воображал себя очень богатым и знатным человеком… «Я был мечтателем и фантазером. Я всегда представлял себя кем-то другим…»