На траурной церемонии в день похорон Харьковский архиепископ Амвросий, характеризуя Ивана Герасимовича, сказал: «Почивший был незнатного происхождения, но тем поразительнее сближение первой и второй половины его жизни – бедность и простота, богатство и великолепие… В жизни его была особенность, выделяющая его из остальных. Он не получил научного образования. Но в нем поражало развитие ума и разнообразные сведения, приобретенные путем самообразования. Он порядочно любил отечество и имел верные понятия о средствах устроения его благополучия. Иван Герасимович страстно любил коммерческую деятельность, как ученый любит свою науку, как художник любит свое художество. Он радовался, что его учреждения красивы, что его поля ухожены, что у тысяч крестьян, работавших на его полях, нет казенных недоимок. Его состояния были обширны. Он остерегался тщеславия и не имел пристрастия к светским удовольствиям. Он делил свое время на труд и тихое отдохновение в кругу семьи». В этих словах едва ли не самый полный и объективный портрет этого выдающегося предпринимателя и человека, составленный его современником.
Благодарные земляки в память об Иване Герасимовиче назвали сквер на Покровской площади садом Харитоненко и установили там ему памятник, созданный на добровольные пожертвования горожан по проекту академика А. Опекушина. Бронзовую статую выполнил известный французский скульптор Аристид Круази, работы которого и сегодня украшают Лувр и сады Пале-Рояля и Версаля. Открытие памятника состоялось 1 октября 1899 года. Один из современников Ивана Герасимовича, профессор Харьковского университета Н. Сумцов, присутствовавший во время этого события в Сумах, отмечал позже: «Украшением города служит памятник Харитоненко, небольшой, но красивый, с хорошим пьедесталом. Место выбрано удачно». Около 30 лет простояла увековеченная в металле фигура почетного гражданина Сум, взирая хозяйским глазом на любимый город с высокого постамента и как бы оберегая его от невзгод. А в 1918 году, с приходом советской власти, статую безжалостно сняли и отдали на переплавку для нужд государства. Однако местные рабочие отказались выполнять этот наряд. Правда, статую это не спасло. С тех пор прошло почти сто лет, и только в 1996 году фигура «отца города» вернулась на тот же пьедестал, но это была уже копия скульптуры Круази, воспроизведенная сумским скульптором А. Ивченко. Однако главным памятником талантливому предпринимателю стало его любимое дело, продолженное его сыном Павлом Ивановичем Харитоненко. Он не только оправдал надежды отца, но и превзошел его в развитии фамильного бизнеса.