Для того чтобы увеличить возможности и потенциал своих начинаний, Иван Герасимович, который уже значился в документах как купец 3-й гильдии, решил открыть свое дело в уездном городе. Наиболее подходящими для этого он посчитал Сумы, которые в экономическом отношении являлись «важнейшим после Харькова городом по торговле». Ведь здесь в середине XIX века ежегодно проводились три крупные ярмарки (например, Введенская имела оборот около одного миллиона рублей), на которых производилась в основном оптовая торговля теми же товарами, что и в Харькове. Значительную часть торговых операций составлял сахарный песок, вывозимый в ближайшие губернии, а также в Киевскую и Московскую, для очищения и дальнейшей переработки в рафинад. Вот почему в 1849 году Иван Герасимович переехал в Сумы, где вместе с обоянским купцом И. Сухановым открыл бакалейную лавку. Их общий капитал тогда составлял около 10 тысяч рублей. Партнеры имели право торговли по всему государству. Вскоре Харитоненко стал купцом 2-й гильдии, купил собственный дом и женился на дочери местного купца И. О. Скубенко, но через несколько месяцев овдовел. В 1852 году он снова вступил в брак. Его женой и верной спутницей до конца жизни стала купеческая дочь Наталья Максимовна Лещинская. 5 января 1853 года в их семье появился долгожданный сын Павел.
Вскоре по примеру А. Монакова Харитоненко начал заниматься скупкой и перепродажей сахара. Его главными клиентами стали петербургские купцы, братья Григорий и Степан Елисеевы. Убедившись в прибыльности нового дела, он делает первые шаги в области производства сахара, арендуя у помещиков сахарные заводы в с. Старом (теперь с. Червонное на Сумщине) и в с. Ульяновка. Дела на втором из них сразу пошли успешно: в 1864 году там было переработано около 400 тысяч пудов сахарного песка. А вот незастрахованный завод в с. Старом вскоре сгорел дотла – вместе с произведенной продукцией и только что завезенным оборудованием. Перед бушующей стихией огня не устояли даже стены… Потери начинающего сахарозаводчика были так велики, что над ним нависла реальная угроза банкротства. Но ему оказали поддержку московские и петербургские купцы, которые были уверены в честности Харитоненко, его порядочности и коммерческом таланте. Да и сам погорелец, не привыкший отступать перед трудностями и уверенный в перспективности своего дела, быстро нашел выход из этой сложной ситуации: он взял в банке кредит под большие проценты и на эти деньги скупил сахар всех заводов от Сум до Белгорода и Харькова. Получив прибыль от его продажи, которая вдвое превысила первоначальные затраты, Иван Герасимович не только смог вовремя выплатить кредит, но и вложить деньги в новые предприятия.