Теперь можно было переходить к организации крупномасштабного производства сахара. Будучи хорошо осведомленным обо всех агрономических и технических новинках в этой отрасли, Иван Герасимович первым из сахарозаводчиков отделил производство сахара-песка от сахара-рафинада. Первый собственный сахарный завод Харитоненко построил в 1866 году в с. Кияница на Сумщине. Вслед за ним появилось такое же предприятие в с. Красная Яруга на Белгородщине. Потом он выкупил и переоснастил Пархомовский завод в Харьковской губернии. Благодаря внедрению на нем более современной технологии и оборудования предприятие стало вырабатывать за один сезон более чем на полтора миллиона рублей сахара и патоки. При заводе был устроен магазин для рабочих, которые в счет зарплаты могли получать талоны на покупку необходимых продуктов.
В 1869 году предприниматель создал рафинадный завод в Сумах – самый большой в то время в Левобережной Украине, который назвал в честь сына Павловским. К концу XIX века удельный вес продукции этого предприятия составлял уже 17 % от всего выпускаемого рафинада в стране. Оно вошло в пятерку самых больших заводов сахарной отрасли в Российской империи. Постепенно Иван Герасимович выкупил и все арендуемые им до этого заводы. Особо следует отметить, что все его предприятия были оснащены по последнему слову техники: здесь работали водотрубные паровые котлы, паровые турбины, компрессоры, подвесные канатные дороги, непрерывно действующие механизмы, которые хозяин лично закупал за границей.
В 1884 году Харитоненко купил земли с арендованным им сахарным заводом в слободе Мурафа Харьковской губернии и организовал на них экономию, названную в честь старшей внучки Еленинской. А затем неподалеку от нее приобрел усадьбу Натальевка и поручил своему сыну Павлу Ивановичу заниматься ее обустройством.
Одновременно с этим сахарозаводчик активно скупает большие участки земли для выращивания свеклы. В 1880-е годы ему уже принадлежало 11 экономий и имений в Черниговской, Харьковской, Сумской и Курской губерниях – в общей сложности около 100 тысяч десятин земли. Причем каждое имение имело свою специализацию. Так, в Ульяновском хозяйстве в основном выращивали сахарную свеклу, зерно и кормовые травы. Было здесь и опытное поле с селекционной лабораторией, и мельницы, и фермы племенного скота. Другое имение – Янковское, которое специализировалось исключительно на выращивании сахарной свеклы, в том же году принесло Харитоненко около 150 тысяч рублей чистого дохода. В с. Пархомовка Богодуховского уезда, помимо сахароварни, он построил еще кирпичный и винокуренный заводы, мельницу и одну из первых на Слобожанщине метеостанций.