В 1804 году стареющая мать полностью передала в управление сыну все десять фабрик, и он стал распоряжаться ими как полновластный хозяин.
К этому же времени относится одна из самых романтических историй, связанных с родом Мальцовых.
Живя в Москве, Иван Акимович однажды прогуливался по Юсуповскому саду и встретил там женщину необычайной красоты, которая была с мальчиком лет пяти. Мальцов был так поражён, что захотел непременно увидеть незнакомку снова. Оказалось, что это была Капитолина Михайловна Вышеславцева, жена поэта В. Л. Пушкина, а гуляла она с племянником Сашей Пушкиным.
Василий Львович Пушкин в те годы держал модный салон в доме в Малом Харитоньевском переулке, где часто собирались поэты, литераторы и просто интересные личности. Зачастил туда и Иван Акимович. С хозяином он беседовал на окололитературные темы, а сам тем временем не спускал глаз с красавицы Капитолины, которую в разговоре с друзьями называл волшебницей-Цирцеей, пленяющей путников. Да и Вышеславцевой молодой и богатый секунд-майор, видимо, приглянулся. Но как уйти от мужа? В те времена развестись было не так-то просто – для этого требовалось, как минимум, уличить супруга в измене.
Благо, ждать долго не пришлось. Василий Пушкин, впоследствии прославившийся фривольной поэмой «Опасный сосед», где были такие строчки:
«Мой друг, – прибавил он, – послушай: еcть находка;
Не девка – золото; из всей Москвы красотка.
Шестнадцать только лет, бровь черная дугой,
И в ремесло пошла лишь нынешней зимой.
Ступай со мной, качнем!» К плотскому страсть имея,
Я – виноват, друзья, – послушался злодея…» —
и сам был не прочь согрешить на стороне. В 1806 году дворовая девушка Пушкиных Анна Ворожейкина родила от Василия Львовича дочь. Обычно в таких случаях супруги закрывали глаза на «левые» походы своих вторых половин. Незаконнорожденным детям просто давали другую фамилию, они не имели никаких особых прав, и отец мог помогать им разве что материально. Да, так оно было в большинстве случаев, но здесь «приключение» Василия Львовича сыграло на руку его жене, став формальным поводом для развода. Деваться горе-любовнику было некуда, и он был вынужден уступить.
Не откладывая в долгий ящик, в том же году Капитолина Вышеславцева и Иван Акимович сыграли свадьбу. В этом браке родилось трое детей: Василий, Мария и Сергей. Старший Василий служил титулярным советником, писал стихи, переводил с латыни и умер в 25 лет. Дочь Мария, прожившая больше 90 лет, стала женой графа Павла Николаевича Игнатьева, члена Государственного совета.