Со своей супругой Елизаветой Марков состоял в законном браке около двадцати лет. Подробностей семейной жизни в документах не сохранилось, но, судя по всему, заключенный в юности союз со временем стал обременительным.
Летом 1858 года Елизавета Маркова обратилась к петербургскому епархиальному начальству с просьбой о расторжении брака с мужем «по причине нарушения им супружеской верности». В подтверждение были представлены два очевидца, которые «случайно» застали инженер-подполковника у него дома «в самом действии прелюбодеяния» с неизвестной дамой.
Духовные власти признали заявления свидетелей «совершенным доказательством». Заслушав рапорт митрополита Новгородского и Петербургского Григория об этом деле, Святейший Синод постановил супругов развести. При этом пострадавшей от измены жене разрешено было вступить в новое супружество, а ее бывшего спутника определили «оставить навсегда в безбрачном состоянии, подвергнув его за прелюбодеяние церковной епитимье на 7 лет». Рискнем предположить, что инженер не слишком расстроился этим.
Согласно действовавшему Уложению о наказаниях уголовных и исправительных, изобличенные в супружеской измене подлежали также наказанию со стороны светских властей: заключению в тюрьму сроком от нескольких месяцев до года. По этой причине выписка о любовных прегрешениях инженера Маркова из Святейшего Синода поступила в Правительствующий Сенат, а оттуда в столичное губернское правление.
Годом ранее столичные власти уже рассматривали аналогичное дело его коллеги инженер-полковника Николая Печникова. Именно тогда выяснилось любопытное обстоятельство: состоявшие на службе в Военном ведомстве (а Корпус инженеров путей сообщения тогда находился «на положении воинском») за любые правонарушения подлежали суду по военным законам, а они не предусматривали наказания за прелюбодеяние.
Губернское правление сообщило об этом казусе сенаторам. В течение последующих двух лет дело об инженер-подполковнике Маркове кочевало из одного сенатского департамента в другой.
В начале 1861 года главноуправляющий путями сообщения и публичными зданиями Константин Чевкин утвердил заключение Аудиториата (высшего суда ведомства): «Имея в виду, что подполковник Марков за вину его уже подвергнут епитимье по определению духовного начальства, дальнейшему взысканию за ту же вину, по неопределению оного военными законами, его не подвергать…»