Однако жизнь Сергея Григорьевича складывалась в Иркутске своеобразно. Он большую часть времени проводил в селе Урик, занимаясь сельским хозяйством. Н.А. Белоголовый (в то время еще юноша, родом был из купеческой семьи, обучался в семье декабриста А.П. Юшневского, затем А.В. Поджио) оставил интересные воспоминания об иркутском периоде жизни Сергея Волконского. «Старик Волконский – ему уже тогда было около 60 лет – слыл в Иркутске большим оригиналом. Попав в Сибирь, он как-то резко порвал связь со своим блестящим и знатным прошедшим, преобразился в хлопотливого и практичного хозяина, и именно опростился … С товарищами своими он хотя и был дружен, но в их кругу бывал редко, а больше водил дружбу с крестьянами; летом пропадал по целым дням на работах в поле, а зимой любимым его времяпровождением в городе было посещение базара».>56
Н. А. Белоголовый с удивлением отмечал, что Волконский с удовольствием беседовал с крестьянами о хозяйстве, вместе с ними мог перекусить «краюхой пшеничной булки». Николай в Иркутске хотел видеть Сергея Петровича человеком знатного рода, заслуженным, умудренным житейским опытом, и внешне соответствующим своему уровню. Но сам Волконский, пройдя сибирскую ссылку, уже не мог выглядеть «светским человеком», точнее, не считал это нужным.
50-е годы для Волконских были наполнены разнообразными семейными событиями. Сергею Григорьевичу к тому времени исполнилось 62 года, Марии Николаевне – 45 лет. Они уже вошли в средний возраст жизни, и их теперь волновала судьба их подросших детей гораздо больше, чем выяснение каких-то своих отношений, давно уже сложившихся. Сын, Михаил Сергеевич, в 1849 году окончил Иркутскую гимназию, причем с золотой медалью. Вскоре он стал чиновником особых поручений при губернаторе Восточной Сибири Н. Н. Муравьеве. Он и дальше будет успешно подниматься по ступенькам карьерной лестницы, ничем не беспокоя своих родителей.
Дочь Елена, в семье ее называли Нелли, доставила родителям много переживаний и волнений. Она рано вышла замуж за чиновника из числа приближенных к Н. Н. Муравьеву – Дмитрия Молчанова. Мария Николаевна согласилась с желанием дочери, но Сергею Григорьевичу и некоторым друзьям Молчанов не понравился. Брак состоялся, но тревог и молодой супруге, и родителям он принес немало.