После смерти брата Софья покинула родовое гнездо не в силах больше выносить косых взглядов и пересудов. Она написала письмо влюбленному в нее Льву Миллеру, где молила спасти ее. Миллер сразу же женился, увез Софью в свое имение подальше от света.
Но Софья не любила и изображать любовь совершенно не собиралась. Она попрекала мужа в том, что он воспользовался ее трудным положением, открыто тосковала по Вяземскому и за короткое время смогла превратить в ад жизнь своего спасителя. Вместе они прожили год, а затем разъехались в разные стороны.
Софья вернулась в Петербург, где, несмотря на свою скандальную репутацию, продолжила блистать на балах. Григорий Вяземский к тому времени овдовел, получив огромное приданое жены; спустя короткое время скончался его отец, оставив в наследство княжеский титул. Поговаривали, что Софья, перешагнув через смерть брата, опять сошлась с Вяземским, видимо надеясь, что теперь препятствий к женитьбе не будет. Но князь на Софье не женился.
Вот тогда она и встретила графа Толстого и рассказала ему всю свою жизнь. Алексей Константинович полюбил ее с нежностью и жалостью к падшей и несчастной, став для Софьи очередным спасителем. Поэт напишет в 1851 году:
Бедное вижу в тебе я дитя,
без отца, без опоры.
Рано познала ты горе, обман
и людское злословье…
Про их роман судачит весь свет. Толстого осуждают, просят оставить свою страсть. А когда слухи доходят до Анны Алексеевны, матери писателя, она категорически требует прекратить связь с замужней женщиной и настраивает всю родню против Софьи.
Всё бы так и закончилось, если бы не началась Крымская война. Поначалу Алексей Толстой пытается организовать партизанский отряд для борьбы против англичан на Балтике. После отказа в высшем дозволении, в 1853 году он уходит добровольцем во вновь сформированный полк императорской фамилии в чине майора. По халатности служащих канцелярии, полк расположился под Одессой, в местах, где раньше свирепствовал тиф. В результате в полку началась эпидемия, которая унесла в могилу половину личного состава. А. К. Толстой тоже заболел. Государь был очень обеспокоен здоровьем Алексея и ежедневно требовал телеграфировать ему о состоянии его здоровья. Однажды днем, придя в сознание ненадолго, Толстой увидел у своей постели Софью, которая специально приехала ухаживать за ним. Софья кормила его с ложечки, мыла, помогала заново учиться ходить. И лишь благодаря заботливому уходу Софьи Андреевны, Алексей Толстой выжил. Вместе они вернулись в Петербург, где и дали друг другу клятву в вечной любви.