В это время в Польше происходила напряженная внутриполитическая борьба вечно враждующих аристократических группировок. Правительства Австрии, Пруссии и России готовились к очередному разделу саморазрушающейся Польши, которая, раздираемая склоками шляхты, на глазах теряла государственность, превращаясь в неуправляемое бандитское образование. Подготовка к усилению российского влияния в Польше, прежде всего в её восточных областях, шла по всем направлениям.
Относительно дальнейшего развития событий существует тоже несколько легенд. Согласно первой, официальной, сам Потемкин уступил красавицу безнадежно влюбленному в Софью пророссийски настроенному гетману Станиславу Потоцкому. Причем передача любовницы польскому гетману была не прихотью сумасбродного князя, а тонким политическим расчетом искушенного в закулисных интригах государственного деятеля. По другой версии, Софья де Витт якобы сама бросила надоевшего ей мужа и, видя равнодушие Потемкина, ушла к Станислову Потоцкому. Были слухи, что гетман уплатил предприимчивому генералу де Витту за право жениться на его жене отступные в размере два миллиона злотых, так что и здесь ушлый голландец не остался в накладе, а Софья стала уже не только графиней, но и гетманшей.
Из родословной семьи Потоцких: «Йозеф Витте после смерти своего отца сделался комендантом Каменца-Подольского, но к этому времени амбиции Софьи вышли уже далеко за рамки этого города и статуса первой леди Подолья. Она окунулась в вихрь политических интриг, стала доверенным лицом Екатерины II, а чуть позднее разделила ложе с фаворитом императрицы князем Потемкиным. Силой и уговорами де Витте заставил жену вернуться в Каменец. Но прекрасная комендантша недолго гостила в собственном доме. Её новым увлечением стал граф Феликс-Станислав Потоцкий, к которому она убежала в Варшаву. В ответ на требование Витте графу Потоцкому немедленно вернуть жену, Софья возвратилась в Каменец с намерением откупиться от мужа. Она переписала на его имя свои белорусские имения, подаренные Екатериной, а также вручила более полумиллиона золотых, выданных ей влюбленным графом. Витте согласился дать ей свободу».
Софья и Станислав Потоцкий были неразлучны с 1791 года. Оформить же отношения они решили лишь четыре года спустя, уже заведя внебрачных детей. При этом старые цепи Гименея над ними словно не довлели. Иосиф не противился бракоразводному процессу, и к январю 1796 года формальности были улажены. К нему отошли белорусские владения бывшей супруги и 150 тысяч злотых. Кроме того, Софья взяла обязательство выкупить у графа Потоцкого на имя своего первенца Ивана де Витта поместье Грушевский Ключ и передать его экс-супругу на правах пожизненного владения. Самого же пятнадцатилетнего сына Станислав Потоцкий брал на воспитание.