Окружил себя самыми прославленными куртизанками своего времени.
Одной из них была Тереза Кабаррюс, жена его соратника по Термидорианскому перевороту Тальена. Она практически играла роль его супруги и устраивала приемы. (В молодости Баррас женился на безвестной барышне, но оставил её в Провансе.) От другой любовницы, вдовы генерала де Богарне – Жозефины, он отделался, организовав в 1796 г. её брак со своим протеже генералом Бонапартом.
После переворота 18 брюмера (9—10 ноября 1799 г.) Баррас сначала ожидал, что Первый консул призовёт его к власти, но тот счел его слишком скомпрометированным, чтобы иметь с ним дело. Баррас был отстранён от участия в политической жизни; его отослали сначала в его замок Гробуа, потом в Бельгию, оттуда в Прованс.
В 1810 г. ему было окончательно запрещено жить во Франции. Вынужденный поселиться в Риме, он оставался там вплоть до Первого Отречения Наполеона. При Реставрации ему, несмотря на репутацию «цареубийцы», разрешили вернуться во Францию.
Там он писал мемуары, скончавшись в 73 года.
Поль Баррас был не только одним из вдохновителей режима Директории, являясь её ключевой фигурой, но и отличался чрезвычайным цинизмом, алчностью, неразборчивостью в средствах при приобретении богатств и демонстративной роскошью образа жизни, недаром он оказался единственным из пяти директоров, кто продержался до самого её конца.
Виконт Поль-Франсуа-Жан-Николя де Баррас (30 июня 1755 г., Фокс-Амфу, совр. деп. Вар – 29 января 1829 г., Шайо, предместье Парижа) считался современниками человеком не только продажным, но и решительным и энергичным (особенно, когда заходила речь о спасении его собственной шкуры), с которым, Бонапарт на заре своей туманной молодости пересекался еще в ходе осады Тулона.
Он родился в Провансе в очень старинной дворянской семье – в тех краях существовала даже поговорка: «Знатные, как Баррасы, столь же древние, как скалы Прованса». В 16 лет в 1771 г. он поступил на военную службу в Лангедокский драгунский полк в чине су-лейтенанта, но отличился пороками и распущенностью и за кражу денег у сослуживца был разжалован и уволен. В ранней молодости он даже женился на безвестной барышне, но оставил её в родном Провансе.
По протекции родственника, занимавшего высокий пост в колониальной администрации, Баррас получил назначение в гарнизон Пондишери, по дороге куда попал в кораблекрушение близ Мальдивских о-вов и с большим трудом добрался до места. После сдачи Пондишери англичанам в 1778 г. он вернулся во Францию, был снова направлен в колонии на кораблях адмирала Сюффрена, в 1781 г. присутствовал при морском бое при Порто-Прайя, находясь на борту корабля «Артезьен», а потом служил во французских частях, расквартированных на мысе Доброй Надежды. После заключения Версальского мирного договора в 1783 г., признавшего независимость североамериканских колоний Англии, он, не поладив с тогдашним морским министром маршалом де Кастри, вышел в отставку в чине капитан-лейтенанта и вернулся в Париж.