Столь разные взгляды на семейную жизнь едва ли не с самого начала осложнили отношения между супругами. Когда Наполеон попытался сохранить связь с мисс Ховард, продолжавшей воспитывать его внебрачных детей, Евгения самым решительным образом воспротивилась этому. Любовникам пришлось расстаться. Однако даже строгий надзор императрицы не мог изменить давно усвоенных привычек Луи-Наполеона, его непреодолимой слабости к прекрасному полу. Наполеон находил любовниц в разных слоях общества, предпочитая хорошеньких и модных актрис. Не пренебрегал он и дамами из высшего общества, включая наиболее привлекательных жен и даже дочерей своих ближайших сподвижников. Среди его любовниц были графиня Марианна Валевская, супруга министра иностранных дел, а впоследствии – председателя Законодательного корпуса, баронесса Валентина Османн, дочь знаменитого префекта департамента Сена, графиня Луиза де Мерси-Аржанто, графиня де Кастильоне, племянница графа Кавура, премьер-министра Пьемонта… Некоторые из них имели даже от императора детей.
Со временем императрица смирится со своей судьбой. Она научится не замечать частых увлечений мужа и не слышать того, о чем говорил «весь Париж». Не добившись верности, которую Евгения считала основой брака, она сумела добиться большего – подчеркнутого уважения со стороны императора, который все более внимательно прислушивался к ее мнению при решении государственных дел. Ее влияние всегда и во всем имело сугубо консервативную направленность, что вызывало беспокойство у тех сподвижников императора, которые придерживались левых взглядов.
Не жаловали императрицу и родственники Луи-Наполеона, справедливо упрекавшие ее в чрезмерном вмешательстве в государственные дела и откровенной расположенности к католицизму и Испании, что далеко не всегда отвечало как интересам Франции, так и правящей династии. Принцесса Матильда, кузина императора, в разговоре с русским послом графом П.Д. Киселевым однажды раскрыла тайну удивлявшей всех уступчивости Наполеона перед настойчивостью императрицы. На вопрос Киселева о том, почему император, «при своем превосходстве ума, позволяет таким образом господствовать над собой», Матильда ответила: «По лености. Он ленив во всем, что относится до домашней жизни; я несколько раз выговаривала ему это, но у него всегда один ответ: лучше отступить, чем продолжать спор о пустяках; притом, поясняет он, – таков уж мой характер; я не могу переиначить его, потому я даю ей говорить, сколько хочет, а сам молчу»