Возможно, у Елизаветы и действительно были причины для бегства. Жизнь среди Габсбургов вряд ли можно было назвать сплошным кружением вальсов и улыбающихся лиц. Там случались и свои трагедии. Франц Иосиф и Елизавета потеряли свою первую дочь из-за детской болезни, и несчастья нависли над их семьей. Младший брат императора Максимилиан неразумно принял мексиканский престол и был свергнут и расстрелян. Вдова Максимилиана Шарлотта, потрясенная смертью своего мужа, скиталась по Европе, обвиняя каждого в его казни, пока наконец не была заточена в отдаленном замке. Младший брат императора Людвиг Виктор был выслан из Вены из-за слухов о его нескромном влечении к юным мужчинам и склонности примерять бальные платья. Даже Франц Иосиф находил свою семью достаточно раздражающей. Он «хорошо относился лишь к немногим из них, – вспоминал его камердинер, – он вполне справедливо считал, что многие из них действовали недопустимо». И как следствие, император «некоторых членов его семьи не хотел видеть совсем», а «некоторых других видеть как можно реже».
Потом был Рудольф, единственный сын Франца Иосифа и Елизаветы. Его рождение в 1858 г. было моментом торжества, знаменующим собой продолжение династии, но детство Рудольфа вряд ли можно назвать счастливым. Франц Иосиф был суровым отцом; казалось, что бы ни делал или говорил Рудольф – не вызывало его удовольствия. Рудольф боготворил свою мать, но Елизавета была слишком эгоистичной и меланхоличной, чтобы заниматься воспитанием своего сына. В определенном смысле Рудольф вырос сыном своей матери: он стал самоуглубленным, меланхоличным молодым человеком с пристрастием к беспорядочным половым связям и склонностью к политическим авантюрам.
Его отец попытался повлиять на жизнь сына и упорядочить ее, женив его на принцессе Стефании, дочери короля Бельгии Леопольда II. Прошел год между их помолвкой и свадьбой, когда выяснилось, что у пятнадцатилетней невесты еще не начались менструации. Рудольф был изысканным и неотразимым, Стефания же не обладала таким очарованием и женской силой, чтобы удержать своего мужа в рамках супружеской верности. Кончилось все плохо. После рождения их дочери Елизаветы в 1883 г. Стефания неожиданно заболела. По иронии судьбы Рудольф заразил ее венерическим заболеванием, так же, как произошло и у его отца с Елизаветой. Возмущенная и расстроенная тем, что она больше не сможет иметь детей, Стефания разгневалась на Рудольфа, и тот обратил свой взгляд в сторону более дружеской компании.