Над этой вымышленной, идеализированный сценой в центре задней стены гостиной Шпауна, прямо над фортепьяно, на котором играет Шуберт, аккомпанируя певцу Иоганну Михаэлю Фоглю, помещен портрет дамы в овальной раме. Эта дама – графиня Каролина фон Эстерхази фон Галанта (1805–1851), портрет написан по несохранившейся акварели, выполненной еще одним знакомым Шуберта, Йозефом Тельтшером. Отец Каролины, граф Иоанн Карл Эстерхази фон Галанта, в 1818 году нанял Шуберта давать уроки музыки Каролине и её сестре Марии в летней родовой резиденции в Желизе (Венгрия). Обе девушки были превосходными пианистками. Они продолжали брать уроки у Шуберта и после возвращения в Вену. Он посвятил графу песни, составившие опус 8.
Похоже, у Шуберта возникло сильное чувство к молодой графине Каролине, чувство, которое тоже питало его музыку. Он вновь приехал в Желиз в 1825 году и провёл там четыре с половиной месяца. Тем летом он писал Швинду из Зелица: «Я часто испытываю проклятую тоску по Вене, несмотря на одну влекущую звезду». В феврале 1828‐го друг Шуберта, драматург Эдуард фон Бауэрнфельд, записал в дневнике: «Шуберт, кажется, и впрямь влюблен в Каролину Э. Мне это в нем нравится. Он даёт ей уроки». В воспоминаниях, написанных в 1863 году, Бауэрнфельд сообщает больше подробностей, сопровождая их тонким анализом:
«Он на самом деле был безумно влюблен в одну из своих учениц, молодую графиню Эстерхази, которой он посвятил одно из самых прекрасных своих произведений для фортепьяно, Фантазию F‐минор, фортепьянный дуэт. Помимо уроков здесь он посещал время от времени дом графа под эгидой своего покровителя, певца Фогля… В таких случаях Шуберту доставляло удовольствие сидеть позади и хранить молчание рядом с обожаемой ученицей, вонзая стрелу любви все глубже в своё сердце. Для лирического поэта, как и для композитора, несчастная любовь может иметь свои выгоды, поскольку усиливает личные чувства и окрашивает стихи и песни, порожденные ею, в цвета чистейшей реальности».
В другом дружеском отчёте, принадлежащем перу певца-любителя барона Карла Шенстейна, которому посвящена «Прекрасная мельничиха», рассказывается, как увлечение горничной в Желизе в 1818 году «впоследствии уступило место более поэтичному пламени в его сердце, любви к графине Каролине».