К тому же скуповатый и властный шотландец стал всё чаще конфликтовать с повзрослевшим пасынком, у которого постепенно сформировался взрывной и непокорный характер. Нередко ситуацию надвигавшегося откровенного скандала смягчала лишь примиряющая позиция Фрэнсис Аллан, которая во время споров могла урезонить и супруга, и приемного сына.
Однако в жизни «доброго ангела» молодого поэта тоже не всё было благополучно – примерно с июня 1824 года Фрэнсис Киллинг Аллан стала мучиться от какого-то не очень понятного заболевания. (Во всяком случае, его никогда так и не сумели точно диагностировать.) Она постепенно угасала, с тревогой наблюдая, как отношения между ее мужем и ее «дорогим Эдгаром» становятся всё хуже и хуже.
Впрочем, на какое-то время мужчины семьи Алланов сумели достичь компромисса во взглядах на будущее: приемный отец предложил Эдгару По начать обучение в Вирджинском университете, находившемся в Шарлотсвилле. По здравом размышлении молодой поэт согласился. Вырваться из-под тиранической опеки отчима, зажить свободной студенческой жизнью – что, казалось бы, могло быть лучше? Было лишь одно препятствие, и, как это нередко бывало в жизни По, – сердечного свойства.
Еще в 1826 году он познакомился с красавицей и почти ровесницей Сарой Эльмирой Ройстер, жившей почти по соседству. Герви Аллен, один из лучших биографов Эдгара По, так описал ее: «Природа наделила ее изящной стройной фигуркой, большими черными глазами, красивым ртом и длинными темно-каштановыми волосами. Все вместе взятое произвело на По неотразимое впечатление».
Молодые люди полюбили друг друга и даже принялись строить планы на будущий брак, несмотря на крайнее неудовольствие отца девушки. (Он, видимо, как и Джон Аллан, считал По слишком ветреным и ненадежным, инфантильным и витающим в облаках, а потому не подходящим его дочери).
Отъезд По на учебу в университет влюбленные восприняли как досадную паузу в отношениях, которые ни в коем случае не должны были прерваться. Эдгар и Эльмира договорились постоянно переписываться и встречаться, как только возникнет такая возможность. Перед отъездом влюбленный поэт послал возлюбленной в подарок перламутровую шкатулку с ее инициалами. Они даже и не подозревали, что в отношении их будущего у господ Джеймса Ройстера и Джона Аллана существуют совершенно иные планы…