Ричмонд являлся политическим центром и оказывал влияние на национальное правительство. Владельцы плантаций зависели от торговцев, многие из которых были шотландскими иммигрантами, такими же, как Аллан и его дядя Уильям Галт. Их расчетливая логика и скупость контрастировали с щедростью плантаторов и давно сложившимися кровными узами. Кроме того, семейные связи Фрэнсис и богатство Галта обеспечивали Алланам положение в обществе. Каждое лето семья уезжала из влажного, жаркого Ричмонда в Уайт-Салфер-Спрингс. Там Эдгар «очаровывал всех своей детской грацией» и «откровенным, ласковым и щедрым» нравом. Он был «прелестным малым, с темными кудрями и яркими глазами, одетый как молодой принц».
Общество Вирджинии гордилось традициями чести и иерархии. Они были прописаны в ритуалах балов и дуэлей, навеянных мечтательной актуальностью героических воинских саг Вальтера Скотта «Айвенго» и «Уэверли». Рабовладельческое дворянство Вирджинии посылало своих сыновей представлять свои интересы в Конгрессе, судах и Белом доме. Они ценили хладнокровие и браваду, превозносили женскую чистоту и деликатность и с тревогой следили за расовыми границами. Такие идеалы подрывались сексуальными вольностями, которые мужчины-рабовладельцы допускали по отношению к порабощенным женщинам (постоянная тема сенсационной и аболиционистской литературы).
По перемещался между гостиной, где Алланы принимали друзей и родственников, и комнатами для прислуги. В Ричмонде более трети населения находилось в рабстве. Расы смешивались бесчисленными способами, и большая часть раннего детства По прошла под присмотром чернокожих слуг, включая управляющего домом Алланов, Дэбни Дэндриджа. Воспитатели часто рассказывали ему истории, и в этих африканских сказках – которые передавались из поколения в поколение, изменялись и переосмысливались в ходе «Среднего пути» – очень часто изображались души, одержимые колдовством и опасными наваждениями, ожившие мертвые тела, злобные духи, терзающие живых. Поздние рассказы и стихи По о привидения, могилах и зомбиподобных существах станут отражением африканских и креольских сюжетов.
Некоторые критики считают необычным принятие По готической литературы – европейской традиции, связанной с замками с привидениями и проклятыми аристократами, популяризированной эдинбургским журналом