По внешности и характеру Аллан имел мало общего с Эдгаром. Крупный и грузный, он являлся человеком, озабоченным положением в обществе и удовлетворением своих желаний. Аллан торговал табаком из Вирджинии, который выращивали на плантациях к западу и югу. На землях, захваченных у коренных американцев, африканские рабы собирали листья, связывали их в пучки, грузили на телеги и отправляли в Ричмонд, где его продавали и упаковывали для отправки в северные штаты и Англию. Аллан следил за временем доставки и прибытия, погодой, ценами и расходами.
Особняк, названный Молдавией, располагался в нескольких шагах от ричмондских рынков табака и хлопка. Тем временем рабов покупали и продавали всего через несколько улиц отсюда. Купив особняк в июне 1825 года, Джон Аллан обеспечил себе место среди элиты Ричмонда и самопровозглашенной южной аристократии. Белые колонны и купола самых больших зданий города напоминали об имперских строениях Греции и Рима. Трехэтажное здание с портиком, украшенным колоннами, демонстрировало рост Аллана от испытывающего трудности предпринимателя до владельца плантации и олигарха. Телескоп Эдгара, как и его портреты, роскошные драпировки и богатая мебель, заявляли о богатстве и вкусе. Он также интересовался миром фактов, что был так дорог Аллану – навигацией и картографией, имеющими решающее значение для трансатлантической торговли.
Десятилетиями ранее Аллан приплыл в Ричмонд из Шотландии, присоединившись к своему дяде Уильяму Галту, успешному торговцу. Вместе с партнером, Чарльзом Эллисом, Аллан начал импортировать товары для дома, ткани и журналы для состоятельных клиентов. Женился он на Фрэнсис Килинг Валентайн, дочери плантатора. В годы после войны 1812 года бизнес Аллана и Эллиса пошатнулся, однако после смерти дяди в марте 1825 года Аллан стал одним из богатейших людей Вирджинии. Он унаследовал три больших поместья «с принадлежащими к ним рабами, акциями и имуществом всех видов», а также кафедру Галта в Епископальной монументальной церкви Ричмонда.
Джон и Фрэнсис Аллан взяли двухлетнего Эдгара По в 1811 году, когда его мать, знаменитая актриса и «одна из самых красивых женщин Америки», умерла в Ричмонде. Во многих отношениях они относились к нему как к сыну и будущему члену правящего класса Вирджинии, дав ему надежду на получение собственного наследства. Однако Аллан отказался усыновить мальчика. Детство Эдгара превратилось в неустанное испытание в попытке заслужить любовь и признание приемного отца.