Уильям Гаррис, теперь уже полностью удостоверившись в нездоровой атмосфере своего жилища, принял меры к переезду, предполагая в ближайшем будущем заколотить дом навсегда. Сняв комнаты для себя и жены в недавно открывшейся гостинице «Золотой шар», он занялся возведением нового, более фешенебельного дома на Вестминстер-стрит, в строящемся квартале за Большим мостом. Именно там в 1785 году появился на свет его сын Дьюти, и там семья благополучно жила до тех пор, пока наступление коммерческих заведений, заполонивших округу, не вынудило ее вернуться на противоположный берег реки в новый жилой район Ист-Сайд и поселиться на Энджел-стрит, пролегавшей по ту сторону холма, где в 1876 году ныне покойный Арчер Гаррис построил себе пышный, но безвкусный особняк с мансардой. Уильям и Фиби скончались в 1797 году во время эпидемии желтой лихорадки, и Дьюти был взят на воспитание своим кузеном Рэтбоуном Гаррисом, сыном Пелега.
Рэтбоун был человеком практичным и сдавал дом на Бенефит-стрит внаем, несмотря на последнюю волю Уильяма, не желавшего, чтобы там кто-то жил. Как опекун, он считал, что мальчик должен получать от своей собственности как можно больше дохода, и его нимало не смущали ни смерти и болезни, вследствие которых жильцы сменяли друг друга с быстротой молнии, ни растущая враждебность к дому со стороны горожан, и когда в 1804 году муниципалитет распорядился, чтобы территория дома была окурена серой и смолой, он едва ли ощутил что-то кроме легкой досады. Поводом для такого решения городских властей послужили четыре смерти, вызванные, предположительно, уже сходившей в то время на нет эпидемией лихорадки и возбудившие немало досужих толков. Ходил, в частности, слух, что дом источает лихорадочные миазмы.
Что касается Дьюти, то судьба дома почти его не волновала, поскольку, достигнув совершеннолетия, он поступил в военно-морской флот и во время войны 1812 года с отличием служил на капере «Бдительный» под началом капитана Кэхуна. Воротясь целым и невредимым, в 1814 году он женился и вскоре стал отцом. Последнее событие произошло в ту памятную ночь на 23 сентября 1815 года, когда случился сильнейший шторм и воды залива затопили полгорода; при этом один шлюп увлекло волнами аж до Вестминстер-стрит, и мачты его стучали в окна Гаррисов как бы в символическое подтверждение того, что младенец с говорящим именем Уэлком, т. е. «желанный», родился сыном моряка.