Когда в 1775 году начались трения с Великобританией, Уильям Хэррис, несмотря на свои неполные шестнадцать лет, записался добровольцем в армию генерала Грина и за несколько лет значительно преуспел и в здоровье, и в чинах. В 1780 году он служил уже капитаном в войсках Род-Айленда под командованием полковника Энджелла, там, в Нью-Джерси, познакомился с Феб Хетфилд родом из Элизабет-тауна, женился на ней и на следующий год, вернувшись с триумфом в Провиденс, привез с собой и юную жену.
Однако возвращение молодого воина не превратилось в сплошной праздник. Дом, правда, находился в отличном состоянии, а улицу расширили, переименовав в Бенифит-стрит. Однако тетушка Мерси заметно сдала – от ее былой крепости не осталось и следа. Уильяма встретила скрюченная жалкая старушка с безжизненным голосом и бледным как смерть лицом. Похожие перемены произошли и с единственной не покинувшей семейство служанкой, Марией. Осенью 1782 года Феб Хэррис родила мертвую девочку, а пятнадцатого мая следующего года добродетельная Мерси Декстер, прожив жизнь в самоотверженном труде и заботах о близких, оставила этот мир.
Тогда-то Уильям, полностью уверовавший в нездоровый климат своего жилища, решил навсегда покинуть его. Временно сняв для себя и жены номер в только что открывшейся гостинице «Золотой шар», он затеял строительство более благоустроенного дома на Уэстминстер-стрит, в новом городском районе за Большим мостом. Там в 1785 году родился его сын Дьюти, после чего семья благополучно жила в этом доме до того времени, когда интересы коммерции заставили их перебраться ближе к прежним местам и поселиться в новой части восточного квартала, на проложенной вдоль холма Энджел-стрит. Именно там, где впоследствии, в 1876 году, покойный Арчер Хэррис воздвиг свой пышный, но безвкусный особняк с мансардой. В 1797 году Уильям и Феб скончались во время эпидемии желтой лихорадки, а Дьюти взял на воспитание его двоюродный брат Ратбоун Хэррис, сын Пелега.
Ратбоун был человек деловой и поспешил сдать дом н Бенифит-стрит внаем, несмотря на желание Уильяма, чтобы дом пустовал: он считал своим долгом сделать все, чтобы увеличить состояние подопечного. Ратбоун и впредь не озадачивался большим количеством смертей и болезней в доме, из-за которых там часто сменялись жильцы, а также растущей недоброй славой особняка. Похоже, он чувствовал только раздражение, когда в 1804 году городской совет обязал его обработать дом серой, дегтем и нафталином после очередных четырех смертей, о которых много говорили в городе, и не верил, что причиной их была все та же эпидемия лихорадки, уже сходившая на нет. По мнению же совета, о наличии источника инфекции говорил стоявший в доме гнилостный запах.