К 1760 году Джозеф Карвен стал настоящим изгоем, подозреваемым в самых ужасных связях с дьяволом, которые казались тем страшнее, что их нельзя было назвать, понять или хотя бы доказать. Последней каплей была пропажа солдат в 1758 году. В марте и апреле того года два королевских полка, направлявшихся в Новую Францию, квартировали в Провиденсе и к концу этого срока поредели гораздо сильнее, чем это бывает при обычном дезертирстве. Поползли слухи о том, что Карвена часто видели разговаривающим с одетыми в красные мундиры чужаками, а когда они исчезли, то люди вспомнили и об исчезавших странным образом моряках. Трудно сказать, что было бы, не получи полки приказ двигаться дальше.
Тем временем дело Карвена процветало. Он владел монополией на городскую торговлю селитрой, черным перцем, корицей и с легкостью опередил все остальные торговые дома, кроме фирмы Браунов, в импорте медной посуды, индиго, хлопка, шерсти, соли, одежды, железа, бумаги и всевозможных английских товаров. Торговля Джеймса Грина из Чипсайда, на вывесках которого красовался слон, и Расселлов с их золотым орлом, и Кларка с Найтингейлом с их сковородкой и рыбой почти полностью зависела от поставок Карвена, а его контракты с местными виноделами, наррангассеттцами-коневодами и маслоделами и ньюпортскими свечных дел мастерами сделали его одним из первых экспортеров колонии.
Хоть Карвен и был отверженным, но все же он жил среди людей, поэтому, когда сгорело здание, в котором размещалось Управление колониями, и решили устроить лотерею, Карвен подписался на довольно значительную сумму. И новое кирпичное здание, все еще украшающее главную улицу, было возведено в 1761 году. В том же году он дал деньги на восстановление Великого моста, разрушенного октябрьскими штормами. Для публичной библиотеки он закупил много новых книг, чтобы заменить погибшие во время пожара в Управлении колониями, а также устроил лотерею, благодаря которой были вымощены булыжником Маркет-парад и славившаяся своими ямами Городская улица, где к тому же сделали посередине пешеходную дорожку.
Примерно в это время Карвен построил еще один довольно обычный снаружи, но отличавшийся роскошью и всеми возможными новинками дом, двери которого представляли собой чудо деревянной резьбы. Когда в 1743 году последователи Уайтфилда отделились от церкви доктора Коттона на холме и основали против Великого моста собственную церковь, в которой дьяконом стал доктор Сноу, Карвен присоединился к ним, хотя вскоре его энтузиазм несколько поутих. Однако с этих пор он вновь стал заботиться о своей репутации, желая как будто рассеять тень, из-за которой он оказался в изоляции и которая могла положить конец его благоденствию.