Смитмен планировал после прибытия тотчас же отправиться в Англию, но его подкосил очередной приступ малярии, он не рискнул встречаться с суровыми зимними ветрами в плавании через Атлантику и решил пересидеть несколько месяцев на берегу. Однако к тому моменту, когда он был готов продолжить вояж, уже вовсю полыхала война за независимость, и американские приватиры повсюду захватывали британские корабли. Оказавшись в безвыходном положении, Смитмен в итоге решил поселиться на Тобаго и четыре года занимался естественно-научными изысканиями на различных островах. Самым примечательным стало его исследование карибских огненных муравьев, которые перемещались по островам такими тучами, что Моисей засомневался бы, стоит ли насылать их на фараона. На островах муравьи нападали даже на сельскохозяйственных животных, за ночь обгладывая до костей туши коров и лошадей. Местные называли эти стаи «муравьиным проклятием».
И все эти годы Смитмен размышлял по поводу рабства. Вест-Индия во многих смыслах была райским местом: яркая, богатая растительность, множество новых видов флоры и фауны, – и он проводил долгие дни в прогулках на природе и коллекционировании. Однако нередко он оказывался и вблизи плантаций, где то и дело слышались свист хлыста и крики боли. Он был свидетелем публичной порки рабов, как мужчин, так и женщин, и длинные извилистые шрамы, покрывавшие их тела, виделись ему в кошмарных снах (рабовладельцы часто лили свечной воск или сыпали толченый перец чили на раны, чтобы усилить страдания. Некоторые даже бросали перец в глаза). В Африке Смитмену как-то еще удавалось дистанцироваться от рабства. Но жестокость жизни на плантациях поправила его нравственный компас, и он снова стал противником рабства.
Наконец, в августе 1779 года Смитмен решил преодолеть последний этап «торгового треугольника» и вернуться в Англию. Разумеется, корабль, на котором он плыл, захватили пираты, и все собранные экспонаты – плоды многолетних трудов – были выброшены в море. Он вернулся в Англию ни с чем, и триумфальной встречи героя, о которой он так мечтал, не состоялось. Но он хотя бы смог представить в Королевском обществе высоко оцененный доклад о термитниках. Однако высокомерный президент общества решил, что Смитмен недостаточно благороден для их рядов, и практически блокировал его прием в члены общества. Смитмен, безусловно, был убит горем. Его мечта стать джентльменом-ученым рассыпалась в прах.