Приспосабливаясь к новой оседлой жизни в Англии, он остался приписан к флоту в качестве Виндзорского рыцаря ВМФ с соответствующей пенсией, что звучало красиво, но в действительности означало скуку и рутину. Его единственная обязанность заключалась в том, чтобы дважды в день посещать церковь и возносить дополнительные молитвы за здравие короля, его лордов и разных подхалимов из Виндзорского замка. Все остальное время он проводил в одиночестве в своей маленькой квартире и ничего не делал; он не мог даже читать.
Жизнь в Виндзоре оказалась для Холмана такой экзистенциальной пыткой, что его здоровье покатилось под уклон, но в нем проснулась жажда путешествий. Вскоре он уехал из Англии и провел остаток жизни в странствиях, храбро проникая в незнакомые и часто опасные уголки земного шара.
В одном из ранних странствий он решил пересечь Сибирь с запада на восток. Из-за страшных ям и колдобин на дорогах он преодолел большую часть пути пешком – просто шел рядом с экипажем, держась за веревку. Но он не успел достигнуть побережья Тихого океана и был задержан царскими чиновниками, которые заподозрили в нем шпиона и депортировали из России, так как никто не верил, что кто-то может путешествовать по Сибири ради развлечения.
В своих следующих путешествиях он преследовал работорговцев, составлял карту отдаленных регионов Австралии, вел переговоры с охотниками за головами, спасался от лесных пожаров, оказывался в зонах военных конфликтов и переправлялся через Индийский океан на судне с грузом сахара и шампанского (иногда бывали и положительные моменты). Он также поднялся на гору Везувий во время извержения и едва не сжег подошвы башмаков, но убедился в том, что может справиться с чем угодно, несмотря на свое увечье.
По пути Холман заработал репутацию дамского угодника и проделал обширную научную работу (например, о распространении семян растений по островам), в результате чего даже был избран в члены Королевского общества, и на его работы ссылался Чарльз Дарвин. Он редко путешествовал в роскошных условиях: его ежегодная пенсия составляла 84 фунта стерлингов. Он экономил на продуктах, имея собственные запасы провианта (обычно фрукты, вино и дешевые консервы из языка, которые могли храниться очень долго), а также всегда носил свой старый офицерский мундир.