Но на протяжении всей его жизни, стоило только обстоятельствам, казалось бы, складываться для Энди хорошо, как неожиданно возникала беда, угрожавшая всему, что с таким трудом удалось достичь. Энди был так влюблен в Чарльза, что их отношения становилось в определенной мере тяжело поддерживать.
Чарльз Энди обожал, но не в том смысле, в каком тот любил его, у них ни секса, ни поцелуев, ничего такого не было. Чарльз вполне себе понимал, чего от него хотят, но сам не хотел того же, и Энди знал, что тот не хочет, так что и не заикался. Только все несколько усложнялось тем, что Энди требовалось много внимания, и он начал действовать Чарльзу на нервы, как, по крайней мере, считал его арт-дилер, бывший в курсе этого романа. В целом Уорхол придерживался мнения, что все как-нибудь само разрешится со временем.
Ему подумалось, что подвернулся тот самый случай, когда Чарльз обмолвился, что планирует летом путешествие на Восток, чтобы познакомиться с азиатским искусством, и поинтересовался, не хочет ли Энди поехать. Энди воспринял затею очень беззаботно. Суеты не разводил, но к их отъезду 19 июня 1956 года будущая поездка разрослась до кругосветного путешествия (в том же году вышел фильм «Вокруг света за 80 дней»). Идея сама весьма романтическая, и можно себе представить, каково было Энди в кресле 8А салона первого класса самолета Japan Airlines, направлявшегося в Токио через Сан-Франциско и Гонолулу, с Чарльзом по соседству.
Его надежды потерпели крушение практически сразу. На второй день поездки у Чарльза и Энди случилась перебранка в номере отеля в Гонолулу. Энди распорядился, чтобы в Сан-Франциско у них были отдельные номера, а по приезде в Гонолулу Чарльз сказал: «Глупость какая!» – и взял им общий номер с двуспальными кроватями с видом на пляж. Время было около трех пополудни. Чарльзу хотелось прямиком пойти на пляж и оглядеться, но Энди, заметно утомленный перелетом, отказался. Стоило Чарльзу оказаться на пляже, как он повстречал необыкновенно красивого юношу, рассказавшего замечательную байку про то, как ему будто бы пришлось снимать по солдату каждый день, чтобы содержать семью, и после короткого разговора Чарльз предложил тому подняться в номер, чтобы сделать несколько фотографий. Пока они с юношей шли по коридору отеля, Чарльз все надеялся, что Энди куда-нибудь ушел, понимая, что ситуация патовая, если тот на месте. Обнаружив, что забыл ключ, Лисанби постучал в дверь.