С помощью своего слуги принцу удалось тайно выбраться из дворца, где он впервые в жизни увидел согбенного и немощного старика, у которого выпали почти все зубы и волосы, а дряблая и сухая кожа была сплошь покрыта морщинами. «Кто это?» – с удивлением и нескрываемым отвращением спросил Сиддхартха у сопровождающего. «Это старик, – ответил ему слуга, – такими становятся все люди». Через некоторое время Сиддхартха обратил внимание на стонущего человека, лежавшего возле дороги, кожа которого была покрыта зловонными язвами… «Значит, люди болеют и мучаются», – подумал Сиддхартха. Идя дальше, они встретили похоронную процессию. На носилках лежал труп, а сопровождающие женщины рыдали и рвали на себе волосы. «Что с этим человеком, – спросил Сиддхартха у сопровождающего, – он тоже больной?»
«Это мертвец, – ответил ему слуга, – так бывает с каждым в конце жизни».
В четвертый раз им на пути попался аскет, на тощем теле которого не было ничего кроме набедренной повязки, а руках он держал деревянную чашку для подаяний.
Все эти встречи заставили Сиддхартку крепко задуматься. Он понял, что болезни, мучения, старость и смерть неизбежны, и ни роскошь, ни знатность, унаследованная от отца, не сумеют защитить от них. Однако он решил найти путь, чтобы избежать всеобщей участи и найти путь к спасению. В результате Гаутама переоделся в простую одежду и ночью тайно покинул дворец.
Первоначально он решил стать отшельником, таким, какого он уже видел. Под руководством вновь обретенных наставников он познакомился с философскими традициями, обучился йоге, овладел техникой медитации и управления собственным телом, но вскоре убедился, что это ни в коей мере не приводит к прекращению страданий и духовному просветлению. Более того, вместо ожидаемого успеха он встретил у окружающих только насмешки и презрение. Многие знали, что он принц, а поэтому решили, что он сошел с ума, отказавшись от роскоши.
После этого Сиддхартха вместе с несколькими единомышленниками попытался достичь просветления посредством суровой аскезы и умерщвления плоти, потребляя всего три зернышка риса в день, но едва не умер. Он убедился, что ушел от одной крайности в другую, что такое воздержание не приближает его к постижению высшей истины, а только изнуряет тело и ум. А когда он принял подаяние в виде молока и риса от деревенской женщины, то его коллеги, увидев, что он нарушил обет, с презрением от него отвернулись.