В начале октября Джугашвили отправили обратно в Батум, а в ноябре с этапом – к месту ссылки через Новороссийск, Ростов-на-Дону, Самару и Челябинск. До Новороссийска ссыльных везли пароходом, а оттуда – поездом, в арестантском вагоне. Так Иосиф впервые увидел российские просторы – Поволжье, Урал. Товарищи снабдили Джугашвили деньгами на дорогу и провизией. Только в Батуме он получил 10 рублей. Еще какая-то сумма денег была выслана в Ростов. Уже на Урале ссыльных встретила суровая зима, а в Сибири морозы доходили до 30 градусов. Для выросших в субтропиках грузин это была настоящая трагедия.
Местом ссылки Джугашвили было определено селение Новая Уда, находившееся в 70 верстах от уездного центра Балаганска и в 120 верстах от ближайшей железнодорожной станции Тыреть. Иосиф не собирался задерживаться в этой глухомани. Обстоятельства его побега темны и не прояснены по сей день. Неизвестно также, один раз или дважды бежал Сталин из Новой Уды. Успешный побег датируют 5 января 1904 года, неуспешный (если он был) – ноябрем или декабрем 1903 года.
Находившийся в ссылке в Балаганске Абрам Гусинский оставил нам описание своей встречи со знаменитым беглецом: «Ночью зимой 1903 г. в трескучий мороз, больше 30 градусов по Реомюру (т. е. больше 37 градусов по шкале Цельсия, так как один градус Реомюра равен пяти четвертым градуса по шкале Цельсия. – Б. С.) … стук в дверь. «Кто?»… к моему удивлению, я услышал в ответ хорошо знакомый голос: «Отопри, Абрам, это я, Сосо». Вошел озябший, обледенелый Сосо. Для сибирской зимы он был одет весьма легкомысленно: бурка, легкая папаха и щеголеватый кавказский башлык. Особенно бросалось в глаза несоответствие с суровым холодом его легкой кавказской шапки на сафьяновой подкладке и белого башлыка (этот самый башлык, понравившийся моей жене и маленькой дочке, т. Сталин по кавказскому обычаю подарил им). Несколько дней отдыхал и отогревался т. Сталин, пока был подготовлен надежный ямщик для дальнейшего пути к станции железной дороги не то Черемхово, не то Тыреть – километров 80 от Балаганска. Документы у него были уже. Эти дни… т. Сталин провел безвыходно со мной и моей семьей».
Джугашвили благополучно добрался до Тифлиса во второй половине января 1904 года. Здесь он познакомился с социал-демократом Львом Борисовичем Розенфельдом, более известным в дальнейшем под псевдонимом Каменев, который устроил ему убежище на квартире рабочего Морочкова. В дальнейшем Сосо отблагодарил Льва за эту услугу по-царски – пулей в затылок (пулю эту затем хранил у себя «железный нарком» Ежов, пока не отправился вслед за Каменевым).