1899–1900 гг. проходят для С. в интенсивной работе по пропаганде в рабочих кружках. В 1900 г. учреждается Тифлисский комитет Р.С.-Д.Р.П. С. становится членом Тифлисского комитета и одним из его выдающихся руководителей. В этот период рабочее движение в Тифлисе начинает выходить из рамок стройной, чисто пропагандистской работы с «выдающимися единицами» из рабочих. Агитация в массах путем листовок на злободневные темы, путем летучек и политических демонстраций против царизма становится злобой дня. Разгорается спор между «стариками», сторонниками старых методов чисто пропагандистской работы и «молодыми», сторонниками «улицы». С. на стороне «молодых». Следует отметить выдающуюся роль в деле победы новых методов работы над старыми, так же как и в деле революционного воспитания С., которую сыграл тогда в Тифлисе Курнатовский, ближайший соратник Ленина и первый насадитель ленинских идей в Закавказье.
Волна экономических забастовок по всему Тифлису в 1900–1901 гг. и известная майская политическая демонстрация в центре Тифлиса приводят к разгрому тифлисского комитета. Обыск у С. в 1901 г. и потом ставшее известным распоряжение охранки об его аресте заставляют его перейти на нелегальное положение. С этого времени С. становится профессиональным революционером подполья и остается в подполье вплоть до Февральской революции 1917 г., работая под революционными кличками «Давид», «Коба», «Нижерадзе», «Чижиков», «Иванович», «Сталин».
И. В. Сталин. Рисунок из энциклопедического словаря «Гранат» (издание 1989 года).
В конце 1901 г. С. переезжает в Батум, основывает там Батумский комитет Р. С.-Д. Р. П., руководит забастовками на заводах Ротшильда и Манташева и организует известную политическую демонстрацию рабочих в феврале 1902 г. В марте 1902 г. С. арестовывают в Батуме и, продержав его в тюрьме до конца 1903 г., высылают на три года в Восточную Сибирь, в Балаганский уезд Иркутской губ., в село Новая Уда.
Через месяц по прибытии на место ссылки (январь 1904 г.) С. бежит из ссылки, приезжает в Тифлис и ведет работу в качестве члена областной организации Закавказья, называвшейся тогда Закавказским союзным комитетом. Работа С. за период 1904–1905 гг. проходит под флагом ожесточенной борьбы с меньшевизмом. С. систематически объезжает районы Закавказья (Батум, Чиатуры, Кутаис, Тифлис, Баку), ведя устную и печатную дискуссию против меньшевиков, а также против эсеров, анархистов, националистов. Еще в 1903 г., сидя в тюрьме и узнав от приехавших со II съезда партии товарищей о серьезнейших разногласиях между большевиками и меньшевиками, С. решительно примыкает к большевикам. По возвращении из ссылки, когда борьба между большевиками и меньшевиками приняла острый характер, С. становится во главе закавказских большевиков, руководит большевистским нелегальным органом «Борьба пролетариата» (1905 г.) и принимает активнейшее участие в деле организации III съезда большевиков. «Октябрьский манифест» 1905 г. застает С. в Тифлисе в разгаре борьбы за большевистские лозунги революции. К этому периоду относится брошюра С. «Вкратце о партийных разногласиях» (на грузинском языке). В конце 1905 г. С. уезжает в качестве делегата от закавказских большевиков на общерусскую большевистскую конференцию в Таммерфорсе (Финляндия), где он окончательно связывается с Лениным.