По списку, содержащемуся в обзоре, стали проводить обыски и аресты. 21 марта 1901 года добрались и до обсерватории. Джугашвили дома не застали и сначала подвергли обыску его квартиру. На подходе к дому Иосиф заметил жандармов и повернул обратно к объектам обсерватории. Однако в конце концов его обнаружили и подвергли личному обыску. Ничего компрометирующего найдено не было, и задерживать его не стали, но после обыска Джугашвили предпочел от греха подальше перейти на нелегальное положение. У него изъяли книгу С.Н. Прокоповича «Рабочее движение на Западе», которую трактовали в качестве нелегальной литературы. Было решено привлечь Джугашвили к дознанию в качестве обвиняемого по делу тифлисской социал-демократической организации. Однако вскоре выяснилось, что книга Прокоповича была легально издана в Петербурге в 1899 году, и дело Джугашвили окончательно развалилось.
Уйдя в подполье, Сталин стал активно готовить первомайскую демонстрацию. Всего в ней участвовало 2–3 тыс. человек. Они собрались у Солдатского базара небольшими группами и подняли красный флаг. Тут на них набросились прятавшиеся в соседних улочках солдаты и полицейские. Демонстрацию разогнали, часть участников арестовали. Сразу же появилась листовка «Долой тиранию! Да здравствует свобода!», подготовленная социал-демократами. В Тифлисе в тот момент победила линия Сталина на политизацию движения и сочетание легальных и нелегальных методов борьбы.
Весной и летом 1901 года почти все руководители тифлисских социал-демократов, остававшиеся на легальном положении, были либо арестованы, либо взяты под плотное наблюдение. В этих условиях Джугашвили стал играть значительно большую роль в координации действий организации. 11 ноября 1901 года на общегородской партийной конференции он был избран одним из четырех руководителей. Вскоре после конференции Джугашвили был направлен в Батум для пропаганды среди местных рабочих. Отъезд был связан также с тем, что в Тифлисе ему угрожал арест.
Джугашвили, по признанию, содержащемуся в жандармских сводках, удалось активизировать деятельность батумской организации. Соратникам по Батуму он запомнился как молодой человек в черной рубахе, летнем длиннополом пальто и мягкой черной шляпе. Джугашвили стал одним из организаторов забастовки на заводе Манташева в январе 1903 года. Рабочим разъяснили их право на выходной день, и они потребовали не только предоставления им еженедельного воскресного отдыха, но и запрещения ночных работ, а также вежливого обращения со стороны администрации. В феврале их требования были удовлетворены. Джугашвили также устроил в Батуме нелегальную типографию.