Возвратившись в Петербург в 1895 г., Мартов возобновил контакты с участниками своей группы и познакомился с членами другой группы студентов-пропагандистов, существовавшей с начала 90-х гг. (их называли «стариками»). Сначала эта группа была достаточно аморфна. Оживилась ее деятельность, когда в 1893 г. в нее вошел В. Ульянов, по инициативе которого в конце 1894 г. было издано несколько листовок, обращенных к рабочим отдельных питерских заводов. В октябре 1895 г. по предложению Мартова с участием членов его группы и «стариков» был создан Петербургский союз борьбы за освобождение рабочего класса. На ряд лет Мартов и будущий Ленин стали соратниками и личными друзьями, но, вопреки канонам советской историографии, создание союза, его первые выступления и стремление превратиться в общероссийскую организацию были, как свидетельствуют объективные исследования, в первую очередь делом Мартова, который пользовался в среде членов союза наибольшим авторитетом, а не Ленина.
В январе 1896 г. Мартов, Ульянов и другие члены союза были арестованы, а затем сосланы. Ульянов, запасшийся медицинскими свидетельствами, оказался на юге Енисейской губернии, Мартов – на Крайнем Севере, в Туруханске. Здесь он, проведя три года, заболел туберкулезом горла, который, развившись затем в туберкулез легких, значительно сократил его жизнь.
Срок ссылки закончился в начале 1900 г., а в марте этого же года в Пскове состоялась встреча Мартова, Ленина и еще одного бывшего члена Петербургского союза борьбы А. Н. Потресова с представителями так называемого «легального марксизма» П. Б. Струве и М. И. Туган – Барановским – либеральными интеллигентами, использовавшими марксову аргументацию для обоснования капиталистического развития России и необходимости демократизации страны. Вначале Мартов занимал самые крайние позиции – по принципиальным соображениям он был против тесного сотрудничества с «либеральными марксистами», но Ленин и Потресов переубедили его, и была достигнута договоренность, включавшая даже согласие о признании «легальных марксистов» в виде особого течения в официально провозглашенной за два года до этого на съезде в Минске социал-демократической партии, которая, однако, фактически еще не существовала. Впрочем, против соглашения резко ополчился Плеханов, и в силу оно не вошло.