Весной 1925 года Сян Юйнянь вместе с другом Сюань Чжэном покинули Гуанчжоу и переехали в Ханчжоу, где отец последнего держал шелкопрядильную мастерскую. Отец Сюань Чжэна был прогрессивно мыслящим человеком и сочувствовал революции, поэтому в его лавке также размещался подпольный пункт связи. Здесь Сян Юйнянь познакомился с членами Коммунистической партии Сюань Чжунхуа и Хэ Чихуа и под их влиянием проникся коммунистическими идеями. Осенью того же года, в классной комнате начальной школы Сяши в провинции Чжэцзян, Сян Юйнянь тайно принес клятву и вступил в Коммунистическую партию.
В январе 1926 года в Гуанчжоу проходил II Всекитайский съезд партии Гоминьдан. Сюань Чжунхуа попросил Сян Юйняня, хорошо знакомого с обстановкой в провинции Гуандун, сопровождать его на съезд. Он также представил Сян Юйняня Чжоу Эньлаю и его супруге Дэн Иньчао. Политик высоко оценил острый ум и деловитость Сян Юйняня.
После массового истребления коммунистов 12 апреля Сян Юйнянь утратил связь с однопартийцами. К счастью, его личность не была раскрыта, и вскоре ему удалось вновь связаться с партийной организацией, а также стать членом особой части ЦК.
Сян Юйнянь занимался разведывательной деятельностью для Центрального Военного совета партии в Шанхае в 1933 году. Он обеспечивал связь на верхнем уровне, работал под началом товарищей Ван Шиина и Лю Цзыхуа.
Главной задачей ЦВС с 1933 по 1934 год было координирование ударов Красной армии по войскам Гоминьдана, совершавшим карательные походы против советских районов. Большую группу коммунистов, в составе которой был и Сян Юйнянь, направили в Наньчан, Цзюцзян и Дэань для основания подпольной организации, которая вела работу по созданию Единого фронта и планированию диверсий – подрыва мостов железнодорожных путей, аэродромов и складов.
25 сентября 1933 года Чан Кайши сосредоточил миллионную армию для начала пятого наступления на революционные базы. Численность войск, направленных против центральных советских районов, достигала пятисот тысяч человек. Помня о провале предыдущего похода, Чан Кайши изменил тактику боевых действий: вместо форсированного продвижения вперед он приказал наступать последовательно, создавая укрепленные пункты и опираясь на них. Он намеревался постепенно сжать советские районы, истощить живую силу Красной армии, навязать ей генеральное сражение и в итоге уничтожить.