Родился в г. Балашове Саратовской обл. (Россия). Начальное образование получил в церковно-приходской школе, которую не окончил из-за отсутствия средств. Однако, упорно занимаясь самообразованием, экстерном сдал все экзамены за полный курс Балашовской мужской гимназии. В 1897 г. поступил на факультет естествознания Петербургского университета, который успешно закончил в 1901 г. Был преподавателем Голицинских высших женских курсов.
С 1905 г. по 1914 г. занимался исследованием почв в Черниговской, Полтавской, Калужской, Великолукской и других губерниях. Его наблюдение почв в поле, аналитическая обработка проб, знакомство с хозяйственной деятельностью различных регионов России заложили основы будущих концепций. С 1917 г. много работал по организации первых в стране совхозов, входил в комиссию по изучению производительных сил страны, был профессором Московского межевого института.
С 1921 г., когда Я. Н. Афанасьев возглавил кафедру почвоведения Горецкого сельскохозяйственного института, начинается белорусский период его жизни. В 1931 г. стал первым директором Института агропочвоведения АН БССР. В 1931–1937 гг. руководил всеми почвенными и агрохимическими исследованиями в республике. По инициативе Я. Н. Афанасьева была создана кафедра почвоведения в Белорусском государственном университете. Вместе с ним трудились соратники и ученики, впоследствии ставшие известными учеными АН БССР: П. П. Роговой, И. С. Лупинович, А. Г. Медведев, А. П. Кучинский, В. Н. Четвериков, H. Н. Булгаков и другие.
Я. Н. Афанасьев активно участвовал в международной деятельности. Выезжал в Чехословакию и Польшу, участвовал в международных конгрессах почвоведов в Вашингтоне (1927) и Ленинграде (1930).
Научный доклад «Классификационная проблема в русском почвоведении» на I Международном конгрессе почвоведов в Вашингтоне (1927) и выступление «Основные черты почвенного лика земли» сопровождалось демонстрацией почвенной карты мира и рисунками почв СССР. Цветные почвенные разрезы Беларуси были удостоены на конгрессе золотой медали. Монография «Асноуныя рысы глебавага твару зямлi» вышла в 1931 г. на трех языках.
В 1930-е годы под руководством Я. Н. Афанасьева была составлена сводная почвенная карта Беларуси в десятиверстном масштабе (в границах до 1939). Наркомзем и Госплан БССР широко использовали ее при районировании территории республики, установлении специальных культур, распределении удобрений и для других экономических целей. Кроме того, была подготовлена карта эффективности использования удобрений в республике под основные сельхозяйственные культуры.