Пейдж оставался в тени много лет. Его уважали в музыкальном бизнесе, но известность даже близко не приближалась к славе великолепных Эрика Клэптона и Джеффа Бека. В конце концов Пейджу захотелось стать членом группы, которая играла бы музыку, которую он сам любит. Он вспоминает: «Работа в студиях меня дисциплинировала, конечно. Я научился играть во многих стилях. Мне нравилось играть на акустике фингерстайл[3], а к концу моего сессионного периода я уже играл что-то совсем неинтересное – просто бренчал аккордами, и в конце концов мне это уже поперек горла встало. Пора было что-то менять, и тут как раз подвернулся вариант с The Yardbirds».
Пейджа уже звали в эту группу ранее, когда ушел Эрик Клэптон. Тогда он отказался, теперь согласился и в 1966 году стал одним из The Yardbirds. Лидер-гитаристом в группе по-прежнему был Джефф Бек, так что Джимми взял в руки бас-гитару. Так получилось потому, что постоянный басист Пол Семуэлл-Смит внезапно ушел из группы в результате одной крупной ссоры. Пейдж вспоминает: «Мы всегда хотели играть вместе, и вдруг такая возможность представилась. Я взял бас-гитару на время, пока ритм-гитарист (Крис Дрея) не освоит бас, а потом мы с Джеффом могли оба играть соло».
Порепетировав всего два часа, The Yardbirds с Пейджем отправились в длительный американский тур. Напряжение в туре привело к тому, что у Бека начались приступы ярости и депрессии. Иногда он вообще не являлся на концерт, и тогда Джимми заменял его. Вдвоем с Беком они образовывали двойную линию фронта, и получалась настолько оглушающая стена звука, что худенького вокалиста Кита Релфа чуть не сдувало. Это все было очень здорово, но напряженность возрастала, и в конце концов в 1968 году Джефф Бек ушел из группы.
Джимми стал последним соло-гитаристом The Yardbirds, а группа решила сосредоточиться на работе в Штатах. В то время они были крайне влиятельны и популярны, но пик уже был пройден, начался упадок. Бесконечные турне и недостаток чартовых успехов привели к тому, что группа самораспустилась. Они окончательно распались, дав концерт в городе Лутон графства Бердфордшир в июле 1968 года.
Последний менеджер The Yardbirds, Питер Грант, убедил Пейджа найти новых музыкантов и собрать собственную группу. В коллектив, впоследствии получивший название