Все это не нравилось его двоюродному брату Йазиду, сыну первого Валида. Он не имел никаких прав на престол, но, как правоверный мусульманин, не мог равнодушно смотреть на бесчестие нового халифа. Взяв с собой двенадцать единомышленников, он отправился в Дамаск, дерзко ворвался ночью в дворец наместника и к утру захватил власть в городе. Растерявшиеся власти ничего не смогли сделать.
Эта смелая авантюра привлекла к нему множество сторонников, которые стали толпами стекаться в Дамаск. Скоро у него образовалась большая армия, способная бросить вызов халифу. Валид II, продолжавший все это время пировать и отмахиваться от сообщений о заговоре, не смог организовать сопротивления. К тому же, ближайшие союзники его оставили и перешли на сторону Йазида. Поняв, что все пропало, Валид достойно встретил смерть. Подражая праведному халифу Осману, он взял в руки Коран и сел во дворе дома, отказавшись вытащить меч против набросившихся на него врагов. Его изрубили мечами и отсекли голову и кисть левой руки.
Придя к власти, Йазид III сразу заявил, что действовал не из корысти и не ради славы, а исключительно «ревнуя об Аллахе». Он демонстративно подчеркивал свое благочестие и выступал за строгое следование нравственности и исламу, хотя многие правоверные мусульмане считали его еретиком, приверженцем кадаритского учения о свободе воли. Но когда жители города Химса предложили ему передать трон сыну Валида II, Йезид наотрез отказался. С помощью армии он решительно подавил недовольство, вспыхнувшее сразу в нескольких провинциях, а некоторых наиболее опасных соперников подкупил, предложив им более обширные владения.
Йазид утверждал, что он не только Омейяд, но и потомок римских цезарей и персидских царей (его матерью была дочь последнего персидского шаха Йездигерда III). Но это не помогло ему удержаться на троне. Он правил он всего полгода и в 744 году умер от болезни, передав трон своему брату Ибрахиму.
Ибрахим тоже не сумел удержать власть в руках. Против него восстал армянский наместник Марван, двинувший свои войска на Дамаск. К нему присоединились все, кто считал свержение Валида II незаконным и хотел видеть халифом одного из его сыновей. В битве у Айн Джарра, продолжавшейся целый день, результат долго оставался неопределенным, пока Марван не прибег к хитрости, отправив часть войска в тыл противника и наведя на реке мосты из наскоро срубленных деревьев.