Халиф был избран, но почти вся страна находилась в руках Ибн аз-Зубайра. Даже ад-Даххак переметнулся на его сторону и отобрал у Омейядов Дамаск. Поэтому первый удар Марван нанес по армии ад-Даххака. Битва у Мардж Рахит – точнее было бы назвать ее противостоянием – продолжалась двадцать дней. Исход сражения решила хитрость Убайдаллаха ибн Зийада: он посоветовал Марвану заключить с ад-Даххаком перемирие, а когда его воины расслабятся, сокрушить их внезапной атакой кавалерии. Тот так и поступил. Армия ад-Даххака была разгромлена, и вся Сирия перешла под власть Марвана.
Следующей целью халифа стал Египет. Это была стратегически важная провинция, откуда в Мекку поступали золото и зерно. Хотя египтяне присягнули Ибн аз-Зубайру, часть местной знати поддерживала Омейядов и обещала Марвану помощь, если он вторгнется в Египет. Так оно и произошло: когда его армия появилась у Фустата, городская верхушка договорилась о почетной сдаче города. Вместе с Фустатом в подчинении Марвана оказалась вся египетская провинция.
После египетского успеха Марван почувствовал себя достаточно сильным, чтобы объявить своим преемником не Халида, как это было решено на совете Омейядов, а своего собственного сына – Абд-аль-Малика. Его предложение почти не встретило сопротивления. Хасан ибн Малик по каким-то причинам решил отказаться от своего протеже Халида, а других сильных соперников у него не было. Вскоре после того, как сирийцы присягнули Абд-аль-Малику, Марван умер. Говорили, что ночью его задушила подушкой собственная жена, мать Халида, чтобы отомстить за унижение сына.
Абд аль-Малик в это время был уже немолод – ему исполнилось сорок, – и имел большой опыт в политике и ведении войны. Внешне он был очень привлекателен: высокий, статный, большеглазый, с орлиным носом, – но страдал скупостью и любил лесть. Власть попала к нему в неудачное время: халифу приходилось одновременно отбиваться от арабов на юге и византийцев на севере. Во главе Византии стоял талантливый Константин IV Погонат, не так давно разбивший флот Муавии с помощью греческого огня. Воспользовавшись раздорами арабов, византийский император за два года отвоевал Родос, Крит и Кипр и очистил от арабов все Средиземноморье, а на суше захватил Кесарию, Антиохию и Акку. Абд аль-Малику пришлось заключить с Погонатом унизительный мир, чтобы перебросить все свои силы на восстановление власти в халифате.