Придя к власти в 35 лет, Омар полностью переменил свое поведение. Он отказался от роскоши, раздал свои имения и стал приверженцем бедности и простоты. Говорили, что, став халифом, он «пересел с коня на мула». Законом страны он сделал благочестие и точное следование исламу. В это время как раз наступил сотый год хиджры. Арабы были уверены, что мусульманская община просуществует только сто лет, а потом наступит конец мира. Религиозные, даже покаянные настроения были очень велики. Этому соответствовало и правление Омара. Он стал аскетом, худым и бледным, как монах. Весь его костюм стоил не более 12 дирхемов. Рассказывали, что он носил только одну рубашку, и когда она была в стирке, не мог выходить на люди. Он никогда не улыбался, ел один хлеб и чечевицу с чесноком. Его волновало только спасение своей души. Он говорил, что, став халифом, достиг предела земных благ и отныне ищет лишь райского блаженства.
В том же духе он управлял своей страной. Омар распорядился установить мир во всем халифате, отвел войска от Константинополя и заключил мир с Византией. Взамен он попросил императора построить в византийской столице мечеть, что и было сделано. Большинство наместников он сместил за жестокость и произвол и поставил на их место других, поручив им заботиться о бедных и никого не притеснять. В своих посланиях он предписывал не отрубать рук должникам, гасить долги неимущих из казны, не бить животных кнутом с железными наконечниками, писать сжатым почерком, чтобы экономить дорогой папирус. Омар считал, что мусульмане должны довольствоваться тем, что имеют, и им не нужны никакие завоевания. Вместо то этого он отправлял послания соседним правителям, убеждая их принять ислам.
Омар приказал освободить от налогов всех, кто принял ислам. После этого количество мусульман сразу резко увеличилось, а поступления в казну – сократились. Он смягчил подати от христиан и освободил от них церковное духовенство. Он щедро платил жалованье армии, старался возместить ущерб тем, кто пострадал при прежнем халифе. Казна при нем опустела, за что его упрекали впоследствии. Но все, даже христиане, считали его образцовым, милосердным, богобоязненным правителем.
Даже к шиитам Омар проявлял благосклонность и запретил проклинать Али в мечетях, как делалось до него. Он попытался договориться и с хариджитами и устроил с их представителями богословский и политический диспут об исламе. При всей суровости и благочестии хариджиты не могли предъявить никаких претензий лично к Омару.