Не последнюю роль в последующем восхождении Габсбургов к вершинам власти сыграла их прочная связь с Ватиканом. Рудольф I завоевал симпатии Папы Римского, скорее всего, не потому, что пообещал ему Крестовый поход в Святую землю, а благодаря заверению, что он не будет вмешиваться в борьбу за власть в Италии, чем со всем рвением занимались его предшественники. Среди Габсбургов даже жила легенда (одна из многих), что когда Рудольф I после своего избрания королем принимал поздравления курфюрстов и князей, у него не оказалось скипетра. Тогда он якобы снял со стены крест и заявил: «Этот символ выкупил мир и да будет он нашим скипетром»…
В 1280-х годах Рудольф I занимался не только своими новоприобретенными владениями, но и родовыми землями Габсбургов в Юго-Западной Германии. В 1281 году ему удалось присоединить ряд ленов во Франш-Конте, а затем подчинить своей власти город Берн и добиться принесения оммажа от пфальцграфа Бургундского. В 1282-м король официально передал Австрию и Штирию в наследственное владение своим сыновьям Альбрехту I и Рудольфу II. Таким образом в Австрии установилось правление династии Габсбургов, которая сохраняла австрийский престол до 1918 года. Как уже было сказано выше, среди забот об исполнении королевских обязанностей Рудольф не упускал из виду своей главной личной цели – обогащения и упрочения своего дома. Так, когда после смерти последнего из Штауфенов герцогство Швабское – прямая собственность короны – попало под власть нескольких князей, Рудольф заявил на него свои права и стал добиваться этого герцогства для своего сына Рудольфа. Из-за этого ему пришлось вести долгую и упорную борьбу с одним из самых могущественных и буйных своих вассалов, графом Эберхардом Вюртембергским, и даже осадить и взять приступом столицу его княжества, Штутгарт.
В Северной Германии Рудольф пользовался весьма малым влиянием, хотя его зять, герцог Альбрехт Саксонский, поддерживал по мере сил и возможностей его авторитет, стараясь соблюдать его постановления о всеобщем внутреннем умиротворении страны, но власть короля здесь была почти неощутимой. Даже те союзы городов и владетельных князей, которые заключались как будто бы для соблюдения мира и тишины в стране, во многих местах были направлены против самого короля. Рудольф даже не пытался вступать в борьбу, которая была вызвана Лимбургским спором о наследстве, и в кельнские усобицы, закончившиеся битвой при Воррингене, которые волновали всю Северо-Западную Германию.