С сентября 2003 года по июль 2020 года – член Совета Федерации Федерального Собрания Российской Федерации, представитель от исполнительного органа государственной власти Белгородской области. С июля 2020 года и по настоящее время – сенатор Российской Федерации.
С декабря 2006 года по ноябрь 2011 года возглавлял Комиссию Совета Федерации по естественным монополиям. С декабря 2011 года – член Комитета Совета Федерации по федеративному устройству, региональной политике, местному самоуправлению и делам Севера. Одно из главных направлений его деятельности – выработка предложений по совершенствованию экономической модели страны.
На протяжении более четверти века отдает много времени и сил разнообразной работе по сохранению благодарной памяти потомков о Победе нашего народа в Великой Отечественной войне. Он является одним из основателей Государственного военно-исторического музея-заповедника «Прохоровское поле» и многолетним председателем его попечительского совета. В составе мемориального комплекса воздвигнут храм Петра и Павла, памятник Победы – Звонница, установлены скульптурные композиции «Танковый десант», «Танковое сражение под Прохоровкой. Таран», построен Культурно-исторический центр, открыты музей Боевой славы «Третье ратное поле России», Музей бронетанковой техники, парк Победы.
К 75-летию Победы в Великой Отечественной войне открыт музей «Битва за оружие Великой Победы», посвященный труженикам тыла, ковавшим оружие Победы, а также многим другим свидетельствам стойкости, мужества и героизма воинов Прохоровского танкового сражения 12 июля 1943 года в ходе Курской битвы.
Основатель Публичной научно-исторической библиотеки Н.И. Рыжкова на «Прохоровском поле», которая является частью мемориального комплекса и в 2020 году отметила свой четвертьвековой юбилей. Фонд библиотеки сегодня насчитывает более 76 тысяч книг, из которых половина подарена его создателем. Особенностью фонда библиотеки является то, что все книги дарственные. Создан фонд редких изданий, насчитывающий свыше 1000 книг. Сформирован фонд медиатеки, содержащий видеоматериалы различной тематики, в том числе специальный отдельный фонд документальных научно-познавательных фильмов компаний: Би-Би-Си (BBC), Дискавери (Discovery), Энимал Плэнет (Animal Planet) и т. п. на электронных носителях (DVD). В целях популяризации творческого наследия интеллектуальной мысли книг в уникальном фонде Публичной научно-исторической библиотеки Н.И. Рыжкова на «Прохоровском поле» библиотекой совместно с телекомпанией «Мир Белогорья» подготовлен цикл телевизионных передач «Правильное чтение», с января 2021 года новое название «Книги на все времена».