В 1794 году Граббе был определен в Сухопутный шляхетский кадетский корпус, размещенный в Санкт-Петербурге, который успешно окончил в сентябре 1805 года. На службу направлен подпоручиком артиллерии во 2-й артиллерийский полк. Однако полк к тому времени вместе с другими подразделениями русской армиии уже отправился в поход в Моравию. Нагнав полк в Варшаве, Граббе совершил с ним трудный переход по Венгрии.
Несмотря на довольно юный возраст, в декабре 1806 года Граббе впервые участвовал в сражении при Голымине. В январе 1807 года – в сражении при Прейсиш-Эйлау. За храбрость, проявленную в этих сражениях, был награжден Золотым крестом «За победу при Прейсиш-Эйлау» и орденом Св. Анны 3-й степени на шпагу. В 1808 году, командуя ротой Владимирского полка, Граббе принимал активное участие практически во всех боевых действиях русской армии в этой кампании.
После заключения Тильзитского мира Граббе продолжил службу в составе 27-й артиллерийской бригады русской армии, расположенной в Польше на границе с Австрией. Был произведен в поручики. Находясь в Кракове, состоял адъютантом генерала Ермолова.
В сентябре 1810 года Павел Граббе был командирован Барклаем де Толли на разведывательную работу в Мюнхен (Баварское королевство).
Согласно некоторым документам, сохранившимся до наших дней, командировка Граббе за границу являлась весьма успешной. В частности, ему удалось завязать тесные контакты с видными немецкими учеными того времени от которых поступала интересная информация. С одним из них – бароном Шеллингом – отношения сохранил и в дальнейшем.
В описании Граббе современниками на тот период отмечалось, что он был «высокого роста, стройный, самой нарядной наружности, от природы наделенный пышным красноречием, в обществе смелый до дерзости… Дар красноречия у Граббе был развит до высшей степени. Прекрасное его лицо оживлялось, синие глаза блестели, благозвучный голос принимал прекрасную интонацию, а слушатель просто очаровывался».
В начале 1812 года Граббе был вызван в Санкт-Петербург, где получил предписание отправляться в Вильно, где тогда располагалась главная квартира военного министра Барклая де Толли, адъютантом которого он был назначен.
Незадолго до начала военных действий с французами Барклай де Толли направил Граббе в качестве парламентера во французскую армию. При этом перед ним были поставлены конкретные разведывательные задачи. Граббе блестяще справился с поручением. По просьбе военного министра о результатах своих наблюдений он доложил лично Александру I.