В органах внутренних дел начал служить в 1932 году. Занимал оперативные должности в экономических структурах этого ведомства. В 1937 году назначен во 2-й отдел НКВД (наружное наблюдение, подслушивание, аресты).
С декабря 1938 по февраль 1941 года – начальник Управления НКВД по Ростовской области. В 1940 году присвоено звание комиссара госбезопасности 1 ранга.
С 1941 года – заместитель наркома внутренних дел. Вначале Великой Отечественной войны руководит Управлением особых отделов НКВД (военная контрразведка). С 1943 по 1946 год – заместитель наркома обороны, начальник Главного управления военной контрразведки (ГУКР) «Смерш». (нужно иметь в виду, что в то время наркомом обороны был сам И. Сталин). Под руководством В. Абакумова был проведен ряд контрразведывательных операций по нейтрализации вражеской агентуры и срыву планов командования вермахта.
С мая 1946 по июль 1951 года – министр государственной безопасности СССР. Его деятельность на этом посту, наряду с предшественниками, оказала влияние на усиление в стране репрессивной политики. Это сказалось на его дальнейшей судьбе.
4 июля 1951 года В. Абакумов был отстранен от должности и вскоре арестован. Против него было возбуждено уголовное дело по статье 58–1 «б» (измена Родине, совершенная военнослужащим). В декабре 1954 года Военной коллегией Верховного суда СССР приговорен к высшей мере наказания, которая была приведена в исполнение.
Посмертная реабилитация не принята, ему была лишь произведена переквалификация на статью 193–17 «б» Уголовного кодекса РСФСР (воинское должностное преступление). В декабре 1997 года Верховный суд пересмотрел его дело и заменил расстрел тюремным заключением сроком на двадцать пять лет.
Конечно, нам сейчас легко рассуждать, кто совершил тогда, в архинервозной, лихорадочной обстановке преддверия войны и тем паче в первые дни военных действий, когда дело шло о существовании нашего государства, ошибки, приведшие к гибели советской агентурной сети в Германии и оккупированных ею странах Западной и Центральной Европы. Ведь важные информационные источники советских разведслужб оказались отрезанными от Центра. Они молчали, а промедление в установлении связи с ними было смерти подобно. Поэтому руководители внешней разведки НКГБ и Разведуправления Красной армии стремились использовать малейший, даже связанный с большим риском шанс, который помог бы быстро наладить устойчивый контакт со своими резидентурами в Германии, Бельгии, Голландии и Франции.