Появление VoIP датируется 1995 годом, когда маленькая израильская компания Vocaltec выпустила первую программу для интернет-телефонии. Программа называлась Internet Phone и была предназначена для звонков с домашнего компьютера. Для передачи голоса она использовала звуковую карту, микрофон и наушники, а также протоколы семейства Н.323, которые сегодня практически вышли из употребления. Сейчас популярны протоколы SIP (Session Initiation Protocol – протокол установления сессии) и Skype. В середине же 1990-х годов компания Vocaltec стала известной, так как ее программа произвела настоящую революцию на рынке интернет-телефонии (примерно как сейчас программа Skype). Однако в то время рынок еще не был готов принять VoIP. Во-первых, сам Интернет был недостаточно распространен. Во-вторых, большинство пользователей подключалось к Интернету по телефонным каналам с небольшой пропускной способностью, соответственно, качество связи было низким. Время широкополосного доступа еще не пришло.
Однако уже тогда, в 1995 году, многие видели потенциал VoIP-телефонии. В течение нескольких следующих лет крупнейшие производители сетевого оборудования, такие как Cisco и Nortel, наладили выпуск коммутаторов с поддержкой VoIP. После появления серийных коммутаторов технологию VoIP стали использовать многие крупные компании для организации дешевой связи внутри своей корпоративной сети.
Во многих странах появились предприниматели, создавшие на основе этих коммутаторов шлюзы для трансляции международных звонков через Интернет. Они продавали специальные карточки, по которым можно было получить доступ к шлюзу и позвонить по междугородним номерам по выгодным тарифам. Такие сервисы сохранились до сих пор, но их расцвет пришелся именно на конец 1990-х годов. По данным американских аналитиков, к 2000 году интернет-телефония составляла уже более 3 % всего голосового трафика в США.
Появление программы Skype и распространение широкополосных каналов связи повысили популярность VoIP-телефонии во всем мире. После 2000 года отмечается бурный рост VoIP-телефонии. В 2004–2005 годах в западных странах появились так называемые коммерческие пакеты VoIP, при пользовании которыми клиенты платят провайдеру широкополосного доступа в Интернет фиксированную сумму (например, $20) и могут в течение месяца совершать любые звонки без ограничений. Это дороже, чем бесплатная VoIP-телефония через Интернет, но удобнее для пользователей, и качество связи здесь выше. Мировым лидером на рынке таких услуг является американский оператор Vonage. Скоро аналогичный сервис появится в России и других странах.