Случаи использования клонированных дипфейковых голосов для кражи крупных сумм денег уже фиксировались. Так, например, в 2019 году мошенники скопировали голос генерального директора энергетической компании, базирующейся в Великобритании. Был осуществлен перевод более 200 тысяч фунтов, по-видимому, по приказу генерального директора, чей голос был подлинным как по акценту, так и по тону. Этот инцидент стал первым известным киберпреступлением в Европе, в котором напрямую использовался ИИ.
Другой случай произошел в начале 2020 года, когда менеджеру банка в Гонконге позвонил человек, чей голос он узнал, – это был директор компании – клиента банка. Директор сообщил о хороших новостях: его компания собиралась совершить приобретение другой компании, поэтому он попросил, чтобы банк санкционировал переводы на сумму 35 миллионов долларов. Менеджер банка мог видеть в своем почтовом ящике электронные письма от директора, подтверждающие, какие деньги нужны для перемещения и на какой счет. Менеджер банка, полагая, что все выглядит законно, начал делать переводы. Чего он не знал, так это того, что его обманули в рамках тщательно продуманной аферы, в которой мошенники использовали технологию синтеза голоса для клонирования речи директора[7].
Помимо того, что телефонные аферы для кражи денег становятся все более изощренными с появлением этой технологии, существует также опасность использования дипфейковой технологии для влияния на социальные, правовые и политические дискурсы. Многие из нас, вероятно, сталкивались с чем-то подобным в социальных сетях, что потом оказывалось дипфейком.
В ответ на частые появления дипфейков в конце 2022 года правительство Китая запретило использование сгенерированных искусственным интеллектом цифровых продуктов «глубокого синтеза» (текста, изображений, голоса) без специальных водяных знаков. Все, кто захотят произвести с помощью ИИ текста, изображения или любой другой сгенерированный компьютером продукт, должны будут сначала получить разрешение от правительства. Те, кто используют ИИ, должны будут привязать свои персональные данные к используемому ими аккаунту, и весь контент, созданный ИИ, должен будет специально промаркирован[8].