2.1.3. Примеры атак на изображениях и текстах
Примеры атак демонстрируют, как эти операции могут работать в различных медиасредах. В случае изображений незначительное изменение цвета или легкая переработка текстуры может полностью изменить интерпретацию сцены: привычные линии и формы превращаются в совершенно новые элементы, лишённые исходной семантики. Аналогично, в текстовых моделях незначительная перестановка символов или добавление лишнего пробела способно исказить смысл исходного сообщения, открывая дорогу генерации альтернативного, порой даже противоречивого содержания. Эти примеры иллюстрируют, как малейшие «операционные щелчки» могут стать катализаторами для радикального изменения ответа модели.
2.1.4. Подходы к оценке устойчивости модели
Для определения устойчивости генеративной модели к подобным атакам применяются методы стресс-тестирования и анализа чувствительности. Исследователи «агитируют» модель последовательностью контролируемых микровозмущений, наблюдая, как сдвигаются или деформируются её внутренние представления. Такой аналитический подход позволяет создать карту устойчивости, где каждая точка отражает возможный порог, за которым отклик модели начинает демонстрировать нежелательные изменения. Эти эксперименты напоминают художественные инсталляции: малейший толчок, аккуратно спланированный по определённой схеме, может преобразить исходное произведение в нечто принципиально иное, демонстрируя тем самым пределы безопасного функционирования модели.
2.1.5. Методы защиты: adversarial training, регуляризация, обнаружение аномалий
В условиях постоянного поиска баланса между гибкостью и защитой модели, методы защиты должны учитывать то, что каждая операция, которая раньше воспринималась как вычислительно незначительная, теперь становится потенциальным вектором атаки.
Adversarial Training (состязательное машинное обучение) позволяет модели «привыкнуть» к воздействию возмущений, интегрируя в процесс обучения специально созданные примеры с микроскопическими изменениями, что повышает её устойчивость к аналогичным воздействиям в дальнейшем.
Регуляризация действует как стабилизирующий механизм, ограничивая чрезмерную чувствительность модели к малейшим изменениям и обеспечивая сбалансированное распределение весов, что снижает вероятность резких переходов в поведении модели.