Значение «top_p» может быть числовым, например, от 0.1 до 1.0. Значение «top_p=0.9» обычно используется для сохранения хорошего баланса между разнообразием и когерентностью текста. Значения близкие к 1.0 приводят к более широкому выбору слов, а значения близкие к 0.1 – к более узкому выбору.
Top-P Decay
Параметр «top_p_decay» регулирует изменение значения «top_p» в процессе генерации текста. Этот параметр позволяет динамически изменять порог вероятности, который используется для выбора слов.
Использование «top_p_decay» позволяет постепенно корректировать уровень разнообразия текста, начиная с более высоких значений «top_p» и уменьшая его по мере генерации. Это может улучшить когерентность текста по мере его создания.
Значение «top_p_decay» может быть числовым, определяющим скорость изменения порога «top_p». Например, «top_p_decay=0.95» означает, что «top_p» будет уменьшаться на 5% на каждом шаге.
Рассмотрим на примерах промпты с параметрами, которые могут быть использованы для генерации и перефразирования текстов.
Пример 1, контроль длины и разнообразия, рис. 20.
Перефразируй следующий текст, используя следующие параметры:
– max_length: 120
– min_length: 80
– diversity_penalty: 0.7
– temperature: 0.9
– top_p: 0.85
Текст:
Рисунок 20 – Перефразированный текст, левое окно, источник – правое окно, отличие Ш2=96%
Пример 2, фокус на когерентности и отсутствие повторений, рис. 21.
Перефразируй данный текст с учетом следующих параметров:
– coherence_threshold: 0.8
– no_repeat_ngram_size: 2
– frequency_penalty: 0.5
– presence_penalty: 0.3
– temperature: 0.7
Текст:
Рисунок 21 – Перефразированный текст, левое окно, источник – правое окно, отличие Ш2=100%
Пример 3, контроль за разнообразием и последовательностью, рис. 22.
Перефразируй текст, используя следующие параметры:
– diversity_temperature: 0.8
– top_k: 50
– coherence_threshold: 0.9
– early_stopping: true
– repetition_penalty: 1.2
Текст:
Рисунок 22 – Перефразированный текст, левое окно, источник – правое окно, отличие Ш2=95%
Пример 4, фокус на разнообразие и контекст, рис. 23.
Перефразируй текст, используя следующие параметры:
– diversity_penalty: 0.6
– diversity_temperature: 0.9
– context_window: 15
– max_length: 120
– min_length: 80
– coherence_threshold: 0.75
– stop_sequences: [».», «;»]
Текст:
Рисунок 23 – Перефразированный текст, левое окно, источник – правое окно, отличие Ш2=100%