Глава 2: Анатомия LLM: Что нужно значить инженеру промтов
Ключевой посыл: Инженеру промтов не нужна глубокая теория ML, но критически важно понимать практические аспекты работы LLM и их ограничения, чтобы проектировать эффективные промты. Знать "рычаги управления".
Основные блоки:
1. Токенизация – Валюта и ограничение:
Что такое токены (не символы, не слова!). Примеры токенизации разных слов/фраз.
Практическое значение: Ограничение длины контекста (окна) модели (e.g., 128K токенов – это не 128K слов!). Как считать токены (инструменты, эмпирические правила).
Влияние на промты: Стоимость запроса (ввод + вывод), риск "обрезания" важного контекста, необходимость сжатия/суммаризации.
2. Архитектура (Трансформеры) – Кратко и Практично:
Суть: Внимание (attention) к предыдущим словам/токенам для предсказания следующего. Само-внимание внутри контекста.
Практическое значение:
Контекстное окно: Модель "видит" только последние N токенов. Информация вне окна теряется. Важность управления контекстом.
Относительная позиция: Понимание, что модель чувствительна к порядку информации в промте и контексте ("Системная инструкция важна!").
3. "Мышление" LLM (Статистика, а не логика):
LLM – не база знаний и не логический движок. Это сложные статистические модели, предсказывающие последовательности.
Практическое значение:
Галлюцинации: Причина – генерация правдоподобного, а не истинного. Как минимизировать (четкие инструкции, grounding фактами, запрос источников).
Bias (Смещение): Отражение смещений в тренировочных данных. Осознанность инженера, техники смягчения в промтах.
Креативность vs. Точность: Управление параметрами (temperature, top_p) через промт (напоминание модели о необходимости точности).
4. Ограничения – Фокус инженера:
Контекстное окно: Стратегии работы (иерархия контекста, суммаризация, RAG).
Актуальность знаний: Cut-off дата. Необходимость RAG или явного указания на устарелость.
Математика/Логика: Сложные расчеты и дедукция – слабое место. Стратегии (разбиение на шаги, использование CoT, оффлоад калькулятору/коду).
Детерминизм: Один и тот же промт может давать разные результаты. Важность тестирования и статистики.
Глава 3: Принципы инженерного подхода к промтам
Ключевой посыл: PRO-промт-инжиниринг – это дисциплина и процесс, а не искусство. Применение инженерных практик из разработки ПО и системного мышления.