К содержанию
EN
Промпт-инжиниринг

Модуль 4 · Урок 8 из 11 · 30 мин · Профи

Оценка и версии промптов

/ 01Зачем это нужно

Промпт — это код. У него должны быть версии и тесты.

/ 02Суть

  • Храните промпты в файлах с номером версии.
  • Для каждой версии — прогон на тестовом наборе.
  • Меняйте одну вещь за раз, чтобы понимать причину улучшения.

/ 03Схема

Сравнение версий промпта

Качество новой версии

80%

+15 п. к старой версии · готово к пилоту

/ 04Разбор примера

США

Регрессионные тесты промптов

Команды запускают тестовый набор автоматически при каждом изменении промпта, как юнит-тесты в разработке. Если доля верных ответов упала — изменение откатывается.

/ 05Как сделать в инструменте

Promptfoo ↗Открытый инструмент, работает локально

  1. 1Положите версии промпта в отдельные файлы
  2. 2Опишите тестовые примеры в YAML
  3. 3Запустите сравнение всех версий
  4. 4Сохраните таблицу результатов в репозиторий

/ 06Задание

Упражнение · ≈ 45 мин

Сделайте 3 версии одного промпта, прогоните каждую на 20 примерах и выберите лучшую.

Готово, когда

  • — 3 версии
  • — Таблица результатов
  • — Выбрана версия

/ 07Частые ошибки

  • Менять несколько вещей за раз
  • Не хранить старые версии
  • Оценивать «на глаз»

/ 08Самопроверка

  1. 1. Почему менять одну вещь за раз?

/ 09Глубже

Потренироваться в тренажереИнструменты курса