Без измерения качества вы не знаете, стало ли лучше после изменения промпта или модели.
/ 02Суть
Соберите тестовый набор: 20–50 реальных входов и эталонных ответов.
Определите критерии: правильность, полнота, формат, тон, отказ при нехватке данных.
Прогоняйте набор после каждого изменения и сравнивайте процент верных ответов.
/ 03Схема
Посчитайте качество на тестовом наборе
Качество новой версии
80%
+15 п. к старой версии · готово к пилоту
/ 04Разбор примера
США
Оценка в Promptfoo
Команды выносят тестовые примеры в файл, а инструмент прогоняет промпт на всех примерах и показывает, какие ответы прошли проверки. Так изменение промпта превращается в измеримый эксперимент.