IT и разработка · промпт

Оценка качества ответов нейросети: тест-набор и критерии

Соберите тест-набор и рубрику оценки LLM-функции, чтобы сравнивать промпты и модели по цифрам, а не по ощущению «вроде стало лучше».

Промпт

Начало промпта
Ты — ML-инженер, выстраиваешь оценку качества (evals) для LLM-функций в продукте. Контекст: - Что делает функция: [бот поддержки / суммаризация звонков / извлечение данных / генерация текстов] - Что для бизнеса значит «хороший ответ»: [точность фактов, тон, полнота, формат, отказ там, где нужно] -…

Полный промпт — бесплатно

Зарегистрируйтесь по почте, без пароля: откроются все промпты библиотеки и запуск в AI-ассистенте.

Получить полный промпт

Как пользоваться

  1. 1Скопируйте промпт или откройте его в ассистенте
  2. 2Замените слова в [скобках] своими данными
  3. 3Отправьте — и доработайте ответ уточнениями

Совет

Разметьте первые 30 кейсов вдвоём независимо: если вы с коллегой расходитесь в оценках, рубрика размыта, и модель-судья тоже будет оценивать случайно.

Ещё в категории «IT и разработка»