Оцінка якості відповідей LLM: від людських рейтингів до LLM-as-a-Judge
Лекція Стенфордського університету про методи оцінки великих мовних моделей (LLM). Розглядаються обмеження людської оцінки, метрики на основі правил (Pass@k, BLEU, METEOR), а також підхід LLM-as-a-Judge, де інша модель виступає в ролі судді.
Лектор: «Основна проблема людської оцінки — суб'єктивність та неможливість масштабування.»
▶ 07:00
- Людська оцінка суб'єктивна, повільна та дорога, що обмежує її масштабованість.
- Метрика Pass@k дозволяє оцінити ймовірність успішного вирішення завдання моделлю за k спроб.












