Рейтинги AI-моделей

Как читать числа

arena.ai (ранее LMArena) показывает пользователям два анонимных ответа на один и тот же запрос и просит выбрать один, затем вычисляет рейтинг Elo на основе этих битв. Он измеряет, какой ответ люди предпочитают — а не объективные возможности. Приятный стиль может победить, в то время как строгий, но многословный ответ может проиграть.

Голоса — это сражения, которые модель накопила. У новой модели мало голосов и широкий доверительный интервал, поэтому её ранг легко колеблется — всегда читайте ранг вместе с интервалом ±.

Доска Agent работает иначе, чем остальные: она измеряет реальные сессии агентов, а не предпочтения по слепому голосованию. Её главный показатель, Net Improvement, — это процентный прирост, а не рейтинг Elo — поэтому его нельзя сравнивать между досками. arena.ai также сообщает о пяти дополнительных измерениях (Confirmed Success, Steerability, Bash Recovery и других) на полной таблице лидеров.

Таблица использования поступает от OpenRouter и учитывает реальную долю API токенов — разработчики голосуют своими кошельками, что дополняет таблицы субъективных предпочтений.

Речевые таблицы взяты из Artificial Analysis: TTS использует Elo рейтинг Speech Arena на основе слепого прослушивания; ASR использует AA-WER v2, где ниже лучше; а нативный Speech-to-Speech использует композит с равными весами из Big Bench Audio, Full Duplex Bench и τ-Voice, где выше лучше. Сравнивайте баллы только в пределах одной таблицы. Источник: artificialanalysis.ai.

Таблица Intelligence Index создана Artificial Analysis: она объединяет множество публичных бенчмарков в единый индекс Intelligence Index от 0 до 100, измеряющий объективные способности, а не субъективные предпочтения — естественное дополнение к человеческому слепому голосованию arena.ai. Источник: artificialanalysis.ai.