Кто сегодня сильнейший — по объективным данным, а не по маркетингу. Elo-рейтинг строится на сотнях тысяч слепых парных сравнений, в которых живые люди выбирают лучший ответ, не зная, какая модель его дала. Американские, китайские и европейские модели — в одной таблице.
| # | Модель | Elo |
|---|
Методология: Arena показывает двум анонимным моделям один и тот же запрос, человек голосует за лучший ответ; из миллионов таких «дуэлей» вычисляется Elo-рейтинг (как в шахматах) с контролем стиля ответа. Это самая цитируемая независимая метрика качества моделей. Рейтинг меняется с выходом новых моделей — страница всегда показывает свежий снимок. Цены указаны за 1 млн токенов по данным Arena.