AI Modell Ranglisták

Számok olvasása

Egy LLM-ranglista megmutatja, melyik modellt kedvelik jobban az emberek; egy AI-benchmark megmutatja, mire képes egy modell objektíven; a használati adatok megmutatják, mit használnak ténylegesen a fejlesztők éles környezetben. Egyetlen rangsor sem válaszolja meg, hogy „melyik a legjobb AI-modell”, ezért ez az oldal mindhármat egyesíti — a Chatbot Arena Elo-pontszámait (arena.ai), az Artificial Analysis Intelligence Indexét és beszédarénáit, valamint az OpenRouter tokenrészesedését — és naponta frissíti őket.

arena.ai (korábban LMArena) két névtelen választ mutat a felhasználóknak ugyanarra a promptra, és megkéri őket, hogy válasszanak egyet, majd ezekből a küzdelmekből származtat egy Elo-pontszámot. Azt méri, hogy az emberek melyik választ preferálják – nem az objektív képességet. Egy szimpatikus stílus nyerhet, míg egy precíz, de bőbeszédű válasz veszíthet.

A szavazatok a modell által felhalmozott csaták. Egy újonnan listázott modellnek kevés szavazata van és széles a konfidenciaintervalluma, így a rangja könnyen ingadozik — mindig a rangot a ± intervallummal együtt olvassa.

Az Ágens tábla másképp működik, mint a többi: valódi ágens munkameneteket mér, nem pedig vak szavazati preferenciákat. Fő mutatója, a Net Improvement, százalékos növekedés – nem Elo-pontszám –, így nem hasonlítható össze a táblák között. Az arena.ai további öt dimenziót is jelent (Confirmed Success, Steerability, Bash Recovery és mások) a teljes ranglistán.

A használati tábla az OpenRouter-tól származik, és a valós API token megosztást számolja – a fejlesztők a pénztárcájukkal szavaznak, ami kiegészíti a szubjektív preferencia táblákat.

A beszéd-rangsorok az Artificial Analysis-től származnak: a TTS vakon hallgatott Speech Arena Elo-t használ; az ASR az AA-WER v2-t használja, ahol az alacsonyabb jobb; a natív Speech-to-Speech pedig a Big Bench Audio, Full Duplex Bench és τ-Voice egyenlő súlyú kompozitját használja, ahol a magasabb jobb. Csak ugyanazon a rangsoron belül hasonlítsa össze a pontszámokat. Forrás: artificialanalysis.ai.

Az Intelligence Index tábla az Artificial Analysis-től származik: számos nyilvános benchmarkot egyetlen 0-100-as Intelligence Index-szé sűrít, amely az objektív képességet méri a szubjektív preferencia helyett — természetes kiegészítője az arena.ai emberi vak szavazatának. Forrás: artificialanalysis.ai.