Chatbot Arena / LMArena

Chatbot Arena (LMArena, dawniej LMSYS Chatbot Arena) to największa otwarta platforma oceny modeli przez preferencje ludzi. Użytkownicy zadają dowolne pytanie i otrzymują dwie anonimowe odpowiedzi od losowej pary modeli; głosują na lepszą, nie znając nazw modeli. Tylko po zagłosowaniu odsłaniane są nazwy.

Jak liczony jest wynik

Wyniki bitew par przekształca się w ranking metodą Elo / Bradley-Terry:

$P(A \succ B) = \frac{1}{1 + 10^{(R_B - R_A)/400}}$

gdzie $R_A$, $R_B$ to ratingi Elo. Obok ratingu raportuje się też win rate oraz przedziały ufności. Automatyczny wariant Arena-Hard używa sędziego LLM do porównań par zamiast głosów ludzi.

Czym się wyróżnia

Arena mierzy to, czego nie uchwytują benchmarki zamknięte: subiektywną jakość odpowiedzi, styl i przydatność w realnych rozmowach. Kategorie obejmują m.in. kontrolę stylu, tworzenie stron, kodowanie i zadania wizyjne. Zaletą jest skala i otwartość; wadą — dobór pytań i głosujących zależy od społeczności, a rankingi potrafią się zmieniać bez zmiany modeli.