Jak czytać karty scorerów

Układ karty

Każda karta scorera w tej dokumentacji ma stałą strukturę. Dzięki temu czyta się ją jak specyfikację, nie jak esej:

Co mierzy — jedna właściwość odpowiedzi, którą scorer kwantyfikuje, oraz skala wyniku.
Wzór — definicja matematyczna w LaTeX (tam, gdzie istnieje) lub opis procedury.
Wejścia / wyjścia — typy i wymagania, np. „wyjście modelu + referencja → liczba w $[0,1]$ ".

Skalę wyniku karty zapisują wprost:

$s: (o, r, c) \mapsto y \in \mathcal{Y}$

Ta notacja pojawia się tam, gdzie typ wyniku wymaga precyzji. 4. Używany w — benchmarki i konteksty, w których scorer jest standardem. 5. Pułapki — znane sposoby, w jakie wynik potrafi kłamać. 6. Źródła — publikacje i narzędzia definiujące scorer, z datą dostępu. 7. Stan na — data weryfikacji faktów i linków.

Konwencja „stan na"

Data „stan na" mówi, kiedy ostatnio sprawdzono fakty na karcie: definicje, wzory i działające linki. Ma format RRRR-MM-DD (rok–miesiąc–dzień), np. stan na: 2026-10-10. Rankingi modeli zmieniają się co tygodnie, a benchmarki bywają aktualizowane, dlatego na kartach celowo nie publikujemy wyników modeli — znajdziesz je na stronach benchmarków, np. MMLU-Pro czy Chatbot Arena, które odsyłają do zewnętrznych leaderboardów.

Gdy widzisz „stan na: 2026-10-10", czytaj to tak: wszystko powyżej było poprawne 10 października 2026; nowsze zmiany mogły nie zostać uwzględnione.

Przykład odczytu: Exact match

Tak wygląda karta Exact match w skróconej, „surowej" formie:

Co mierzy: dokładna zgodność wyjścia z referencją po normalizacji
Wzór:      EM = 1[normalize(o) == normalize(r)]
Wejścia:   wyjście modelu, referencja (tekst)
Wyjścia:   0 lub 1
Używany w: zadania wielokrotnego wyboru, ekstrakcja faktów
Pułapki:   wrażliwość na format, wielkość liter, kolejność list
Źródła:    SQuAD (arXiv:1606.05250) i in.
Stan na:   2026-10-10

Czego na karcie nie ma

Rankingu modeli. Karty opisują narzędzia pomiaru, nie wyniki pomiarów.
Zaleceń „najlepszy scorer". Nie ma uniwersalnie najlepszej miary — jest miara adekwatna do zadania i protokołu.
Implementacji produkcyjnej. Karty pokazują wzór i pseudokod; szczegóły (tokenizacja, biblioteki) znajdziesz w źródłach.