Przegląd scorerów deterministycznych

Co znaczy „deterministyczny"

Scorer deterministyczny nie wywołuje modelu ani losowości: ten sam zestaw wejść zawsze daje ten sam wynik. Zwykle porównuje wyjście modelu z referencją albo sprawdza je testami. To najstarsza i najtańsza rodzina miar — i nadal pierwszy wybór w regresjach.

Formalnie: wynik $s_i$ dla próbki $i$ zależy wyłącznie od wejść,

$s_i = s(o_i, r_i, c_i)$

a ocena przebiega bez żadnego wywołania modelu — nie ma tu temperatury, próbkowania ani stanu zewnętrznego.

Mapa rodziny

Zalety

• Powtarzalność. Wynik da się odtworzyć bit w bit — to podstawa testów regresji w CI.
• Koszt. Zero wywołań modelu; ocena tysięcy próbek trwa sekundy.
• Audytowalność. Wzór jest jawny, więc błąd w ocenie można wskazać palcem.

Ograniczenia

• Zero semantyki. Dwie odpowiedzi o identycznym znaczeniu, ale innej kolejności słów, dostaną wynik zerowy.
• Wrażliwość na normalizację. Wielkość liter, spacje, interpunkcja — każda decyzja normalizacyjna przesuwa wyniki (szerzej: Accuracy, exact match i F1 — kiedy wystarczą).
• Referencja bywa złudzeniem. Scorer sprawdza podobieństwo do jednej wzorcowej odpowiedzi, a poprawna odpowiedź może być zapisana zupełnie inaczej.

// Trzy linijki pokazujące całą ideę rodziny:
const eq = (a, b) => a.trim().toLowerCase() === b.trim().toLowerCase()
const em = (out, ref) => (eq(out, ref) ? 1 : 0)
console.log(em('  Paryż', 'paryż')) // 1 — po normalizacji zgodne

Kiedy wybierać

Wybieraj scorer deterministyczny, gdy odpowiedź ma jednoznaczną formę, potrzebujesz sygnału w każdym commicie albo koszt oceny ma znaczenie. Sięgaj po scorery modelowe, gdy zadanie wymaga oceny znaczenia — ale wtedy najpierw przeczytaj Dlaczego LLM-as-judge wymaga kalibracji.