LiveCodeBench

LiveCodeBench to benchmark generowania kodu, który nie starzeje się: zadania są stale dobierane z konkursów programistycznych na LeetCode, AtCoder i Codeforces, publikowanych po dacie odcięcia wiedzy testowanych modeli. Dzięki temu wyniki są z definicji odporne na kontaminację danymi treningowymi.

Format zadań i punktacja

Poza klasyczną generacją kodu benchmark testuje też samonaprawę (self-repair), wykonywanie kodu i przewidywanie wyniku testów. Rozwiązanie jest sprawdzane przez wykonanie ukrytych testów jednostkowych; wynik raportowany jest jako pass@k — prawdopodobieństwo, że wśród $k$ próbek znajdzie się co najmniej jedna przechodząca wszystkie testy:

$pass@k = \mathbb{E}\left[1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}\right]$

gdzie $n$ to liczba próbek, a $c$ liczba próbek poprawnych.