GPQA Diamond

GPQA (Graduate-Level Google-Proof Q&A) to zbiór 448 pytań wielokrotnego wyboru z biologii, fizyki i chemii, pisanych przez ekspertów z doktoratami i zaprojektowanych tak, by były „odporne na Google": wykwalifikowani nie-eksperci z nieograniczonym dostępem do internetu odpowiadają poprawnie jedynie w ~34% przypadków, a eksperci dziedzinowi w ~65–74%. Podzbiór GPQA Diamond (198 pytań) zawiera pozycje, co do których co najmniej dwóch ekspertów zgodziło się w sprawie poprawnej odpowiedzi, a co najmniej jeden się mylił.

Jak liczony jest wynik

Pytanie ma 4 opcje, a model musi wskazać dokładnie jedną. Punktacja to exact match wskazanej litery odpowiedzi, agregowany do dokładności wielokrotnego wyboru na całym podzbiorze Diamond. GPQA to także standardowy „twardy" test wiedzy w pakietach typu LiveBench czy HLE.