poza zakresem pomiaruHistoryczny zapis badawczy
Benchmarki zamknięte
To historyczny dokument z dawnej strony Slayer. Oryginalne daty, nazwiska i ustalenia zachowujemy dla kontekstu. Nie opisuje obecnych możliwości, zasad ani planów rozwoju. Narzędzia interaktywne i zgłoszenia nie działają w tym zrzucie.
Aktualny program badań → · Notatki badawcze →Tych benchmarków nie mierzymy — ich zbiory testowe nie są publicznie dostępne, więc nie da się ich odtworzyć ani uczciwie zweryfikować. Listujemy je jawnie. Pomiary publiczne: leaderboard.
Trzy benchmarki bez otwartych danych
czego nie da się zmierzyć i czemu
zamknięty
Polish EQ-Bench
Inteligencja emocjonalna.
Dlaczego nie mierzymy: brak publicznego zbioru pytań: zamknięty leaderboard, zestaw testowy held-out. Nie odtworzymy wyniku.
EQ score · PL · zbiór: niepubliczny
zamknięty
CPTUB
Pragmatyka, implikatury, podchwytliwe pytania.
Dlaczego nie mierzymy: istnieje jako przestrzeń-leaderboard, ale bez pobieralnego datasetu. Nie powtórzymy ewaluacji na równych warunkach.
accuracy · PL · leaderboard
zamknięty
PLCC
Kompetencja kulturowo-językowa.
Dlaczego nie mierzymy: publiczne są jedynie przykłady; pełny zestaw 600 pytań trzymany prywatnie (anty-kontaminacja). Bez całości brak rzetelnego wyniku.
accuracy · PL · leaderboard
Zasada
mierzymy tylko to, co odtwarzalne
Odtwarzalność ponad zasięg
Jeśli nie możemy pobrać zbioru i powtórzyć runu, benchmark nie trafia na tablicę.
Równe warunki
Porównanie ma sens tylko, gdy oba modele przechodzą identyczny, jawny test.
Otwarci na zmianę
Gdy któryś zbiór zostanie udostępniony — przenosimy go na leaderboard i mierzymy.
Masz dostęp do tych danych? Jeśli możesz legalnie udostępnić zbiór testowy lub harness, odezwij się