Fabryka.API

poza zakresem pomiaruHistoryczny zapis badawczy

Benchmarki zamknięte

Materiał archiwalny · zrzut z 27 września 2026

To historyczny dokument z dawnej strony Slayer. Oryginalne daty, nazwiska i ustalenia zachowujemy dla kontekstu. Nie opisuje obecnych możliwości, zasad ani planów rozwoju. Narzędzia interaktywne i zgłoszenia nie działają w tym zrzucie.

Aktualny program badań → · Notatki badawcze →

Tych benchmarków nie mierzymy — ich zbiory testowe nie są publicznie dostępne, więc nie da się ich odtworzyć ani uczciwie zweryfikować. Listujemy je jawnie. Pomiary publiczne: leaderboard.

Trzy benchmarki bez otwartych danych

czego nie da się zmierzyć i czemu

zamknięty

Polish EQ-Bench

Inteligencja emocjonalna.

Dlaczego nie mierzymy: brak publicznego zbioru pytań: zamknięty leaderboard, zestaw testowy held-out. Nie odtworzymy wyniku.

EQ score · PL · zbiór: niepubliczny

zamknięty

CPTUB

Pragmatyka, implikatury, podchwytliwe pytania.

Dlaczego nie mierzymy: istnieje jako przestrzeń-leaderboard, ale bez pobieralnego datasetu. Nie powtórzymy ewaluacji na równych warunkach.

accuracy · PL · leaderboard

zamknięty

PLCC

Kompetencja kulturowo-językowa.

Dlaczego nie mierzymy: publiczne są jedynie przykłady; pełny zestaw 600 pytań trzymany prywatnie (anty-kontaminacja). Bez całości brak rzetelnego wyniku.

accuracy · PL · leaderboard

Zasada

mierzymy tylko to, co odtwarzalne

Odtwarzalność ponad zasięg

Jeśli nie możemy pobrać zbioru i powtórzyć runu, benchmark nie trafia na tablicę.

Równe warunki

Porównanie ma sens tylko, gdy oba modele przechodzą identyczny, jawny test.

Otwarci na zmianę

Gdy któryś zbiór zostanie udostępniony — przenosimy go na leaderboard i mierzymy.

Masz dostęp do tych danych? Jeśli możesz legalnie udostępnić zbiór testowy lub harness, odezwij się