Fabryka.API

This archived record is available only in Polish.

metodologia · piątka startowaHistorical research record

Jak mierzymy, żeby wynik znaczył

Archived material · captured September 27, 2026

This is a historical document from the former Slayer website. Original dates, names and findings are retained for context. It is not a statement of current capabilities, policy or roadmap. Interactive tools and submissions are not available in this snapshot.

Current research agenda → · Research notes →

Publiczne zbiory, deterministycznie, przez lm-eval-harness. „Wyżej = lepiej". Wszystko liczone czysto: bez inspekcji itemów, bez benchmaxxingu. Pełna tablica na żywo: /leaderboard.

model · Qwen3.5-9B · benchmarki · suita zewnętrzna

Piątka startowa

live · wyniki z leaderboard.json

BenchmarkQwen3.5-9B
LLMzSzŁ · egzaminy państwowe CKE · accuracy MCQ…
PES (medyczny) · egzaminy specjalizacyjne · accuracy…
PoQuAD · grounding / refusal · trafność (sędzia-LLM)…
Belebele (PL) · reading comprehension · accuracy MCQ…
FLORES-200 (PL) · tłumaczenie PL↔ · chrF…

Pełna lista 10 benchmarków (z kontrolą regresji EN): /leaderboard · zamknięte: /closed-benchmarks

Zasady pomiaru

czego nauczył nas V4

RÓWNE WARUNKI

Ten sam harness

Identyczny tryb, few-shot, szablon promptu i seed dla wszystkich modeli.

METODA PER ZADANIE

Likelihood vs generacja

NLI/MCQ scoringujemy likelihood (log-prob etykiet), binarne i sentyment generacją. Zła metoda daje fałszywą regresję: CDSC-E to −22.5 w generacji, ale tylko −6.0 w likelihood.

PRÓBKA

Decyzje na n≥400

Mały n potrafi skłamać (kalibracja, która na n=200 dawała +3, na n=400 = 0). n=100 tylko jako szybki screen, nigdy do release.

CZYSTOŚĆ

Tylko agregaty

Bez inspekcji itemów, zero benchmaxxingu. Dane treningowe ze źródeł rozłącznych od evala — skill-transfer, nie zapamiętywanie pytań.

DEKONTAMINACJA

vs train+dev+test

Każdy shard sprawdzany n-gramowo i atom-overlapem przeciw wszystkim splitom — także train. Train-split jako paliwo = kontaminacja.

REGRESJA

Bramki + Pareto

Per-zadanie progi (CDSC-E ≤−3pp, parser=0), EN-retencja (ARC/MMLU/GSM8K) pilnuje angielskiego. Release wybiera Pareto-front, nie jeden score.

Best-of per zadanie: dla każdego zadania jedna, właściwa metoda — ta sama dla wszystkich modeli, żeby Δ było porównywalne. Pełna macierz base vs v3 vs v4 × benchmarki (kolor = Δ): /eksperymenty. Projektowanie danych pod brak regresji prowadzi jawny manifest skill → eval_proxy → źródło → waga → regression_guard.