Fabryka.API

DZIENNIK BADAŃ / CZERWIEC 2026Historyczny zapis badawczy

Eksperymenty. Wyniki i lekcje.

Materiał archiwalny · zrzut z 27 września 2026

To historyczny dokument z dawnej strony Slayer. Oryginalne daty, nazwiska i ustalenia zachowujemy dla kontekstu. Nie opisuje obecnych możliwości, zasad ani planów rozwoju. Narzędzia interaktywne i zgłoszenia nie działają w tym zrzucie.

Aktualny program badań → · Notatki badawcze →

Co sprawdziliśmy, na jakich danych i z jakim wynikiem. Przeglądaj krótkie wnioski, a potem zajrzyj do metody i pełnego zapisu.

ZACHOWANY ZAPIS · 12 eksperymentów · 5–15 czerwca 2026 · Snapshot: 27 września 2026

Jak czytać wyniki i oznaczenia?

„CZYSTY” i „KONTAMINACJA” to historyczne oznaczenia autorów, nie nowy audyt tej strony. Wyników z różnych protokołów nie należy traktować jako wspólnego rankingu. Każdy wpis ma redakcyjne podsumowanie. Oryginalna notatka jest dostępna osobno, na końcu rozwinięcia.

Uczciwa zasada: każdy model jest tu z pełnym składem danych i wynikiem. Trening na train-splicie benchmarku oznaczamy KONTAMINACJA — bo zawyża wynik i jest nieporównywalny z modelami liczonymi 5-shot. Iterujemy na otwartych benchmarkach i prywatnych proxy setach; zamknięty leaderboard może być tylko końcowym zewnętrznym sprawdzeniem, nie gate'em treningowym.

Niektóre wpisy opisują wykresy lub trwające wówczas prace. Archiwum przechowuje dostępny tekst; brakujących wykresów i późniejszych wyników nie odtwarzamy z domysłów.

PRZEGLĄDAJ ARCHIWUM

Znajdź swój temat.

Nowsze notatki ↗

01InfrastrukturaCZYSTY

124M po polsku: uruchomienie treningu

WYNIK / STAN PRACPierwszy działający bieg. Bez wyniku porównawczego z GPT-2.

Cel, metoda i wnioski

Cel

Uruchomić modded-nanogpt na jednym H100 z polskim tokenizerem i własnymi shardami.

Metoda

Model 124M; korpus 3,47 mld tokenów; polski BPE 32k. Adaptacja kodu przygotowanego dla 8 × H100.

Co ustalono

  • Naprawiono ścieżkę nagłówków CUDA i błąd składni w konfiguracji.
  • Zwiększono bufor granic dokumentów: krótkie polskie teksty przekraczały limit dopasowany do FineWeb.
  • Zwolniono pamięć zajętą przez inny proces i ograniczono uruchomienia do jednego treningu.

Granice wniosku

Wpis dokumentuje debugowanie. Nie zawiera końcowego loss ani ewaluacji, która potwierdzałaby przewagę nad GPT-2.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
modded-nanogpt (Muon + RoPE + RMSNorm + QK-norm + SwiGLU, 124M) na clean korpusie PL (3.47B tok, polski BPE 32k), 1×H100
Metoda
adaptacja 8×H100 speedrunu pod 1×H100 + polski tokenizer + własne shardy; cel: pobić GPT-2. Debug iteracyjny do pierwszego zdrowego biegu.
Przykłady
0 przykładów
Harness / protokół
torchrun --standalone --nproc_per_node=1 train_gpt.py

Wyniki i obserwacje ze źródła

Bug 1 — kompilacja kernela CUDA
triton_kernels.py miał hardkod cuda_include_dirs=/usr/local/cuda/include (nie istnieje na boxie) → nvrtc nie znajdował cuda_bf16.h. Fix: wskazać include na pakiety pip (nvidia-cuda-runtime-cu12)
Bug 2 — max_num_docs (crash na step 500)
bufor granic dokumentów stuningowany pod FineWeb (długie doki); nasze gęste krótkie wiki-doki przepełniły go (81 doków > 64) → RuntimeError. Fix: dzielnik //48 zamiast //300 + większa tablica
Bug 3 — 51 GB H100 zajęte
Livebook (Erlang/EXLA, root-owned) prealokował 51 z 80 GB; trening dostał 27 GB. Fix: sudo kill beam.smp (XLA agresywnie grabi VRAM nawet idle)
Bug 4 — własny błąd
patch zostawił przecinek za komentarzem (vocab_size=32896 # ...,) → przecinek zakomentowany → SyntaxError. Banał, kosztował relaunch
Bug 5 — thrashing launchy
kilka równoległych biegów walczących o GPU; pgrep-guard złapał zdychający proces i nie odpalił nowego. Fix: czysty kill → JEDEN bieg + persistent compile cache (TORCHINDUCTOR_CACHE_DIR), żeby 7-min warmup nie powtarzał się przy każdym relaunchu
Detal — vocab a potęgi 2
32768 to czysta potęga dwójki (ryzyko gorszej ścieżki cuBLAS, ostrzeżenie Karpathy'ego); model spadowany do 32896 (×128, NIE potęga 2), tokenizer zostaje 32768 — nadmiarowe wiersze to 'useless dimensions', nigdy nie są targetem
Wniosek
cudze speedruny są stuningowane pod ICH dane (FineWeb = długie doki); adaptacja do innego rozkładu długości dokumentów wymaga przejrzenia zaszytych stałych. Plus znów: jeden proces, checkpoint/resume, cache kompilacji — inaczej traci się godziny na crashach i warmupie

02TokenizeryCZYSTY

Polski BPE: mniej tokenów na słowo

WYNIK / STAN PRAC1,738 tokena na słowo; Llama 3: 2,744.

Cel, metoda i wnioski

Cel

Sprawdzić, jak własny słownik kompresuje polski tekst.

Metoda

Ten sam zbiór 2000 dokumentów: 962 tys. słów z polskiej Wikipedii. Własny tokenizer trenowany na około 1 GB tekstu.

Porównanie ze źródła
TokenizerSłownikTokeny / słowo ↓
Polski BPE32k1,738
Llama 3128k2,744
GPT-250k3,659

Co ustalono

  • Polski BPE zużywa około 37% mniej tokenów niż tokenizer Llama 3 na tej próbce.
  • Mniejsza liczba tokenów może zmniejszać długość sekwencji. Sam pomiar nie ocenia jakości modelu.

Granice wniosku

Pomiar w domenie Wikipedii. Test poza tą domeną nie był jeszcze wykonany.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
polish-32k (nasz, byte-level BPE) vs Llama-3 / GPT-2
Metoda
fertility = tokeny/słowo na 2000 held-out polskich dokumentów (962k słów); identyczny tekst dla wszystkich. BPE trenowany na ~1GB zbalansowanej próbki korpusu (cap legalese bo 71% to prawo), 51s na 16 rdzeniach.
Przykłady
0 przykładów
Harness / protokół
tokenizers (Rust) encode_batch na identycznej próbce held-out, tok/słowo

Wyniki i obserwacje ze źródła

polish-32k (nasz, 32k vocab)
1.738 tok/słowo — 1.00× (baseline)
Llama-3 (128k vocab)
2.744 tok/słowo — 1.58× gorzej
GPT-2 (50k vocab)
3.659 tok/słowo — 2.10× gorzej
Dlaczego ogólne tokenizery słabo
ogólne/multilingual słowniki nigdy nie dostały dedykowanego polskiego; nasz dedykowany BPE bije nawet 4× większy słownik Llamy-3
Konsekwencja
przy tym samym vocab (32k) nasz koduje polski znacznie gęściej → więcej tekstu w oknie kontekstu, efektywniejszy trening na token
Caveat (uczciwie)
próbka in-domain (Wikipedia); wszystkie dostały IDENTYCZNY tekst, a skala 1.58× jest za duża by to był artefakt domeny. Pancerny pomiar OOD do dorobienia

03EwaluacjaCZYSTY

CBD: wynik zależy od sposobu liczenia

WYNIK / STAN PRAC89% accuracy może ukrywać F1 równe 15%.

Cel, metoda i wnioski

Cel

Sprawdzić, czy słabe wyniki pochodzą z modelu, czy z harnessu ewaluacyjnego.

Metoda

Próba CBD: 100 przykładów. Porównanie scoringu dla bazowego Qwen3.5-27B; dodatkowe testy formatowania odpowiedzi.

Porównanie ze źródła
Scoring CBDAccuracyF1
Suma log-probability60%35%
Średnia na token89%15%
Kalibracja + anylang75%44%

Co ustalono

  • Etykiety TAK i NIE mają różne długości w tokenach; suma log-probability może zaburzać wybór.
  • Normalizacja na token podnosi accuracy, ale obniża F1 w niezbalansowanej próbce.
  • W GSM8K limit 512 nowych tokenów ucinał rozumowanie przed odpowiedzią oczekiwaną przez parser.

Granice wniosku

To diagnostyka na małej próbce. Do porównania modeli potrzebny jest ponowny pomiar wspólnym, poprawionym protokołem.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
Qwen3.5-27B (base/v3/v4)
Metoda
pełna macierz modeli (bench_runner, n=100) + probe scoringu: TAK/NIE vs YES/NO, sum vs per-token vs kalibracja kontekstowa, accuracy vs F1
Przykłady
0 przykładów
Harness / protokół
bench_runner.py n=100 (screening) + probe kalibracji n=100 na base, seed 42

Opisy wykresów ze źródła

Pełna macierz: base / v3 / v4(cal λ0.3), jeden protokół (n=100). UWAGA: psc/dyk/cbd zniekształcone artefaktem scoringu (patrz niżej), gsm8k uciętym thinkingiem — to nie wiedza.

Trwa: re-score DYK/PSC + pełny rerun 4 modeli z poprawnym scoringiem (kalibracja + F1 wg KLEJ) i większym budżetem tokenów GSM8K. Macierz powyżej zostanie podmieniona na wersję po naprawie.

Wyniki i obserwacje ze źródła

Gdzie scoring nas zaniża (n=100)
CBD, DYK, +GSM8K (i PSC)
Z tego realna słabość
tylko PolEmo-in — reszta to artefakty pomiaru
TAK/NIE — długość tokenów (zmierzone)
TAK=1 token, NIE=2 tokeny; Tak/Nie=1/1, YES/NO=1/1 (tylko WIELKIE TAK/NIE są asymetryczne)
CBD base — sum logprob (none)
acc=60 F1=35, predTAK=51/100 (gold TAK=11) — bias ku 1-tokenowemu TAK
CBD base — per-token (mean)
acc=89 F1=15 — POZORNY fix: to baseline większościowy (89% NIE), F1 pada
CBD base — kalibracja kontekstowa + any-lang
acc=75 F1=44 — realny sygnał (predTAK=34)
Ucieczka do angielskiego (YES/NO)
0/100 — model ZAWSZE preferuje polskie TAK/NIE; hipoteza języka obalona
GSM8K base
20 (nierealne dla Qwen 27B) — thinking ucięty przy max_new=512, parser nie dożywa do '####'

Pytanie wyjściowe: „czemu mamy fuckup na CBD/DYK?”. Odpowiedź: to DWA różne bugi harnessu, nie modelu. (1) CBD/DYK/PSC są scorowane LIKELIHOODEM (nie generacją) — porównujemy sumę logprobów ' TAK' vs ' NIE'. Ale ' TAK'=1 token, ' NIE'=2 tokeny, a scorer sumuje (nie uśrednia) → wbudowany bias ku TAK. Gold jest w 82–89% NIE, więc model „przewiduje” TAK 51–64 razy i accuracy się sypie — DOKŁADNIE proporcjonalnie do niezbalansowania (CBD 89%NIE→najgorzej). Przejście na per-token (mean) to PUŁAPKA: zwija się do samego NIE = baseline większościowy (CBD acc=89 ale F1=15). Prawdziwy fix: kalibracja kontekstowa (odjęcie logprobu etykiety na pustym promptcie) + metryka F1 (oficjalna w KLEJ), stosowane JEDNAKOWO do wszystkich modeli (anti-benchmaxxing). Po kalibracji base wraca do sensownego F1=44. (2) Hipoteza „model woli angielskie YES/NO” obalona twardo: EN-leak=0/100 — przy scoringu likelihood model zawsze stawia na polskie TAK/NIE. (3) GSM8K to osobny bug — generacja z uciętym thinkingiem (max_new=512), base=20 jest nierealne; fix = większy budżet tokenów + format-aware extraction. Wniosek: z 5 „przegranych” realna jest tylko PolEmo-in; reszta to harness. Reguła: każda poprawka pomiaru idzie na wszystkie modele naraz, nigdy per-model.

04EwaluacjaCZYSTY

Merge v4: brak utrzymanego zysku

WYNIK / STAN PRACMieszanka wag wraca do wyniku bazy na LLMzSzŁ.

Cel, metoda i wnioski

Cel

Sprawdzić, czy domieszanie wag bazowych zachowa korzyść v3 i ograniczy regresję.

Metoda

Bez nowego treningu: θ_merge = θ_base + 0,30 × (θ_v3 − θ_base). Porównanie w ramach każdego zadania.

Porównanie ze źródła
Zadanie / próbaBazav3Merge
LLMzSzŁ · n = 40063,5%66,8%63,5%
CDSC-E · n = 20087,5%81,5%83,5%

Co ustalono

  • Na LLMzSzŁ przewaga widoczna we wcześniejszej, mniejszej próbce nie utrzymała się przy n = 400.
  • Na CDSC-E merge częściowo odrabia spadek v3, ale pozostaje poniżej bazy.

Granice wniosku

Zadania mają różne próby. Wynik CDSC-E używa likelihood; nie należy zestawiać go bezpośrednio z wcześniejszym scoringiem generacyjnym.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
Qwen3.5-27B
Metoda
λ-merge: base + 0.30·(v3−base), interpolacja wag (DoRA-safe) — bez treningu
Przykłady
0 przykładów
Harness / protokół
klej_eval.py CDSC-E likelihood n=200 + bench_llmzszl_likelihood.py n=400, seed 42

Opisy wykresów ze źródła

Macierz benchmarków: base vs v3 vs v4 (kolor = Δ vs base, best-of metoda per zadanie). v4 dochodzi w miarę liczenia.

Porównanie base / v3 / cal-l030 — cel (LLMzSzŁ) i kalibracja (CDSC-E) + frontier λ.

Trwa pełny screen base vs v3 vs cal-l030: KLEJ ×12 (likelihood) + LLMzSzŁ + EN-retention (ARC-C, MMLU, Belebele-EN, GSM8K). Runner bierze model z HF/katalogu, sampling n=100, zapis przyrostowy + watchdog.

Wyniki i obserwacje ze źródła

LLMzSzŁ (n=400): base / v3 / cal-l030
63.5 / 66.8 / 63.5
CDSC-E likelihood (n=200): base / v3 / cal-l030
87.5 / 81.5 / 83.5
CDSC-E v3: generacja vs likelihood
64.5 → 81.5 (czyli −22.5 → −6.0)

Faza 0 V4 to diagnoza i kalibracja, nie nowy trening. (1) „Katastrofa” CDSC-E v3 była w ~3/4 artefaktem POMIARU: generacja+parser dawały 64.5, ale likelihood (scoring etykiet) daje 81.5 — realny spadek to −6.0, nie −22.5. Wniosek operacyjny: zadania klasyfikacyjne mierzymy likelihood. (2) v3 to realny zysk na celu (LLMzSzŁ +3.3) bez szerokiej regresji KLEJ — makro płaskie, sentyment +9/+7.5. (3) Próba naprawy przez merge wag λ=0.30 (cal-l030) wyglądała świetnie na n=200 (CDSC 82 / LLMzSzŁ 66.5), ale twardy rerun n=400 pokazał, że oddała CAŁY zysk celu (LLMzSzŁ 63.5 = baza), zostawiając −4 na CDSC. Mała próbka skłamała. Wniosek: decyzje o release wyłącznie na n≥400; przy niskim λ koszt CDSC rośnie szybciej niż zysk LLMzSzŁ, więc post-hoc merge nie da gate-clean wygranej — prawdziwy fix to trening anti-collapse (q/v only, niższy lr, hard-neutral NLI + KL-to-base). Reguła V4: zero benchmark train splitów jako paliwa, też KLEJ.

05TreningCZYSTY

Slayer v3: +3,3 pp na wewnętrznej próbie

WYNIK / STAN PRACLLMzSzŁ: 66,8% wobec 63,5% dla bazy.

Cel, metoda i wnioski

Cel

Sprawdzić SFT łączący destylację umiejętności, polskie przykłady i replay angielski.

Metoda

Qwen3.5-27B; DoRA r16; 2233 przykłady; 2 epoki. Ta sama próba LLMzSzŁ: n = 400, seed 42.

Porównanie ze źródła
WariantLLMzSzŁ
Baza63,5%
Slayer v165,0%
Slayer v366,8%

Co ustalono

  • Miks: 1453 przykłady destylacji, 484 angielskie, 175 ludzkich polskich i 121 stylu.
  • Raportowany eval loss: 0,441. Trening na H100 80 GB trwał około 2 h 23 min.

Granice wniosku

Opisowa różnica na wewnętrznym protokole likelihood. Nie potwierdza istotności statystycznej ani przewagi na oficjalnym leaderboardzie.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
Qwen3.5-27B
Metoda
SFT bf16 DoRA r16/α32 (82.5M = 0.31%)
Przykłady
2233 przykładów
Harness / protokół
bench_llmzszl_likelihood.py (n=400, seed 42, identyczna próbka)

Skład danych

  • destylacja zdolności 1453
  • EN retencja 484
  • human PL (Aya/OASST) 175
  • styl 121

Hiperparametry

  • LR : 5e-5 cosine
  • epoki : 2
  • kroki : 246
  • MAX_LEN : 2048
  • batch_eff : 16
  • DoRA : r16/α32
  • early-stop : 12% holdout / patience 2

Przebieg treningu

eval-loss spadał monotonicznie do 0.441 (brak overfittingu, early-stop nie odpalił); ~36 s/krok na H100 80GB, 2h23m

Wyniki i obserwacje ze źródła

v3 — LLMzSzŁ acc
66.8
baza Qwen3.5-27B (ten box)
63.5
slayer v1
65.0

Pierwszy czysty wynik v3 (SFT stylu na Qwen3.5-27B, decon gate CZYSTY). Wewnetrzna bramka LLMzSzL likelihood (n=400): v3 +3.3 nad baza (CI sie naklada, odporne). Vibe-check (6 promptow): v3 pisze naturalniejsza polszczyzna bez markdown/korpo-tonu na tekstach codziennych, traci gestosc/forme na kreatywnych (wiersz, gwara). Wiedza bez regresji. To wewnetrzny gate, nie oficjalne twierdzenie 5-shot. CPT (EntiGraph) odlozone — Munin (Danish FM) potwierdzil, ze SFT-first na Qwen-base wystarcza.

06DaneCZYSTY

Destylacja: audyt przed treningiem

WYNIK / STAN PRACAutomatyczny sędzia oznaczył 4940 przykładów jako poważnie błędne.

Cel, metoda i wnioski

Cel

Odfiltrować błędy faktograficzne i językowe w odpowiedziach zewnętrznego modelu 11B.

Metoda

Audyt pojedynczych odpowiedzi przez Qwen3.5-122B; oceniano fakty i polszczyznę.

Co ustalono

  • Z początkowych 10 304 rekordów po wstępnej selekcji pozostało 9769.
  • Do późniejszego miksu wybrano 374 zweryfikowane przykłady.

Granice wniosku

Oceny pochodzą od modelu, nie od niezależnych ekspertów. Źródło podaje 4091 i 4094 poprawnych rekordów, a sumy kategorii nie zgadzają się z całością; nie traktujemy ich jako uzgodnionego manifestu.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
—
Metoda
sędzia per rekord (otwarty Qwen3.5-122B): fakty + polszczyzna
Przykłady
9769 przykładów
Harness / protokół
verify_external_sft.py

Skład danych

  • surowe 10304
  • po kuracji 9769
  • verified (fakty ok) 4091

Wyniki i obserwacje ze źródła

powazne błędy
4940
fakty ok
4094
drobne
732

51% surowej destylacji z 11B na pytaniach o długi ogon to konfabulacje (zmyślone daty OSP, nieistniejące idiomy). Do miksu v3 weszła wyłącznie frakcja verified (374 ex). Wniosek: zewnętrzne SFT wiedzy bez weryfikatora per item truje model.

07DaneCZYSTY

EntiGraph: korpus relacji i parafraz

WYNIK / STAN PRACPrzygotowano dane do CPT; brak pomiaru wpływu na model.

Cel, metoda i wnioski

Cel

Rozwinąć polskie materiały źródłowe o relacje, parafrazy, streszczenia i pytania z odpowiedziami.

Metoda

Teacher deepseek-flash; około 6,5 tys. artykułów Wikipedii i 64 tys. akapitów ZPE.

Co ustalono

  • Powstały dwa korpusy opisane jako około 10 mln tokenów każdy.
  • Audyt wykrywał nakładanie się danych z materiałem ewaluacyjnym; część rekordów usunięto.

Granice wniosku

Podane liczby dotyczą różnych etapów i nie tworzą spójnej sumy końcowej. Bez manifestu nie podajemy dokładnej liczby gotowych przykładów. Nie raportowano wyniku treningu na tym korpusie.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
—
Metoda
synthetic CPT data: relacje encji + parafrazy + streszczenia + QA (×~10 na fakt), teacher deepseek-flash
Przykłady
183 828 przykładów
Harness / protokół
decon_audit 8-gram: 43 kolizje wycięte (0.047%)

Skład danych

  • wiki: relation 46713
  • wiki: para/sum/qa 45489
  • zpe: relation 45097
  • zpe: para/sum/qa 47803

slayer-data/knowledge/entigraph_pl_focus.clean.jsonl (shardy w repo datasets)

~200k faktów: 6.5k artykułów o Polsce + 64k akapitów egzaminacyjnych ZPE. Audyt verbatim na ZPE wyciął 1274 kolizje (1.37%; materiał szkolny pokrywa się z frazami egzaminów z evali — dokładnie po to jest bramka). Inżynieria throughput: 430 -> 13 000 tok/s (30x). Koszt łączny ~$8.

08DaneCZYSTY

Graf encji: daty tworzą pozorne relacje

WYNIK / STAN PRAC53% badanych ścieżek przechodziło przez daty.

Cel, metoda i wnioski

Cel

Generować pytania wymagające połączenia dwóch relacji: A → B → C.

Metoda

Graf współwystąpień: około 274 tys. węzłów i 2 mln krawędzi. Synteza bridge QA i pytań wieloetapowych.

Co ustalono

  • Wspólna data łączyła encje bez użytecznej relacji semantycznej.
  • Usunięto węzły dat oraz silnie połączone huby; zapis zawiera jakościowe przykłady po zmianie.

Granice wniosku

Brak ilościowej ewaluacji po filtrowaniu. Nagłówek podaje 1999 przykładów, podczas gdy dwie wymienione składowe sumują się do 1963.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
—
Metoda
graf co-mention 274k węzłów / 2M krawędzi; ścieżki A→B→C -> akapity pomostowe + wielohopowe QA
Przykłady
1999 przykładów
Harness / protokół
decon_audit + czyszczenie ścieżek

Skład danych

  • bridge 992
  • hop_qa 971

bench/entigraph_hops.py

Pilot złapał pułapkę grafu: 53% ścieżek szło przez węzły-daty (absurdy typu piłkarz↔ceny gazu przez wspólną datę). Fix: daty poza grafem + odcięcie hubów po in-degree. Po fixie ścieżki sensowne (Szkotowo→Jan Kostka→pochówek w Lisewie).

09DaneCZYSTY

Miks SFT: plan 2239 przykładów

WYNIK / STAN PRACPrzygotowany zestaw danych; trening jeszcze nie ruszył.

Cel, metoda i wnioski

Cel

Połączyć polskie umiejętności i styl z angielskim replayem.

Metoda

Deduplikacja, filtrowanie źródeł i kontrola nakładania się z holdoutem stylu.

Porównanie ze źródła
SkładnikPrzykłady
Własna destylacja1022
Zewnętrzne, zweryfikowane374
Ludzkie polskie344
Angielski replay499

Co ustalono

  • Usunięto 85 promptów holdoutu stylu znalezionych w v2.
  • Późniejszy trening v3 używał innego miksu — 2233 przykładów. To osobne iteracje.

Granice wniosku

Wpis opisuje stan z 11 czerwca. Nie zawiera wyniku treningu ani dowodu braku regresji.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
Qwen3.5-27B (planowany trening)
Metoda
assembler z bramkami: forbidden-sources, audyt verbatim, dedup, filtr myślników, balans per źródło
Przykłady
2239 przykładów
Harness / protokół
raport: results/train_v3_mix_report.json

Skład danych

  • distill własny 1022
  • ext_distill_verified 374
  • human_pl 344
  • EN retencja 499

trening jeszcze nie wystartował — najpierw pilot CPT + probe

Zero train/test splitów benchmarków. Audyt wykrył i usunął wyciek 85 promptów holdoutu stylu (obecny w miksie v2; v1 czysty: 0 wspólnych). Szczegóły miksu: /v3.

10EwaluacjaCZYSTY

Wiedza o Polsce: mała próba diagnostyczna

WYNIK / STAN PRAC38 pytań o Polskę to za mało na wiarygodny ranking.

Cel, metoda i wnioski

Cel

Zidentyfikować luki w wiedzy przed przygotowaniem danych do CPT.

Metoda

71 pytań closed-book: 38 o Polsce i 33 ogólne. Automatyczna ocena przez Qwen3.5-122B.

Porównanie ze źródła
ModelPolska · n = 38Ogólne · n = 33
9B · Q418,4%30,3%
27B · bf1615,8%33,3%

Co ustalono

  • Porównano model 9B Q4 przez Ollama z 27B bf16 przez API.
  • Wpis proponuje większy zestaw i niezależnego sędziego przed wyciąganiem mocniejszych wniosków.

Granice wniosku

Różnią się rozmiar modelu, kwantyzacja i środowisko. Nie izolujemy przyczyny różnic i nie mierzymy tutaj efektu CPT.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
—
Metoda
71 pytań closed-book z korpusu EntiGraph (38 polonica / 33 ogólne), sędzia: otwarty Qwen3.5-122B vs gold ugruntowany w źródle
Przykłady
71 przykładów
Harness / protokół
bench/knowledge_probe.py, temp 0, ollama Q4 (Qwen9B) + API bf16 (Qwen27B)

Skład danych

  • polonica 38
  • ogolne 33

Wyniki i obserwacje ze źródła

Qwen9B polonica
18.4
Qwen27B polonica
15.8
Qwen9B ogólne
30.3
Qwen27B ogólne
33.3

Długi ogon (regionalia, lokalne fakty) leży u wszystkich: 16-29%. Baza 27B najsłabsza na polonica przy dobrej wiedzy ogólnej. Wniosek: CPT na zmultiplikowanym syntetycznie ogonie (EntiGraph 10M) ma duże przestrzenie do odzyskania; cel po CPT: znaczący wzrost na polonica. n=71 to smoke: różnice na polonica (n=38) jeszcze nieistotne statystycznie; potwierdzenie na probe 300-500 + drugi niezależny sędzia. Itemy probe = held-out (exclusion list z treningu CPT).

11TreningKONTAMINACJA

Slayer v2: wynik po treningu na KLEJ

WYNIK / STAN PRAC87,83% macro; trening obejmował dane benchmarku.

Cel, metoda i wnioski

Cel

Sprawdzić SFT łączący styl z zadaniami KLEJ.

Metoda

Qwen3.5-27B; DoRA r16; 2482 przykłady, w tym 1100 ze splitów treningowych KLEJ. Ewaluacja greedy, n = 200, bez thinking.

Co ustalono

  • Raportowana zmiana macro: 81,83% → 87,83% (+6 pp).
  • Przywrócono checkpoint ze stepu 150 po pogorszeniu eval loss w kolejnych zapisach.

Granice wniosku

Historyczne oznaczenie: KONTAMINACJA. Użyto splitów treningowych benchmarku; nie jest to stwierdzenie wycieku testu. Wynik nie jest porównywalny z oceną unseen 5-shot ani dowodem ogólnej poprawy.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
Qwen3.5-27B
Metoda
DoRA r=16 · KLEJ-targeted SFT
Przykłady
2482 przykładów
Harness / protokół
nasza (greedy, enable_thinking=False, n=200) — NIE 5-shot leaderboard

Skład danych

  • styl 1004
  • KLEJ train 1100
  • KLEJ synth 150
  • replay 228

Dataset

Miks 2482 przykładów: 1004 styl (teacher rewrite) + 1100 KLEJ train-split (KONTAMINACJA) + 150 synth KLEJ + 228 replay (anti-forgetting). Pełne pliki + skład co do przykładu na HF (prywatny).

Hiperparametry

  • DoRA r : 16
  • alpha : 32
  • LR : 5e-5
  • epochs : 2
  • batch : 4×8
  • max_len : 1024
  • quant : bf16
  • early_stop : patience 2

Przebieg treningu

⏹ step 150 — best eval-loss 0.6978 (180/210 gorsze → stop, restore 150)

Krzywa = live snapshot z podu H100 (raw per-step + EMA). Model na HF = checkpoint best.

Wyniki i obserwacje ze źródła

psc
97.5
ppc
81
dyk
86
belebele
92
8tags
81
polemo2_in
89.5

Trenowany na train splitach KLEJ → KONTAMINACJA. Dowód: belebele +0.0 (0 przykładów w miksie) vs psc +26.5 — artefakt train-splitów, nie zdolność. NIE jest claimem leaderboardowym. Train≠test (dedup), więc to nie oszustwo, ale nieporównywalne z wynikami 5-shot leaderboardu.

12TreningCZYSTY

Slayer v1: polski styl odpowiedzi

WYNIK / STAN PRACSFT na 1004 przykładach; brak porównawczego wyniku jakości.

Cel, metoda i wnioski

Cel

Uzyskać naturalniejszą polszczyznę i ograniczyć szablonowy styl odpowiedzi.

Metoda

Qwen3.5-27B; DoRA r16; około 60 kroków przez 2 epoki. Kuratorowane przykłady w podejściu inspirowanym LIMA.

Co ustalono

  • Materiał obejmował polski styl i zachowanie modelu.
  • Według notatki do treningu nie dodawano danych benchmarkowych.

Granice wniosku

Wpis nie zawiera porównawczej ewaluacji held-out. Opis celu treningu nie jest potwierdzeniem jego skuteczności.

Oryginalna notatka · pełny zapis źródłowy

Konfiguracja badania

Baza / model
Qwen3.5-27B
Metoda
DoRA · style SFT (LIMA-style, ~1k kuracja)
Przykłady
1004 przykładów
Harness / protokół
—

Skład danych

  • styl 1004

Dataset

1004 wyselekcjonowane przykłady stylu PL (LIMA-style: jakość > wolumen). Teacher deepseek-v4-pro, sędzia otwarty Qwen3.5. Zero danych benchmarkowych.

Hiperparametry

  • DoRA : r16
  • LR : ~4e-5 warmup
  • epochs : 2
  • steps : 60
  • data : ~1k styl (LIMA)

Przebieg treningu

Czysty styl polski: bez nadużycia myślników, natywna fleksja, zero danych benchmarkowych. Teacher deepseek-v4-pro / sędzia otwarty Qwen3.5.

DALEJ W BADANIACH

Od archiwum do nowych eksperymentów.