DZIENNIK BADAŃ / CZERWIEC 2026Historyczny zapis badawczy
Eksperymenty. Wyniki i lekcje.
To historyczny dokument z dawnej strony Slayer. Oryginalne daty, nazwiska i ustalenia zachowujemy dla kontekstu. Nie opisuje obecnych możliwości, zasad ani planów rozwoju. Narzędzia interaktywne i zgłoszenia nie działają w tym zrzucie.
Aktualny program badań → · Notatki badawcze →Co sprawdziliśmy, na jakich danych i z jakim wynikiem. Przeglądaj krótkie wnioski, a potem zajrzyj do metody i pełnego zapisu.
ZACHOWANY ZAPIS · 12 eksperymentów · 5–15 czerwca 2026 · Snapshot: 27 września 2026
Jak czytać wyniki i oznaczenia?
„CZYSTY” i „KONTAMINACJA” to historyczne oznaczenia autorów, nie nowy audyt tej strony. Wyników z różnych protokołów nie należy traktować jako wspólnego rankingu. Każdy wpis ma redakcyjne podsumowanie. Oryginalna notatka jest dostępna osobno, na końcu rozwinięcia.
Uczciwa zasada: każdy model jest tu z pełnym składem danych i wynikiem. Trening na train-splicie benchmarku oznaczamy KONTAMINACJA — bo zawyża wynik i jest nieporównywalny z modelami liczonymi 5-shot. Iterujemy na otwartych benchmarkach i prywatnych proxy setach; zamknięty leaderboard może być tylko końcowym zewnętrznym sprawdzeniem, nie gate'em treningowym.
Niektóre wpisy opisują wykresy lub trwające wówczas prace. Archiwum przechowuje dostępny tekst; brakujących wykresów i późniejszych wyników nie odtwarzamy z domysłów.
124M po polsku: uruchomienie treningu
WYNIK / STAN PRACPierwszy działający bieg. Bez wyniku porównawczego z GPT-2.
Link do wpisu ↗, 124M po polsku: uruchomienie treningu
Cel, metoda i wnioski
Cel
Uruchomić modded-nanogpt na jednym H100 z polskim tokenizerem i własnymi shardami.
Metoda
Model 124M; korpus 3,47 mld tokenów; polski BPE 32k. Adaptacja kodu przygotowanego dla 8 × H100.
Co ustalono
- Naprawiono ścieżkę nagłówków CUDA i błąd składni w konfiguracji.
- Zwiększono bufor granic dokumentów: krótkie polskie teksty przekraczały limit dopasowany do FineWeb.
- Zwolniono pamięć zajętą przez inny proces i ograniczono uruchomienia do jednego treningu.
Granice wniosku
Wpis dokumentuje debugowanie. Nie zawiera końcowego loss ani ewaluacji, która potwierdzałaby przewagę nad GPT-2.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- modded-nanogpt (Muon + RoPE + RMSNorm + QK-norm + SwiGLU, 124M) na clean korpusie PL (3.47B tok, polski BPE 32k), 1×H100
- Metoda
- adaptacja 8×H100 speedrunu pod 1×H100 + polski tokenizer + własne shardy; cel: pobić GPT-2. Debug iteracyjny do pierwszego zdrowego biegu.
- Przykłady
- 0 przykładów
- Harness / protokół
- torchrun --standalone --nproc_per_node=1 train_gpt.py
Wyniki i obserwacje ze źródła
- Bug 1 — kompilacja kernela CUDA
- triton_kernels.py miał hardkod cuda_include_dirs=/usr/local/cuda/include (nie istnieje na boxie) → nvrtc nie znajdował cuda_bf16.h. Fix: wskazać include na pakiety pip (nvidia-cuda-runtime-cu12)
- Bug 2 — max_num_docs (crash na step 500)
- bufor granic dokumentów stuningowany pod FineWeb (długie doki); nasze gęste krótkie wiki-doki przepełniły go (81 doków > 64) → RuntimeError. Fix: dzielnik //48 zamiast //300 + większa tablica
- Bug 3 — 51 GB H100 zajęte
- Livebook (Erlang/EXLA, root-owned) prealokował 51 z 80 GB; trening dostał 27 GB. Fix: sudo kill beam.smp (XLA agresywnie grabi VRAM nawet idle)
- Bug 4 — własny błąd
- patch zostawił przecinek za komentarzem (vocab_size=32896 # ...,) → przecinek zakomentowany → SyntaxError. Banał, kosztował relaunch
- Bug 5 — thrashing launchy
- kilka równoległych biegów walczących o GPU; pgrep-guard złapał zdychający proces i nie odpalił nowego. Fix: czysty kill → JEDEN bieg + persistent compile cache (TORCHINDUCTOR_CACHE_DIR), żeby 7-min warmup nie powtarzał się przy każdym relaunchu
- Detal — vocab a potęgi 2
- 32768 to czysta potęga dwójki (ryzyko gorszej ścieżki cuBLAS, ostrzeżenie Karpathy'ego); model spadowany do 32896 (×128, NIE potęga 2), tokenizer zostaje 32768 — nadmiarowe wiersze to 'useless dimensions', nigdy nie są targetem
- Wniosek
- cudze speedruny są stuningowane pod ICH dane (FineWeb = długie doki); adaptacja do innego rozkładu długości dokumentów wymaga przejrzenia zaszytych stałych. Plus znów: jeden proces, checkpoint/resume, cache kompilacji — inaczej traci się godziny na crashach i warmupie
Polski BPE: mniej tokenów na słowo
WYNIK / STAN PRAC1,738 tokena na słowo; Llama 3: 2,744.
Link do wpisu ↗, Polski BPE: mniej tokenów na słowo
Cel, metoda i wnioski
Cel
Sprawdzić, jak własny słownik kompresuje polski tekst.
Metoda
Ten sam zbiór 2000 dokumentów: 962 tys. słów z polskiej Wikipedii. Własny tokenizer trenowany na około 1 GB tekstu.
| Tokenizer | Słownik | Tokeny / słowo ↓ |
|---|---|---|
| Polski BPE | 32k | 1,738 |
| Llama 3 | 128k | 2,744 |
| GPT-2 | 50k | 3,659 |
Co ustalono
- Polski BPE zużywa około 37% mniej tokenów niż tokenizer Llama 3 na tej próbce.
- Mniejsza liczba tokenów może zmniejszać długość sekwencji. Sam pomiar nie ocenia jakości modelu.
Granice wniosku
Pomiar w domenie Wikipedii. Test poza tą domeną nie był jeszcze wykonany.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- polish-32k (nasz, byte-level BPE) vs Llama-3 / GPT-2
- Metoda
- fertility = tokeny/słowo na 2000 held-out polskich dokumentów (962k słów); identyczny tekst dla wszystkich. BPE trenowany na ~1GB zbalansowanej próbki korpusu (cap legalese bo 71% to prawo), 51s na 16 rdzeniach.
- Przykłady
- 0 przykładów
- Harness / protokół
- tokenizers (Rust) encode_batch na identycznej próbce held-out, tok/słowo
Wyniki i obserwacje ze źródła
- polish-32k (nasz, 32k vocab)
- 1.738 tok/słowo — 1.00× (baseline)
- Llama-3 (128k vocab)
- 2.744 tok/słowo — 1.58× gorzej
- GPT-2 (50k vocab)
- 3.659 tok/słowo — 2.10× gorzej
- Dlaczego ogólne tokenizery słabo
- ogólne/multilingual słowniki nigdy nie dostały dedykowanego polskiego; nasz dedykowany BPE bije nawet 4× większy słownik Llamy-3
- Konsekwencja
- przy tym samym vocab (32k) nasz koduje polski znacznie gęściej → więcej tekstu w oknie kontekstu, efektywniejszy trening na token
- Caveat (uczciwie)
- próbka in-domain (Wikipedia); wszystkie dostały IDENTYCZNY tekst, a skala 1.58× jest za duża by to był artefakt domeny. Pancerny pomiar OOD do dorobienia
CBD: wynik zależy od sposobu liczenia
WYNIK / STAN PRAC89% accuracy może ukrywać F1 równe 15%.
Link do wpisu ↗, CBD: wynik zależy od sposobu liczenia
Cel, metoda i wnioski
Cel
Sprawdzić, czy słabe wyniki pochodzą z modelu, czy z harnessu ewaluacyjnego.
Metoda
Próba CBD: 100 przykładów. Porównanie scoringu dla bazowego Qwen3.5-27B; dodatkowe testy formatowania odpowiedzi.
| Scoring CBD | Accuracy | F1 |
|---|---|---|
| Suma log-probability | 60% | 35% |
| Średnia na token | 89% | 15% |
| Kalibracja + anylang | 75% | 44% |
Co ustalono
- Etykiety TAK i NIE mają różne długości w tokenach; suma log-probability może zaburzać wybór.
- Normalizacja na token podnosi accuracy, ale obniża F1 w niezbalansowanej próbce.
- W GSM8K limit 512 nowych tokenów ucinał rozumowanie przed odpowiedzią oczekiwaną przez parser.
Granice wniosku
To diagnostyka na małej próbce. Do porównania modeli potrzebny jest ponowny pomiar wspólnym, poprawionym protokołem.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- Qwen3.5-27B (base/v3/v4)
- Metoda
- pełna macierz modeli (bench_runner, n=100) + probe scoringu: TAK/NIE vs YES/NO, sum vs per-token vs kalibracja kontekstowa, accuracy vs F1
- Przykłady
- 0 przykładów
- Harness / protokół
- bench_runner.py n=100 (screening) + probe kalibracji n=100 na base, seed 42
Opisy wykresów ze źródła
Pełna macierz: base / v3 / v4(cal λ0.3), jeden protokół (n=100). UWAGA: psc/dyk/cbd zniekształcone artefaktem scoringu (patrz niżej), gsm8k uciętym thinkingiem — to nie wiedza.
Trwa: re-score DYK/PSC + pełny rerun 4 modeli z poprawnym scoringiem (kalibracja + F1 wg KLEJ) i większym budżetem tokenów GSM8K. Macierz powyżej zostanie podmieniona na wersję po naprawie.
Wyniki i obserwacje ze źródła
- Gdzie scoring nas zaniża (n=100)
- CBD, DYK, +GSM8K (i PSC)
- Z tego realna słabość
- tylko PolEmo-in — reszta to artefakty pomiaru
- TAK/NIE — długość tokenów (zmierzone)
- TAK=1 token, NIE=2 tokeny; Tak/Nie=1/1, YES/NO=1/1 (tylko WIELKIE TAK/NIE są asymetryczne)
- CBD base — sum logprob (none)
- acc=60 F1=35, predTAK=51/100 (gold TAK=11) — bias ku 1-tokenowemu TAK
- CBD base — per-token (mean)
- acc=89 F1=15 — POZORNY fix: to baseline większościowy (89% NIE), F1 pada
- CBD base — kalibracja kontekstowa + any-lang
- acc=75 F1=44 — realny sygnał (predTAK=34)
- Ucieczka do angielskiego (YES/NO)
- 0/100 — model ZAWSZE preferuje polskie TAK/NIE; hipoteza języka obalona
- GSM8K base
- 20 (nierealne dla Qwen 27B) — thinking ucięty przy max_new=512, parser nie dożywa do '####'
Pytanie wyjściowe: „czemu mamy fuckup na CBD/DYK?”. Odpowiedź: to DWA różne bugi harnessu, nie modelu. (1) CBD/DYK/PSC są scorowane LIKELIHOODEM (nie generacją) — porównujemy sumę logprobów ' TAK' vs ' NIE'. Ale ' TAK'=1 token, ' NIE'=2 tokeny, a scorer sumuje (nie uśrednia) → wbudowany bias ku TAK. Gold jest w 82–89% NIE, więc model „przewiduje” TAK 51–64 razy i accuracy się sypie — DOKŁADNIE proporcjonalnie do niezbalansowania (CBD 89%NIE→najgorzej). Przejście na per-token (mean) to PUŁAPKA: zwija się do samego NIE = baseline większościowy (CBD acc=89 ale F1=15). Prawdziwy fix: kalibracja kontekstowa (odjęcie logprobu etykiety na pustym promptcie) + metryka F1 (oficjalna w KLEJ), stosowane JEDNAKOWO do wszystkich modeli (anti-benchmaxxing). Po kalibracji base wraca do sensownego F1=44. (2) Hipoteza „model woli angielskie YES/NO” obalona twardo: EN-leak=0/100 — przy scoringu likelihood model zawsze stawia na polskie TAK/NIE. (3) GSM8K to osobny bug — generacja z uciętym thinkingiem (max_new=512), base=20 jest nierealne; fix = większy budżet tokenów + format-aware extraction. Wniosek: z 5 „przegranych” realna jest tylko PolEmo-in; reszta to harness. Reguła: każda poprawka pomiaru idzie na wszystkie modele naraz, nigdy per-model.
Merge v4: brak utrzymanego zysku
WYNIK / STAN PRACMieszanka wag wraca do wyniku bazy na LLMzSzŁ.
Link do wpisu ↗, Merge v4: brak utrzymanego zysku
Cel, metoda i wnioski
Cel
Sprawdzić, czy domieszanie wag bazowych zachowa korzyść v3 i ograniczy regresję.
Metoda
Bez nowego treningu: θ_merge = θ_base + 0,30 × (θ_v3 − θ_base). Porównanie w ramach każdego zadania.
| Zadanie / próba | Baza | v3 | Merge |
|---|---|---|---|
| LLMzSzŁ · n = 400 | 63,5% | 66,8% | 63,5% |
| CDSC-E · n = 200 | 87,5% | 81,5% | 83,5% |
Co ustalono
- Na LLMzSzŁ przewaga widoczna we wcześniejszej, mniejszej próbce nie utrzymała się przy n = 400.
- Na CDSC-E merge częściowo odrabia spadek v3, ale pozostaje poniżej bazy.
Granice wniosku
Zadania mają różne próby. Wynik CDSC-E używa likelihood; nie należy zestawiać go bezpośrednio z wcześniejszym scoringiem generacyjnym.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- Qwen3.5-27B
- Metoda
- λ-merge: base + 0.30·(v3−base), interpolacja wag (DoRA-safe) — bez treningu
- Przykłady
- 0 przykładów
- Harness / protokół
- klej_eval.py CDSC-E likelihood n=200 + bench_llmzszl_likelihood.py n=400, seed 42
Opisy wykresów ze źródła
Macierz benchmarków: base vs v3 vs v4 (kolor = Δ vs base, best-of metoda per zadanie). v4 dochodzi w miarę liczenia.
Porównanie base / v3 / cal-l030 — cel (LLMzSzŁ) i kalibracja (CDSC-E) + frontier λ.
Trwa pełny screen base vs v3 vs cal-l030: KLEJ ×12 (likelihood) + LLMzSzŁ + EN-retention (ARC-C, MMLU, Belebele-EN, GSM8K). Runner bierze model z HF/katalogu, sampling n=100, zapis przyrostowy + watchdog.
Wyniki i obserwacje ze źródła
- LLMzSzŁ (n=400): base / v3 / cal-l030
- 63.5 / 66.8 / 63.5
- CDSC-E likelihood (n=200): base / v3 / cal-l030
- 87.5 / 81.5 / 83.5
- CDSC-E v3: generacja vs likelihood
- 64.5 → 81.5 (czyli −22.5 → −6.0)
Faza 0 V4 to diagnoza i kalibracja, nie nowy trening. (1) „Katastrofa” CDSC-E v3 była w ~3/4 artefaktem POMIARU: generacja+parser dawały 64.5, ale likelihood (scoring etykiet) daje 81.5 — realny spadek to −6.0, nie −22.5. Wniosek operacyjny: zadania klasyfikacyjne mierzymy likelihood. (2) v3 to realny zysk na celu (LLMzSzŁ +3.3) bez szerokiej regresji KLEJ — makro płaskie, sentyment +9/+7.5. (3) Próba naprawy przez merge wag λ=0.30 (cal-l030) wyglądała świetnie na n=200 (CDSC 82 / LLMzSzŁ 66.5), ale twardy rerun n=400 pokazał, że oddała CAŁY zysk celu (LLMzSzŁ 63.5 = baza), zostawiając −4 na CDSC. Mała próbka skłamała. Wniosek: decyzje o release wyłącznie na n≥400; przy niskim λ koszt CDSC rośnie szybciej niż zysk LLMzSzŁ, więc post-hoc merge nie da gate-clean wygranej — prawdziwy fix to trening anti-collapse (q/v only, niższy lr, hard-neutral NLI + KL-to-base). Reguła V4: zero benchmark train splitów jako paliwa, też KLEJ.
Slayer v3: +3,3 pp na wewnętrznej próbie
WYNIK / STAN PRACLLMzSzŁ: 66,8% wobec 63,5% dla bazy.
Link do wpisu ↗, Slayer v3: +3,3 pp na wewnętrznej próbie
Cel, metoda i wnioski
Cel
Sprawdzić SFT łączący destylację umiejętności, polskie przykłady i replay angielski.
Metoda
Qwen3.5-27B; DoRA r16; 2233 przykłady; 2 epoki. Ta sama próba LLMzSzŁ: n = 400, seed 42.
| Wariant | LLMzSzŁ |
|---|---|
| Baza | 63,5% |
| Slayer v1 | 65,0% |
| Slayer v3 | 66,8% |
Co ustalono
- Miks: 1453 przykłady destylacji, 484 angielskie, 175 ludzkich polskich i 121 stylu.
- Raportowany eval loss: 0,441. Trening na H100 80 GB trwał około 2 h 23 min.
Granice wniosku
Opisowa różnica na wewnętrznym protokole likelihood. Nie potwierdza istotności statystycznej ani przewagi na oficjalnym leaderboardzie.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- Qwen3.5-27B
- Metoda
- SFT bf16 DoRA r16/α32 (82.5M = 0.31%)
- Przykłady
- 2233 przykładów
- Harness / protokół
- bench_llmzszl_likelihood.py (n=400, seed 42, identyczna próbka)
Skład danych
- destylacja zdolności 1453
- EN retencja 484
- human PL (Aya/OASST) 175
- styl 121
Hiperparametry
- LR : 5e-5 cosine
- epoki : 2
- kroki : 246
- MAX_LEN : 2048
- batch_eff : 16
- DoRA : r16/α32
- early-stop : 12% holdout / patience 2
Przebieg treningu
eval-loss spadał monotonicznie do 0.441 (brak overfittingu, early-stop nie odpalił); ~36 s/krok na H100 80GB, 2h23m
Wyniki i obserwacje ze źródła
- v3 — LLMzSzŁ acc
- 66.8
- baza Qwen3.5-27B (ten box)
- 63.5
- slayer v1
- 65.0
Pierwszy czysty wynik v3 (SFT stylu na Qwen3.5-27B, decon gate CZYSTY). Wewnetrzna bramka LLMzSzL likelihood (n=400): v3 +3.3 nad baza (CI sie naklada, odporne). Vibe-check (6 promptow): v3 pisze naturalniejsza polszczyzna bez markdown/korpo-tonu na tekstach codziennych, traci gestosc/forme na kreatywnych (wiersz, gwara). Wiedza bez regresji. To wewnetrzny gate, nie oficjalne twierdzenie 5-shot. CPT (EntiGraph) odlozone — Munin (Danish FM) potwierdzil, ze SFT-first na Qwen-base wystarcza.
Destylacja: audyt przed treningiem
WYNIK / STAN PRACAutomatyczny sędzia oznaczył 4940 przykładów jako poważnie błędne.
Link do wpisu ↗, Destylacja: audyt przed treningiem
Cel, metoda i wnioski
Cel
Odfiltrować błędy faktograficzne i językowe w odpowiedziach zewnętrznego modelu 11B.
Metoda
Audyt pojedynczych odpowiedzi przez Qwen3.5-122B; oceniano fakty i polszczyznę.
Co ustalono
- Z początkowych 10 304 rekordów po wstępnej selekcji pozostało 9769.
- Do późniejszego miksu wybrano 374 zweryfikowane przykłady.
Granice wniosku
Oceny pochodzą od modelu, nie od niezależnych ekspertów. Źródło podaje 4091 i 4094 poprawnych rekordów, a sumy kategorii nie zgadzają się z całością; nie traktujemy ich jako uzgodnionego manifestu.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- —
- Metoda
- sędzia per rekord (otwarty Qwen3.5-122B): fakty + polszczyzna
- Przykłady
- 9769 przykładów
- Harness / protokół
- verify_external_sft.py
Skład danych
- surowe 10304
- po kuracji 9769
- verified (fakty ok) 4091
Wyniki i obserwacje ze źródła
- powazne błędy
- 4940
- fakty ok
- 4094
- drobne
- 732
51% surowej destylacji z 11B na pytaniach o długi ogon to konfabulacje (zmyślone daty OSP, nieistniejące idiomy). Do miksu v3 weszła wyłącznie frakcja verified (374 ex). Wniosek: zewnętrzne SFT wiedzy bez weryfikatora per item truje model.
EntiGraph: korpus relacji i parafraz
WYNIK / STAN PRACPrzygotowano dane do CPT; brak pomiaru wpływu na model.
Link do wpisu ↗, EntiGraph: korpus relacji i parafraz
Cel, metoda i wnioski
Cel
Rozwinąć polskie materiały źródłowe o relacje, parafrazy, streszczenia i pytania z odpowiedziami.
Metoda
Teacher deepseek-flash; około 6,5 tys. artykułów Wikipedii i 64 tys. akapitów ZPE.
Co ustalono
- Powstały dwa korpusy opisane jako około 10 mln tokenów każdy.
- Audyt wykrywał nakładanie się danych z materiałem ewaluacyjnym; część rekordów usunięto.
Granice wniosku
Podane liczby dotyczą różnych etapów i nie tworzą spójnej sumy końcowej. Bez manifestu nie podajemy dokładnej liczby gotowych przykładów. Nie raportowano wyniku treningu na tym korpusie.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- —
- Metoda
- synthetic CPT data: relacje encji + parafrazy + streszczenia + QA (×~10 na fakt), teacher deepseek-flash
- Przykłady
- 183 828 przykładów
- Harness / protokół
- decon_audit 8-gram: 43 kolizje wycięte (0.047%)
Skład danych
- wiki: relation 46713
- wiki: para/sum/qa 45489
- zpe: relation 45097
- zpe: para/sum/qa 47803
slayer-data/knowledge/entigraph_pl_focus.clean.jsonl (shardy w repo datasets)
~200k faktów: 6.5k artykułów o Polsce + 64k akapitów egzaminacyjnych ZPE. Audyt verbatim na ZPE wyciął 1274 kolizje (1.37%; materiał szkolny pokrywa się z frazami egzaminów z evali — dokładnie po to jest bramka). Inżynieria throughput: 430 -> 13 000 tok/s (30x). Koszt łączny ~$8.
Graf encji: daty tworzą pozorne relacje
WYNIK / STAN PRAC53% badanych ścieżek przechodziło przez daty.
Link do wpisu ↗, Graf encji: daty tworzą pozorne relacje
Cel, metoda i wnioski
Cel
Generować pytania wymagające połączenia dwóch relacji: A → B → C.
Metoda
Graf współwystąpień: około 274 tys. węzłów i 2 mln krawędzi. Synteza bridge QA i pytań wieloetapowych.
Co ustalono
- Wspólna data łączyła encje bez użytecznej relacji semantycznej.
- Usunięto węzły dat oraz silnie połączone huby; zapis zawiera jakościowe przykłady po zmianie.
Granice wniosku
Brak ilościowej ewaluacji po filtrowaniu. Nagłówek podaje 1999 przykładów, podczas gdy dwie wymienione składowe sumują się do 1963.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- —
- Metoda
- graf co-mention 274k węzłów / 2M krawędzi; ścieżki A→B→C -> akapity pomostowe + wielohopowe QA
- Przykłady
- 1999 przykładów
- Harness / protokół
- decon_audit + czyszczenie ścieżek
Skład danych
- bridge 992
- hop_qa 971
bench/entigraph_hops.py
Pilot złapał pułapkę grafu: 53% ścieżek szło przez węzły-daty (absurdy typu piłkarz↔ceny gazu przez wspólną datę). Fix: daty poza grafem + odcięcie hubów po in-degree. Po fixie ścieżki sensowne (Szkotowo→Jan Kostka→pochówek w Lisewie).
Miks SFT: plan 2239 przykładów
WYNIK / STAN PRACPrzygotowany zestaw danych; trening jeszcze nie ruszył.
Link do wpisu ↗, Miks SFT: plan 2239 przykładów
Cel, metoda i wnioski
Cel
Połączyć polskie umiejętności i styl z angielskim replayem.
Metoda
Deduplikacja, filtrowanie źródeł i kontrola nakładania się z holdoutem stylu.
| Składnik | Przykłady |
|---|---|
| Własna destylacja | 1022 |
| Zewnętrzne, zweryfikowane | 374 |
| Ludzkie polskie | 344 |
| Angielski replay | 499 |
Co ustalono
- Usunięto 85 promptów holdoutu stylu znalezionych w v2.
- Późniejszy trening v3 używał innego miksu — 2233 przykładów. To osobne iteracje.
Granice wniosku
Wpis opisuje stan z 11 czerwca. Nie zawiera wyniku treningu ani dowodu braku regresji.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- Qwen3.5-27B (planowany trening)
- Metoda
- assembler z bramkami: forbidden-sources, audyt verbatim, dedup, filtr myślników, balans per źródło
- Przykłady
- 2239 przykładów
- Harness / protokół
- raport: results/train_v3_mix_report.json
Skład danych
- distill własny 1022
- ext_distill_verified 374
- human_pl 344
- EN retencja 499
trening jeszcze nie wystartował — najpierw pilot CPT + probe
Zero train/test splitów benchmarków. Audyt wykrył i usunął wyciek 85 promptów holdoutu stylu (obecny w miksie v2; v1 czysty: 0 wspólnych). Szczegóły miksu: /v3.
Wiedza o Polsce: mała próba diagnostyczna
WYNIK / STAN PRAC38 pytań o Polskę to za mało na wiarygodny ranking.
Link do wpisu ↗, Wiedza o Polsce: mała próba diagnostyczna
Cel, metoda i wnioski
Cel
Zidentyfikować luki w wiedzy przed przygotowaniem danych do CPT.
Metoda
71 pytań closed-book: 38 o Polsce i 33 ogólne. Automatyczna ocena przez Qwen3.5-122B.
| Model | Polska · n = 38 | Ogólne · n = 33 |
|---|---|---|
| 9B · Q4 | 18,4% | 30,3% |
| 27B · bf16 | 15,8% | 33,3% |
Co ustalono
- Porównano model 9B Q4 przez Ollama z 27B bf16 przez API.
- Wpis proponuje większy zestaw i niezależnego sędziego przed wyciąganiem mocniejszych wniosków.
Granice wniosku
Różnią się rozmiar modelu, kwantyzacja i środowisko. Nie izolujemy przyczyny różnic i nie mierzymy tutaj efektu CPT.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- —
- Metoda
- 71 pytań closed-book z korpusu EntiGraph (38 polonica / 33 ogólne), sędzia: otwarty Qwen3.5-122B vs gold ugruntowany w źródle
- Przykłady
- 71 przykładów
- Harness / protokół
- bench/knowledge_probe.py, temp 0, ollama Q4 (Qwen9B) + API bf16 (Qwen27B)
Skład danych
- polonica 38
- ogolne 33
Wyniki i obserwacje ze źródła
- Qwen9B polonica
- 18.4
- Qwen27B polonica
- 15.8
- Qwen9B ogólne
- 30.3
- Qwen27B ogólne
- 33.3
Długi ogon (regionalia, lokalne fakty) leży u wszystkich: 16-29%. Baza 27B najsłabsza na polonica przy dobrej wiedzy ogólnej. Wniosek: CPT na zmultiplikowanym syntetycznie ogonie (EntiGraph 10M) ma duże przestrzenie do odzyskania; cel po CPT: znaczący wzrost na polonica. n=71 to smoke: różnice na polonica (n=38) jeszcze nieistotne statystycznie; potwierdzenie na probe 300-500 + drugi niezależny sędzia. Itemy probe = held-out (exclusion list z treningu CPT).
Slayer v2: wynik po treningu na KLEJ
WYNIK / STAN PRAC87,83% macro; trening obejmował dane benchmarku.
Link do wpisu ↗, Slayer v2: wynik po treningu na KLEJ
Cel, metoda i wnioski
Cel
Sprawdzić SFT łączący styl z zadaniami KLEJ.
Metoda
Qwen3.5-27B; DoRA r16; 2482 przykłady, w tym 1100 ze splitów treningowych KLEJ. Ewaluacja greedy, n = 200, bez thinking.
Co ustalono
- Raportowana zmiana macro: 81,83% → 87,83% (+6 pp).
- Przywrócono checkpoint ze stepu 150 po pogorszeniu eval loss w kolejnych zapisach.
Granice wniosku
Historyczne oznaczenie: KONTAMINACJA. Użyto splitów treningowych benchmarku; nie jest to stwierdzenie wycieku testu. Wynik nie jest porównywalny z oceną unseen 5-shot ani dowodem ogólnej poprawy.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- Qwen3.5-27B
- Metoda
- DoRA r=16 · KLEJ-targeted SFT
- Przykłady
- 2482 przykładów
- Harness / protokół
- nasza (greedy, enable_thinking=False, n=200) — NIE 5-shot leaderboard
Skład danych
- styl 1004
- KLEJ train 1100
- KLEJ synth 150
- replay 228
Dataset
Miks 2482 przykładów: 1004 styl (teacher rewrite) + 1100 KLEJ train-split (KONTAMINACJA) + 150 synth KLEJ + 228 replay (anti-forgetting). Pełne pliki + skład co do przykładu na HF (prywatny).
Hiperparametry
- DoRA r : 16
- alpha : 32
- LR : 5e-5
- epochs : 2
- batch : 4×8
- max_len : 1024
- quant : bf16
- early_stop : patience 2
Przebieg treningu
⏹ step 150 — best eval-loss 0.6978 (180/210 gorsze → stop, restore 150)
Krzywa = live snapshot z podu H100 (raw per-step + EMA). Model na HF = checkpoint best.
Wyniki i obserwacje ze źródła
- psc
- 97.5
- ppc
- 81
- dyk
- 86
- belebele
- 92
- 8tags
- 81
- polemo2_in
- 89.5
Trenowany na train splitach KLEJ → KONTAMINACJA. Dowód: belebele +0.0 (0 przykładów w miksie) vs psc +26.5 — artefakt train-splitów, nie zdolność. NIE jest claimem leaderboardowym. Train≠test (dedup), więc to nie oszustwo, ale nieporównywalne z wynikami 5-shot leaderboardu.
Slayer v1: polski styl odpowiedzi
WYNIK / STAN PRACSFT na 1004 przykładach; brak porównawczego wyniku jakości.
Link do wpisu ↗, Slayer v1: polski styl odpowiedzi
Cel, metoda i wnioski
Cel
Uzyskać naturalniejszą polszczyznę i ograniczyć szablonowy styl odpowiedzi.
Metoda
Qwen3.5-27B; DoRA r16; około 60 kroków przez 2 epoki. Kuratorowane przykłady w podejściu inspirowanym LIMA.
Co ustalono
- Materiał obejmował polski styl i zachowanie modelu.
- Według notatki do treningu nie dodawano danych benchmarkowych.
Granice wniosku
Wpis nie zawiera porównawczej ewaluacji held-out. Opis celu treningu nie jest potwierdzeniem jego skuteczności.
Oryginalna notatka · pełny zapis źródłowy
Konfiguracja badania
- Baza / model
- Qwen3.5-27B
- Metoda
- DoRA · style SFT (LIMA-style, ~1k kuracja)
- Przykłady
- 1004 przykładów
- Harness / protokół
- —
Skład danych
- styl 1004
Dataset
1004 wyselekcjonowane przykłady stylu PL (LIMA-style: jakość > wolumen). Teacher deepseek-v4-pro, sędzia otwarty Qwen3.5. Zero danych benchmarkowych.
Hiperparametry
- DoRA : r16
- LR : ~4e-5 warmup
- epochs : 2
- steps : 60
- data : ~1k styl (LIMA)
Przebieg treningu
Czysty styl polski: bez nadużycia myślników, natywna fleksja, zero danych benchmarkowych. Teacher deepseek-v4-pro / sędzia otwarty Qwen3.5.
DALEJ W BADANIACH