SOTA 2026 · public roadmap · feedback openHistoryczny zapis badawczy
Plan na poprawny polski model SOTA
To historyczny dokument z dawnej strony Slayer. Oryginalne daty, nazwiska i ustalenia zachowujemy dla kontekstu. Nie opisuje obecnych możliwości, zasad ani planów rozwoju. Narzędzia interaktywne i zgłoszenia nie działają w tym zrzucie.
Aktualny program badań → · Notatki badawcze →Nie zaczynamy od hasla "wiekszy dataset". Zaczynamy od pelnej mapy przewag i regresji, potem budujemy dane, trening, RLVR i runtime tylko tam, gdzie jest mierzony deficyt. Ta strona jest publicznym planem do krytyki spolecznosci.
dodaj komentarz · Faza 0 · strategia 27B
twardy warunek startuNajpierw domknac macierz, potem trenowac.
Open PL LLM Leaderboard nie jest otwartym benchmarkiem do iteracji. Budujemy wlasny prywatny PROXY replikujacy publiczny protokol/paper, a zamkniety leaderboard traktujemy dopiero jako finalny zewnetrzny check po mocnym modelu.
Faza 0: zamkniecie macierzy
1 dzien · ok. $50 inferencji · przed treningiem
Status: baza Qwen3.5-27B jest juz zmierzona na pelnym zestawie (likelihood/generacja, best-of per zadanie), v3 prawie domkniety, v4 w toku. Pelna macierz base vs v3 vs v4 (kolor = delta vs base): /eksperymenty. Faza 0 dalej blokuje trening, ale to juz pomiar, nie wiara — luki sa nazwane liczbami.
CDSC-E · base 86 · v3/v4 → matryca
ARC-C · base 84 · EN-retencja
MMLU · base 71 · EN-retencja
GSM8K · base 20 · prompt do poprawy
Belebele-EN · base 80 · EN-retencja
F0.1
gate
Qwen3.5-27B proxy 5-shot baseline
Odpalamy wlasny proxy harness dla Qwen3.5-27B: zadania publiczne tam, gdzie sa otwarte, oraz prywatne izomorficzne sety tam, gdzie oryginalny test jest zamkniety. Bez adaptera, bez prompt hackow, ze stalym protokolem i artefaktami raw.
- Kolumny obowiazkowe: CDSC-E, ARC-C, MMLU, GSM8K, Belebele-PL, Belebele-EN, LLMzSzL, PoQuAD, PES.
- Raport: score, stderr/CI tam gdzie mozliwe, format error, confusion matrix dla classification.
- Wyjscie: mapa "base wygrywa", "base przegrywa", "brak sygnalu" na naszym proxy.
F0.2
decyzja
Mapa treningu zamiast wiary
Jesli baza juz radzi sobie z rozumowaniem, nie zuzywamy budzetu na generic reasoning. Budzet idzie tylko w polskie deficyty: zadania PL-specyficzne, format, kalibracja, prawo/administracja, grounding.
F0.3
stop/go
Zakaz startu SFT bez baseline report
Trening rusza dopiero po publicznym raporcie F0. Bez tego caly budzet idzie na slepo i latwo powtorzyc V3: poprawic target, rozwalic krytyczna umiejetnosc.
Roadmap po Fazie 0
SOTA jako system, nie pojedynczy fine-tune
F1 · 2 tyg.
no-regression SFT
Celowany SFT na deficytach z macierzy
50k-150k przykladow, 30% replay, preservation set i KL-to-base. Cel: +1-3 pp na wskazanych polskich skillach, zero krytycznych regresji powyzej progu, format compliance powyzej 98%.
F2 · 1 mies.
verifiable corpus
Polski korpus z verifierami
100k-500k zadan math/code/table/legal/admin/QA. Kazdy rekord ma skill, source metadata, decontamination status, verifier, difficulty i replay policy. Synthetic tylko po filtracji verifierem.
F3 · 1-2 mies.
RLVR
GRPO/DAPO-style RL na obiektywnych nagrodach
RLVR tylko tam, gdzie reward jest twardy: exact answer, label, unit test, table execution, evidence span, abstention. Zero RL na "ladne odpowiedzi" bez sprawdzalnej nagrody.
F4 · 2-3 mies.
agentic loop
Polish agentic benchmark i runtime
Browser/forms/docs/spreadsheets/repos z initial state, tools, trajectory, observations i success condition. Runtime ma uzywac retrieval, verifierow i budget forcing, nie tylko jednego greedy strzalu.
Strategia treningu 27B
operator-grade plan · repo artifact
Pelny dokument techniczny jest w repo: TRAINING_STRATEGY_27B_SOTA.md. Cel: Qwen3.5-27B mocny na macierzy PL/core, bez trainowania pod zamkniete benchmarki i bez utraty zdolnosci bazy.
1. Proxy/private matrix first Najpierw base/Qwen27 na publicznych zadaniach i prywatnych izomorficznych proxy dla zamknietych testow. Zamkniety leaderboard tylko jako finalny external check.
2. Source shards, nie worek danych SpeakLeash/Spichlerz to inventory. ISAP, SAOS, PPC, plwiki, lektury, dialogi i nauka ida jako oddzielne shardy z license, quality, decon i skill tagiem. Dostep: pip install speakleash, dashboard i publiczne wpisy datasetowe.
3. No-regression SFT 50k-150k zaakceptowanych rekordow, 30-40% replay, hard-neutral NLI, format control, EN/core retention i KL/replay do bazy.
4. DPO-P jako glowna dzwignia 20k-50k par na smoke, potem 100k-300k jesli przechodzi gate. Otwarte sedzie tam, gdzie finalny claim ma byc reprodukowalny.
5. RLVR tylko z verifierem MCQ, NLI, math, code, table QA, citation span, abstention i legal/admin finite-state reward. Zero RL na "ladne odpowiedzi".
6. CPT tylko po dowodzie luki Nie robimy CPT na zapas. CPT dopiero jesli proxy long-tail pokazuje realna luke, w drabinie 10M > 100M > 1B z replay i stop-gate.
Reguly publiczne
co spolecznosc moze podwazac
Benchmarki nie wchodza do treningu LLMzSzL, KLEJ/CDSC-E, PES, PoQuAD, Belebele i inne splity ewaluacyjne sa tylko do decon/eval.
Release wybiera Pareto-front Nie promujemy checkpointa po jednym target score, jesli rozwala NLI, EN retention, parser albo kalibracje.
Zamkniety leaderboard dopiero na koncu Nie uzywamy go do treningu, wyboru checkpointow ani publicznego gate'u. Gdy model jest juz mocny na proxy/public eval, wysylamy go do autora jako finalny zewnetrzny check.
Najpierw source-of-truth Dane maja miec licencje, lineage, dedup, decontamination, skill tag i replay policy.
Runtime jest czescia wyniku Raportujemy greedy, pass@k/best-of-n z verifierem, latency per correct answer i cost per solved task.
Feedback publiczny Krytyka planu, brakujace benchmarki, slabe gate'y i ryzyka treningowe trafiaja do komentarzy pod spodem.
Polska specjalizacja jako przewaga
na czym budujemy roznice
Przewaga strukturalna: startujemy z Qwen3.5-27B (mocna baza). Wiedze i rozumowanie juz niesie baza, wiec budzet idzie w polska specjalizacje: LLMzSzL Slayer v3 66.8.
1. DPO — dzwignia #1 Pelny pipeline preferencji (dedup, generacja, ocena metamodelem, filtr marginesu, DPO-P) — z sedzia OTWARTYM (Qwen3.5/deepseek), nie GPT4o. Tej fazy jeszcze nie zrobilismy.
2. Skala SFT z pokryciem Nasze 2k przykladow ruszyly tylko sentyment. Styl = maly kurowany (LIMA), pokrycie + brak regresji = duzy zroznicowany SFT wg manifestu danych.
3. Polski styl jako wyroznik Mocna baza + DPO + kuracja (zero kalki, zero naduzycia myslnikow) = szansa na mocny wynik na MT-Bench-PL.
Czego NIE robic teraz Nie robic CPT na zapas — nasza baza juz niesie wiedze. CPT (EntiGraph) dopiero jesli proxy pokaze realna luke dlugiego ogona PL.
Najpierw wlasciwy pomiar Proxy 5-shot (22 zadania) + MT-Bench-PL + EQ-Bench dla base/v3. Bez tego claim jest pusty — i to na NASZYM proxy, nie na zamknietym leaderboardzie.
Proxy jest PRYWATNY Zamkniete testy odtwarzamy tylko przez izomorficzny proxy zgodny z publicznym opisem/paperem. Itemy trzymamy wewnatrz organizacji (tylko agregaty publiczne), zeby nie kontaminowac. Publiczna jest metodologia i liczby, nie pytania.
Dane otwarte Korpusy SpeakLeash/Spichlerz sa dostepne przez PyPI package speakleash, dashboard projektu i publiczne wpisy datasetowe, ale public copy nie powinno podawac rozmiaru bez aktualnego zrodla. Mix instrukcyjny/DPO odbudowujemy samodzielnie.
Komentarze publiczne
0 wpisow
Brak komentarzy.