Fabryka.API

metody fine-tuningu · SOTA 2026Historyczny zapis badawczy

Jak trenować — tanio i czysto

Materiał archiwalny · zrzut z 27 września 2026

To historyczny dokument z dawnej strony Slayer. Oryginalne daty, nazwiska i ustalenia zachowujemy dla kontekstu. Nie opisuje obecnych możliwości, zasad ani planów rozwoju. Narzędzia interaktywne i zgłoszenia nie działają w tym zrzucie.

Aktualny program badań → · Notatki badawcze →

Każdą zdolność budujemy na niezależnych danych i mierzymy na held-out — bez benchmaxxingu.

Lineage — co działa w 2026, co było modą 2025

SOTA 2026 · nadal użyteczne · niszowe / wyparte · legacy

2022

RLHF/PPO · LoRA (’21) · Self-Instruct

2023

DPO · IPO · QLoRA · Evol-Instruct

2024

ORPO · SimPO · KTO · Self-Rewarding · GRPO · DoRA · Unsloth/Liger · Magpie

2025

RLVR (R1) · distylacja CoT · PRM · iterative DPO · mergekit

2026

GRPO+RLVR = domyślne · DPO/ORPO żyją · QLoRA+merging

RLHF/PPO → DPO (’23) → GRPO+RLVR (’25, króluje przy weryfikowalnej nagrodzie).

2026: SFT (QLoRA) → DPO/ORPO → GRPO/RLVR na egzaminach. Nie: RLHF-PPO z modelem nagrody (wyparte); IPO i process-reward modele okazały się niszowe. KTO/SimPO = tańsze alternatywy DPO.

1 · Dane

fundament

kurowany SFT · rekom.

Mały, czysty zbiór instrukcji PL > duży i brudny (LIMA).

syntetyczne · tanie

Magpie, Evol-Instruct, self-instruct → filtruj.

domena prawnicza · moat

ISAP, SAOS → pary „kontekst→ · odpowiedź z cytatem".

dekontaminacja · czystość

n-gram/embedding overlap vs zbiory testowe.

2 · SFT

tanio na 1 GPU

QLoRA / LoRA · rekom.

4-bit + adaptery → 11–14B na jednym GPU.

DoRA / LoRA+ · zaawans.

Bliżej full-FT przy podobnym koszcie.

Unsloth / Liger · tanie

2–4× szybciej, mniej VRAM.

NEFTune + packing · tanie

Darmowy zysk jakości i przepustowości.

3 · Preferencje

offline, bez ciężkiego RLHF

DPO · sprawdzone

Pary lepsza/gorsza, stabilne, bez modelu nagrody.

ORPO · 1 etap

SFT + preferencje naraz, bez modelu ref.

SimPO / KTO · tańsze

Ref-free / bez par — łatwiej o dane.

iterative DPO · zaawans.

Generuj → oceń (RLAIF) → dotrenuj, w pętli.

4 · RL na weryfikowalnych nagrodach

przełom pod egzaminy

GRPO · pod egzaminy

RL bez modelu wartości. Nagroda = poprawna litera.

RLVR · pod target

Egzaminy mają klucz → tania, mocna nagroda.

distylacja CoT · tanie

Łańcuchy myślenia z mocnego nauczyciela.

5 · Tanie triki budżetowe

model merging · 0 treningu

mergekit TIES/DARE/SLERP — często darmowy zysk.

tokenizer PL · hipoteza

Krótsze sekwencje, tańszy inference.

long-context · tanie

YaRN/RoPE-scaling pod długie pisma.

wybór bazy · najtańsze

Start z mocniejszej bazy — stąd leaderboard.

Tokenizer — dlaczego nie rozszerzamy

fertility (tokeny/słowo) · niżej = wydajniej

Zmierzyliśmy fertility na tej samej próbce Wikipedii (PL+EN). Tokenizer Qwena jest ~23% wydajniejszy na polskim niż tokenizer Mistrala — tańszy inference i dłuższy efektywny kontekst (ważne dla długich pism). Przewagę dostajemy za darmo, wyborem bazy. Skrypt: tokenizer_fertility.py.

TokenizervocabTpW PL ↓CpT PL ↑TpW ENPL/EN
Gemma-2-9B256k2.2443.311.3401.68
Qwen3.5 (9B/27B) nasza baza: 27B248k2.3573.151.3851.70
Llama-3.1-8B128k2.7432.711.3432.04
Mistral-7B · tokenizer Mistrala (32k)32k3.0602.431.5441.98

TpW = tokeny/słowo (niżej = wydajniej) · CpT = znaki/token (wyżej = wydajniej) · PL/EN = o ile bardziej token-głodny polski. Próbka: ~200 akapitów Wikipedii PL i EN.

Rekomendowana recepta

sekwencja, nie wszystko naraz

01

Wybierz bazę

Wg leaderboardu — start z mocniejszej = najtańszy zysk.

02

QLoRA SFT

Kurowane PL + domenowe, Unsloth/Liger.

03

ORPO / DPO

Preferencje; ORPO oszczędza etap i VRAM.

04

GRPO/RLVR na egzaminach

Weryfikowalna nagroda pod target.

05

Odmowa + RAG-aware

Grounding i „nie wiem" na niezależnych danych.

06

Merging

mergekit między checkpointami; mierz na held-out.

Czystość: żadnej metody nie kierujemy na dane testowe. Metodologia →