FABRYKA. / PRACA
Wczytuję wspólny plan…
Budujemy modele, dane i narzędzia. Produkty finansują dalsze badania.
HISTORIA
Brak zmian.
Jeden dobry rozmiar nie mówi, czy metoda skaluje. Testy całej drabinki mają pokazać, czy dane i receptura pomagają również poza pojedynczym checkpointem.
Zmieniamy dane albo sposób treningu. Zamiast od razu wydawać cały budżet na duży model, sprawdzamy pomysł w mniejszej skali. Potem pytamy: czy ta sama zmiana pomaga również większemu modelowi?
Jedna zmiana, którą chcemy zrozumieć.
Porównujemy warianty i sprawdzamy szum.
Patrzymy, czy przewaga się utrzymuje.
Wynik uzasadnia następny run lub zmianę pomysłu.
Schemat procesu badawczego. Nie przedstawia wyników ukończonych runów ani gwarancji oszczędności.
Parametry to liczby, których model uczy się podczas treningu. M oznacza milion, B — miliard. Rozmiar modelu nie jest liczbą tokenów treningowych. Każdy szczebel pozwala sprawdzić, co zmienia się wraz ze skalą.
Składnia, morfologia, śledzenie bytów, wiedza i pytania naukowe. Zakres testów nie jest dowodem zmierzonej zdolności modelu.
Te szczeble opisują harmonogram diagnostyki. Nie deklarujemy, że każdy model został wytrenowany lub że wszystkie zbiory są już gotowe. Dokładne liczby parametrów liczymy dla konkretnego checkpointu.
Capability: 8 → 16 → 32 → 64 → 128 → 256 → 512 → 1000M. Jak zmieniają się zdolności i pokrycie testów? Zachowujemy wspólny rdzeń, a dodatkowe testy raportujemy oddzielnie.
Protokół decyzji: 8 → 25 → 50 → 120M. Czy ranking tych samych wariantów danych w małym modelu przewiduje ranking w większym? To osobna seria opisana w publicznym repo ladder.
GoLLeM, Pollock i zewnętrzne modele mogą dawać punkty odniesienia, ale różne dane, języki i budżety nie tworzą kontrolowanej serii skalowania.
Sam wyższy wynik dużego modelu nie wystarcza. Potrzebujemy sprawdzić kolejność tych samych wariantów. Jeśli lepszy zestaw danych pozostaje lepszy po zwiększeniu modelu, mała próba zaczyna być użyteczna przy podejmowaniu decyzji.
Czy kolejność
się utrzyma?
Przykład ilustracyjny, bez danych pomiarowych. A, B i C pokazują pytanie o transfer. To nie tabela wyników Fabryki.
Mamy argument, że małe modele mogą pomagać wybierać wariant do większego runu. Trzeba jeszcze uwzględnić zmienność i pokrycie testów.
Pomysł zależy od skali. Mała próba nie daje podstawy do automatycznego wyboru większego treningu — ten wynik też jest wartościowy.
Ten sam zbiór 4–6 wariantów danych na porównywanych szczeblach. Przypięte dane, rewizje, budżety i protokół. Zgodność rankingów mierzymy m.in. korelacją Spearmana; analizujemy również seedy, szum i brak regresji w innych testach.
Publiczne repo opisuje implementację tej procedury. Pełna empiryczna kalibracja i zmierzony transfer rankingów pozostają otwarte. Nie traktujemy diagnostycznej accuracy jako jedynego kryterium decyzji treningowej.
BLiMP / Supplement, morfologia WUG. Polski micro wykorzystuje kandydaty MultiBLiMP.
Entity Tracking, EWoK, COMPS i ARC-Easy w planie wspólnego rdzenia.
PIQA, HellaSwag, Winogrande, OpenBookQA, ARC-Challenge i wybrane MMLU według harmonogramu.
Te same identyfikatory przykładów, wersje zbiorów, prompting i polityka scoringu. Zamrożone, zagnieżdżone próbki micro/core. Stały rdzeń ma siedem zadań; niepełnych testów nie uzupełniamy zerami i nie zmieniamy mianownika po cichu.
Obok diagnostyki capability mierzymy walidacyjny BPB — liczbę bitów na bajt tekstu. Tokenowy perplexity wymaga tej samej polityki tekstu i tokenizera. Przedziały bootstrapowe dla przykładów nie zastępują niezależnych seedów treningowych.
Planowanie testu od danego rozmiaru jest hipotezą harmonogramu, nie odkrytym progiem zdolności. Wymienienie benchmarku nie oznacza, że jego import, prawa użycia i przegląd danych są już domknięte.
Publiczne repo, deterministyczny scoring i częściowe porównanie Polish micro: Koliber oraz Pollock na tych samych parach. To pomiar agreement, z jawnymi ograniczeniami.
Zobacz rzeczywiste pomiary ↗Pełne baterie, wyniki na kolejnych szczeblach, kalibracja szumu i zgodność rankingów. Częściowe pomiary nie dowodzą, że drabinka już wybiera najlepszą recepturę.
Stan implementacji i braki ↗Obserwacja źródeł: 5 października 2026. Ta strona opisuje proces i aktualny zakres dowodów, nie monitoruje aktywnych jobów GPU.