# Protokół porównania modeli i odbioru pilotażu

> Materiał roboczy Fabryka AI, 29.09.2026. Do dostosowania przez urząd i przeglądu przez IOD oraz obsługę prawną. Nie jest opinią prawną ani potwierdzeniem zgodności.


1. Wskaż zastosowanie, właściciela, dozwolone dane i użytkowników. Ustal zakres testu i wyłączenia.
2. Zbierz 100 rzeczywistych pytań: typowe, trudne, niejednoznaczne, bez podstawy w źródłach, o nieaktualne dokumenty i próby wyjścia poza zakres. Oznacz kategorie. Usuń dane osobowe, których nie potrzeba do testu.
3. Każde pytanie otrzymuje oczekiwaną odpowiedź lub oczekiwaną odmowę, identyfikator źródła, wersję dokumentu oraz zatwierdzenie pracownika urzędu.
4. Przed eksperymentem ustal progi: poprawność [ ], wierność źródłom [ ], prawidłowe odmowy [ ], dopuszczalne błędy krytyczne [ ], czas p95 [ ], koszt [ ]. Nie uzupełniaj progów po obejrzeniu wyników.
5. Oddziel pytania do strojenia od oceny końcowej; zablokuj końcowy zestaw przed dostrajaniem. Jeżeli poprawiasz system na podstawie błędów końcowych, oznacz ponowny pomiar jako test po poprawkach, nie niezależny wynik.
6. Porównuj konkretne wersje PLLuM i Bielika: rewizja, licencja, kwantyzacja, prompt, parametry generacji, wyszukiwarka, korpus i sprzęt zapisane w manifeście. Te same pytania, źródła i warunki oceny. Wyraźnie pokaż różnice sprzętowe.
7. Rejestruj odpowiedzi, źródła, błędy, brak odpowiedzi, opóźnienie i koszt. Błędy techniczne nie mogą znikać z mianownika wyników. Ocenę merytoryczną zatwierdzają wskazani pracownicy; sporne przypadki rozstrzyga osoba [ ].
8. Raport obejmuje wyniki dla każdej kategorii, ograniczenia, błędy krytyczne oraz rekomendację: uruchomienie / poprawki / rezygnacja. Podaj liczebności, nie tylko procenty. Brak zwycięzcy jest dopuszczalnym wynikiem.
9. Odbiór pilotażu oznacza wykonanie uzgodnionego zakresu i przekazanie materiałów; uruchomienie produkcyjne jest odrębną decyzją. Zasady rozliczenia nieosiągniętych progów ustala umowa.
10. Po wdrożeniu powtarzaj pomiar kwartalnie i po istotnych zmianach. Publikacja pytań lub wyników identyfikujących urząd wymaga osobnych uzgodnień.