Fabryka · Przewodniki badawczeAPI zweryfikowane · 15 listopada 2026
Log-prawdopodobieństwa z pełnego słownika
Więcej niż odpowiedź.
Rozkład,
z którego można się uczyć.
Zapytaj Bielika o każdy możliwy następny token i jego prawdopodobieństwo. Ten bogatszy sygnał pozwala wytrenować model-ucznia, badać niepewność modelu i mierzyć zmiany w jego zachowaniu.
Pobierz pełny rozkład →Destylacja krok po kroku
- 32 128tokenów w słowniku Bielika
- JSON + SSEPełne pokrycie, sprawdzane po ID tokenu
Tryb pełnego słownika dla Bielika jest dostępny przez uwierzytelnione API czatu: logprobs: true i top_logprobs: -1.
01 / Użyteczna różnica
Alternatywy niosą informację.
Odpowiedź tekstowa mówi, który token został wygenerowany. Rozkład prawdopodobieństwa pokazuje też, które alternatywy model uznał za prawdopodobne. Uczeń może uczyć się na względnych preferencjach nauczyciela, zamiast dostawać jako cel tylko jeden wybrany token.
NAUCZYCIEL TYLKO TEKSTOWY
Jedna kontynuacja
Trenujesz na wygenerowanej odpowiedzi zwykłym uczeniem nadzorowanym. Po przefiltrowaniu danych sprawdza się także przy różnych tokenizerach.
NAUCZYCIEL Z PEŁNYM ROZKŁADEM
Każda alternatywa
Trenujesz względem docelowego rozkładu prawdopodobieństwa na każdej dostępnej pozycji. Bezpośrednia destylacja na poziomie tokenów wymaga zgodnych znaczeń tokenów w słowniku i zgodnych ID.
logprob to logarytm naturalny prawdopodobieństwa: p = exp(logprob). Na przykład −0.693 to w przybliżeniu 50%. Tryb pełny obejmuje także ogon rozkładu, którego brakuje w odpowiedzi top-5 czy top-20.
02 / Interaktywne wyjaśnienie
Zobacz, czego może nauczyć się uczeń.
W tym małym, fikcyjnym słowniku nauczyciel preferuje A, ale zostawia miejsce dla B i C. Zwiększ temperaturę destylacji, aby nadać alternatywom większą wagę.
| Token | Twardy cel | Miękki cel nauczyciela |
|---|---|---|
| A | ||
| B | ||
| C |
A: 70,0% · B: 20,0% · C: 10,0%Entropia (w natach) 0,802
To przykład dydaktyczny, a nie pomiar z Bielika. Suwak zmienia wagi zapisanego rozkładu według softmax(logp / T); nie zmienia temperatury generowania w API.
03 / Zastosowania
Co możesz z tym zbudować.
01
Destyluj mniejszy model
Użyj serwowanego modelu jako nauczyciela dla ucznia o zgodnym słowniku. Połącz miękkie cele z danymi zadaniowymi, a następnie porównaj jakość, opóźnienie i zużycie pamięci z pierwotną wersją ucznia.
02
Wybierz przykłady do przeglądu
Oblicz entropię lub różnicę między czołowymi tokenami, aby oznaczyć niejednoznaczne predykcje następnego tokenu. Każdy próg przeglądu zweryfikuj na własnych oznaczonych danych: pewność co do tokenu nie oznacza poprawności merytorycznej.
03
Mierz dryf zachowania
Porównuj rozkłady z dopasowanych do siebie modeli lub wariantów checkpointów na identycznych kontekstach tokenów. Może to ujawnić zmiany ukryte za identycznym wygenerowanym tekstem, w tym przesunięcia po kwantyzacji.
04
Badaj swoje dane treningowe
Analizuj masę prawdopodobieństwa, rzadkie alternatywy i rozbieżności z uczniem. Używaj tych sygnałów do ustalania priorytetów eksperymentów; sama entropia nie przesądza, że przykład jest użyteczny lub poprawny.
04 / Zacznij od jednej pozycji
Pobierz prawdopodobieństwa wszystkich kandydatów na następny token.
Wygeneruj klucz API i zapisz go w zmiennej FABRYKA_API_KEY. Poniższą treść zapisz jako request.json.
{
"model": "bielik-11b-v3.1",
"messages": [{"role": "user", "content": "Stolica Polski to"}],
"max_tokens": 1,
"temperature": 0,
"logprobs": true,
"top_logprobs": -1
}curl --fail-with-body --silent --show-error \
https://fabryka.ai/v1/chat/completions \
-H "Authorization: Bearer $FABRYKA_API_KEY" \
-H "Content-Type: application/json" \
--data-binary @request.json \
-o teacher.jsonmax_tokens: 1 zwraca rozkład dla następnej generowanej pozycji po prompcie, który serwer formatuje szablonem czatu. Przy maksymalnie 8 pozycjach każdy kolejny wiersz jest warunkowany tokenami, które nauczyciel faktycznie wygenerował wcześniej.
| Opcja | Co otrzymujesz |
|---|---|
logprobs: true | Logarytmy prawdopodobieństw wygenerowanych tokenów. |
top_logprobs: 5 | Pięć alternatyw na pozycję; obsługiwane są wartości 0–20. |
top_logprobs: -1 | Pełny słownik, łącznie z tokenami specjalnymi, tylko dla bielik-11b-v3.1. Wymaga max_tokens od 1 do 8. |
stream: true | Rozkłady odczytujesz z fragmentów SSE, także z tych bez delty tekstu. |
W odpowiedzi JSON odczytaj choices[0].logprobs.content. Każda pozycja zawiera wygenerowane id, token, bytes, logprob oraz listę top_logprobs. W trybie pełnym ta lista zawiera każdy token ze słownika. Obiekt nadrzędny podaje full_vocabulary: true i vocab_size.
Alternatywy są uporządkowane według prawdopodobieństwa, w kolejności zwróconej przez backend. Zawsze indeksuj po id, a nie po pozycji na liście ani po zdekodowanym tekście. API odrzuca niepełne słowniki, zduplikowane ID i nieprawidłowe wartości. Otwórz dokumentację API →
05 / Artefakt nauczyciela wielokrotnego użytku
Zamień odpowiedź w tensor.
Skrypt eksportujący do pobrania sprawdza pełne pokrycie i zapisuje tablicę float32 o kształcie [generated_positions, vocabulary_size]. Kolumna j zawsze odpowiada tokenowi nauczyciela o ID j. Skrypt zapisuje też w osobnym pliku JSON żądanie, ID wygenerowanych tokenów i metadane odpowiedzi.
python -m pip install numpy
curl --fail --silent --show-error \
https://fabryka.ai/examples/export_logprobs.py -o export_logprobs.py
python export_logprobs.py teacher.json --request request.json --out teacher- 01 · ZbierzPrompt + rozkład nauczyciela
- 02 · DopasujID tokenów + identyczny kontekst
- 03 · TrenujStrata ucznia + dane zadaniowe
- 04 · OceńJakość na danych odłożonych + koszt serwowania
Pojedynczy gęsty wektor float32 zajmuje około 0,12 MiB dla Bielika. JSON zwracany przez API jest znacznie większy, bo zawiera ciągi znaków tokenów, bajty i ID. Milion pozycji Bielika wymagałby około 120 GiB na same wartości float32. Zanim zwiększysz skalę, sprawdź w pilotażu budżet na zbieranie i przechowywanie danych.
Wraz z eksperymentem zapisz dokładny checkpoint nauczyciela, rewizję tokenizera, szablon czatu, kwantyzację i ustawienia generowania. Publiczny identyfikator modelu i system_fingerprint to przydatne etykiety, ale nie przypinają niezmiennego checkpointu. Przed zbieraniem danych, w którym liczy się odtwarzalność, poproś o dokładną konfigurację serwowania.
06 / Przepis na destylację
Trenuj na preferencjach nauczyciela.
Dla ucznia o tej samej semantyce słownika i tych samych ID tokenów minimalizuj KL(p_teacher || p_student) na dopasowanych pozycjach. Oba rozkłady możesz wygładzić temperaturą T, a cel destylacyjny połączyć z nadzorowaną entropią krzyżową na celach zadaniowych. Proporcje tej mieszanki dobierz na odłożonym zbiorze walidacyjnym.
Poniższa funkcja przyjmuje dwa tensory o kształcie [valid_positions, vocabulary_size]. Przed jej wywołaniem usuń padding i nieocenione pozycje promptu. Funkcja normalizuje zapisane logprobs nauczyciela i zachowuje gradienty tylko po stronie ucznia.
import torch
import torch.nn.functional as F
def distillation_loss(student_logits, teacher_logprobs, temperature=2.0):
if temperature <= 0:
raise ValueError('temperature must be positive')
if student_logits.ndim != 2 or student_logits.shape != teacher_logprobs.shape:
raise ValueError('Inputs must have matching [valid_positions, vocabulary] shapes')
if student_logits.shape[0] == 0:
raise ValueError('At least one valid position is required')
teacher = teacher_logprobs.detach().to(device=student_logits.device, dtype=torch.float32)
log_p_teacher = F.log_softmax(teacher / temperature, dim=-1)
log_p_student = F.log_softmax(student_logits.float() / temperature, dim=-1)
return F.kl_div(
log_p_student, log_p_teacher,
reduction='batchmean', log_target=True,
) * temperature ** 2Pobierz funkcję straty → To cel treningowy, a nie kompletny skrypt treningowy. Dla pierwszej wygenerowanej pozycji użyj logitów ucznia z ostatniej pozycji dla identycznego prefiksu wejścia nauczyciela. Dla dalszych pozycji warunkuj ucznia poprzedzającymi ID tokenów nauczyciela i wybierz odpowiadające im logity następnego tokenu.
Pełne logprobs wystarczą, by zmienić temperaturę destylacji offline: log_softmax(logp_teacher / T) znosi pierwotną stałą normalizującą. Parametr temperature w API steruje generowaniem i jest niezależny od temperatury T używanej podczas treningu. Nadal obowiązują ograniczenia natywnej precyzji zmiennoprzecinkowej.
Jeśli uczeń używa innego tokenizera, zacznij od przefiltrowanego tekstu wygenerowanego przez nauczyciela i nadzorowanego treningu na sekwencjach albo zaimplementuj i zweryfikuj jawną metodę dopasowania między tokenizerami. Nie stosuj KL element po elemencie bezpośrednio między wektorami o różnych słownikach.
Porównuj ucznia z jego własnym punktem odniesienia na odłożonych zadaniach. Destylacja może przenosić zachowanie nauczyciela, także jego błędy; dostęp do pełnego rozkładu nie gwarantuje, że mniejszy model dorówna nauczycielowi lub go przewyższy. Metoda miękkich celów opiera się na pracy Hinton, Vinyals & Dean; implementacja funkcji straty stosuje konwencję KL opisaną w dokumentacji PyTorch.
07 / Wiedz, co zbierasz
Pełny słownik. Określony zakres.
- Tylko wygenerowane pozycje
- Ten endpoint nie zwraca logprobs promptu, prawdopodobieństw dowolnego tekstu referencyjnego ani ocen w trybie teacher forcing dla podanej kontynuacji. Dopisanie tekstu jako kolejnej wiadomości czatu zmienia kontekst; to nie jest API do dokładnego oceniania kontynuacji.
- Do 8 pozycji na żądanie w trybie pełnym
- Jawny limit ogranicza rozmiar bardzo dużych odpowiedzi. Wyższe wartości są odrzucane przed naliczeniem opłat. Zacznij od jednej pozycji na prompt; tryb pełny jest obsługiwany zarówno w JSON, jak i w SSE.
- Prawdopodobieństwa, nie surowe logity
- W trybie pełnym API zwraca logarytmy naturalne prawdopodobieństw sprzed filtrów próbkowania. Nie udostępnia stanów ukrytych, gradientów ani surowych wyników sprzed softmaksu. Do treningu ponownie znormalizuj wartości w natywnej precyzji.
- Wybierz Bielika
- Użyj
bielik-11b-v3.1. Rozkład pochodzi z serwowanej konfiguracji modelu (AWQ 4-bit), a nie z oryginalnych wag w pełnej precyzji. - Zaplanuj zbieranie danych i ewaluację
- Obowiązuje zwykłe uwierzytelnianie i rozliczanie za tokeny. Zapisuj odpowiedzi lokalnie; przewodnik nie trenuje ani nie przechowuje za ciebie zbioru danych. Dokumentuj pochodzenie danych, a z danych i wyników modeli korzystaj zgodnie z obowiązującymi je warunkami.
08 / Dalsza lektura
Metoda i źródła.
- Hinton, Vinyals & Dean — Distilling the Knowledge in a Neural Network (2015)Miękkie cele i destylacja z temperaturą.
- PyTorch — torch.nn.functional.kl_divCele w przestrzeni logarytmicznej, redukcja i kolejność argumentów.
- vLLM — serwer zgodny z OpenAISemantyka prawdopodobieństw i próbkowania w backendzie.
- Dokumentacja API FabrykiAktualny schemat żądań i uwierzytelnianie.
Pełne pokrycie słownika zweryfikowano przez fabryka.ai dla Bielika, w JSON i SSE, 15 listopada 2026. To weryfikacja działania API, a nie benchmark jakości destylacji.