Fabryka.API

Fabryka · Przewodniki badawczeAPI zweryfikowane · 15 listopada 2026

Log-prawdopodobieństwa z pełnego słownika

Więcej niż odpowiedź.
Rozkład,
z którego można się uczyć.

Zapytaj Bielika o każdy możliwy następny token i jego prawdopodobieństwo. Ten bogatszy sygnał pozwala wytrenować model-ucznia, badać niepewność modelu i mierzyć zmiany w jego zachowaniu.

Dostępność · stan na 15 listopada 2026Tryb pełnego słownika działa już dla Bielika: 32 128 prawdopodobieństw tokenów na każdą pozycję. Do poniższego przykładu z pełnym rozkładem użyj Bielika.

Pobierz pełny rozkład →Destylacja krok po kroku

  • 32 128tokenów w słowniku Bielika
  • JSON + SSEPełne pokrycie, sprawdzane po ID tokenu

Tryb pełnego słownika dla Bielika jest dostępny przez uwierzytelnione API czatu: logprobs: true i top_logprobs: -1.

01 / Użyteczna różnica

Alternatywy niosą informację.

Odpowiedź tekstowa mówi, który token został wygenerowany. Rozkład prawdopodobieństwa pokazuje też, które alternatywy model uznał za prawdopodobne. Uczeń może uczyć się na względnych preferencjach nauczyciela, zamiast dostawać jako cel tylko jeden wybrany token.

NAUCZYCIEL TYLKO TEKSTOWY

Jedna kontynuacja

Trenujesz na wygenerowanej odpowiedzi zwykłym uczeniem nadzorowanym. Po przefiltrowaniu danych sprawdza się także przy różnych tokenizerach.

NAUCZYCIEL Z PEŁNYM ROZKŁADEM

Każda alternatywa

Trenujesz względem docelowego rozkładu prawdopodobieństwa na każdej dostępnej pozycji. Bezpośrednia destylacja na poziomie tokenów wymaga zgodnych znaczeń tokenów w słowniku i zgodnych ID.

logprob to logarytm naturalny prawdopodobieństwa: p = exp(logprob). Na przykład −0.693 to w przybliżeniu 50%. Tryb pełny obejmuje także ogon rozkładu, którego brakuje w odpowiedzi top-5 czy top-20.

02 / Interaktywne wyjaśnienie

Zobacz, czego może nauczyć się uczeń.

W tym małym, fikcyjnym słowniku nauczyciel preferuje A, ale zostawia miejsce dla B i C. Zwiększ temperaturę destylacji, aby nadać alternatywom większą wagę.

POGLĄDOWO · SŁOWNIK Z TRZECH TOKENÓWBez wywołania API
TokenTwardy celMiękki cel nauczyciela
A
100%
70,0%
B
0%
20,0%
C
0%
10,0%

A: 70,0% · B: 20,0% · C: 10,0%Entropia (w natach) 0,802

To przykład dydaktyczny, a nie pomiar z Bielika. Suwak zmienia wagi zapisanego rozkładu według softmax(logp / T); nie zmienia temperatury generowania w API.

03 / Zastosowania

Co możesz z tym zbudować.

01

Destyluj mniejszy model

Użyj serwowanego modelu jako nauczyciela dla ucznia o zgodnym słowniku. Połącz miękkie cele z danymi zadaniowymi, a następnie porównaj jakość, opóźnienie i zużycie pamięci z pierwotną wersją ucznia.

02

Wybierz przykłady do przeglądu

Oblicz entropię lub różnicę między czołowymi tokenami, aby oznaczyć niejednoznaczne predykcje następnego tokenu. Każdy próg przeglądu zweryfikuj na własnych oznaczonych danych: pewność co do tokenu nie oznacza poprawności merytorycznej.

03

Mierz dryf zachowania

Porównuj rozkłady z dopasowanych do siebie modeli lub wariantów checkpointów na identycznych kontekstach tokenów. Może to ujawnić zmiany ukryte za identycznym wygenerowanym tekstem, w tym przesunięcia po kwantyzacji.

04

Badaj swoje dane treningowe

Analizuj masę prawdopodobieństwa, rzadkie alternatywy i rozbieżności z uczniem. Używaj tych sygnałów do ustalania priorytetów eksperymentów; sama entropia nie przesądza, że przykład jest użyteczny lub poprawny.

04 / Zacznij od jednej pozycji

Pobierz prawdopodobieństwa wszystkich kandydatów na następny token.

Wygeneruj klucz API i zapisz go w zmiennej FABRYKA_API_KEY. Poniższą treść zapisz jako request.json.

REQUEST.JSON
{
  "model": "bielik-11b-v3.1",
  "messages": [{"role": "user", "content": "Stolica Polski to"}],
  "max_tokens": 1,
  "temperature": 0,
  "logprobs": true,
  "top_logprobs": -1
}
SHELL · ZAPISZ ODPOWIEDŹ
curl --fail-with-body --silent --show-error \
  https://fabryka.ai/v1/chat/completions \
  -H "Authorization: Bearer $FABRYKA_API_KEY" \
  -H "Content-Type: application/json" \
  --data-binary @request.json \
  -o teacher.json

max_tokens: 1 zwraca rozkład dla następnej generowanej pozycji po prompcie, który serwer formatuje szablonem czatu. Przy maksymalnie 8 pozycjach każdy kolejny wiersz jest warunkowany tokenami, które nauczyciel faktycznie wygenerował wcześniej.

OpcjaCo otrzymujesz
logprobs: trueLogarytmy prawdopodobieństw wygenerowanych tokenów.
top_logprobs: 5Pięć alternatyw na pozycję; obsługiwane są wartości 0–20.
top_logprobs: -1Pełny słownik, łącznie z tokenami specjalnymi, tylko dla bielik-11b-v3.1. Wymaga max_tokens od 1 do 8.
stream: trueRozkłady odczytujesz z fragmentów SSE, także z tych bez delty tekstu.

W odpowiedzi JSON odczytaj choices[0].logprobs.content. Każda pozycja zawiera wygenerowane id, token, bytes, logprob oraz listę top_logprobs. W trybie pełnym ta lista zawiera każdy token ze słownika. Obiekt nadrzędny podaje full_vocabulary: true i vocab_size.

Alternatywy są uporządkowane według prawdopodobieństwa, w kolejności zwróconej przez backend. Zawsze indeksuj po id, a nie po pozycji na liście ani po zdekodowanym tekście. API odrzuca niepełne słowniki, zduplikowane ID i nieprawidłowe wartości. Otwórz dokumentację API →

05 / Artefakt nauczyciela wielokrotnego użytku

Zamień odpowiedź w tensor.

Skrypt eksportujący do pobrania sprawdza pełne pokrycie i zapisuje tablicę float32 o kształcie [generated_positions, vocabulary_size]. Kolumna j zawsze odpowiada tokenowi nauczyciela o ID j. Skrypt zapisuje też w osobnym pliku JSON żądanie, ID wygenerowanych tokenów i metadane odpowiedzi.

SHELL · EKSPORT LOKALNY
python -m pip install numpy
curl --fail --silent --show-error \
  https://fabryka.ai/examples/export_logprobs.py -o export_logprobs.py
python export_logprobs.py teacher.json --request request.json --out teacher
  1. 01 · ZbierzPrompt + rozkład nauczyciela
  2. 02 · DopasujID tokenów + identyczny kontekst
  3. 03 · TrenujStrata ucznia + dane zadaniowe
  4. 04 · OceńJakość na danych odłożonych + koszt serwowania

Pojedynczy gęsty wektor float32 zajmuje około 0,12 MiB dla Bielika. JSON zwracany przez API jest znacznie większy, bo zawiera ciągi znaków tokenów, bajty i ID. Milion pozycji Bielika wymagałby około 120 GiB na same wartości float32. Zanim zwiększysz skalę, sprawdź w pilotażu budżet na zbieranie i przechowywanie danych.

Wraz z eksperymentem zapisz dokładny checkpoint nauczyciela, rewizję tokenizera, szablon czatu, kwantyzację i ustawienia generowania. Publiczny identyfikator modelu i system_fingerprint to przydatne etykiety, ale nie przypinają niezmiennego checkpointu. Przed zbieraniem danych, w którym liczy się odtwarzalność, poproś o dokładną konfigurację serwowania.

06 / Przepis na destylację

Trenuj na preferencjach nauczyciela.

Dla ucznia o tej samej semantyce słownika i tych samych ID tokenów minimalizuj KL(p_teacher || p_student) na dopasowanych pozycjach. Oba rozkłady możesz wygładzić temperaturą T, a cel destylacyjny połączyć z nadzorowaną entropią krzyżową na celach zadaniowych. Proporcje tej mieszanki dobierz na odłożonym zbiorze walidacyjnym.

Najpierw dopasowanieRówna wielkość słowników nie wystarcza. Użyj dokładnego mapowania tokenizera i tego samego stokenizowanego kontekstu, łącznie z szablonem czatu, tokenami systemowymi i ustawieniami trybu myślenia. Ten sam numer ID w słownikach różnych modeli oznacza zwykle inny token.

Poniższa funkcja przyjmuje dwa tensory o kształcie [valid_positions, vocabulary_size]. Przed jej wywołaniem usuń padding i nieocenione pozycje promptu. Funkcja normalizuje zapisane logprobs nauczyciela i zachowuje gradienty tylko po stronie ucznia.

PYTORCH · FUNKCJA STRATY DESTYLACJI
import torch
import torch.nn.functional as F


def distillation_loss(student_logits, teacher_logprobs, temperature=2.0):
    if temperature <= 0:
        raise ValueError('temperature must be positive')
    if student_logits.ndim != 2 or student_logits.shape != teacher_logprobs.shape:
        raise ValueError('Inputs must have matching [valid_positions, vocabulary] shapes')
    if student_logits.shape[0] == 0:
        raise ValueError('At least one valid position is required')
    teacher = teacher_logprobs.detach().to(device=student_logits.device, dtype=torch.float32)
    log_p_teacher = F.log_softmax(teacher / temperature, dim=-1)
    log_p_student = F.log_softmax(student_logits.float() / temperature, dim=-1)
    return F.kl_div(
        log_p_student, log_p_teacher,
        reduction='batchmean', log_target=True,
    ) * temperature ** 2

Pobierz funkcję straty → To cel treningowy, a nie kompletny skrypt treningowy. Dla pierwszej wygenerowanej pozycji użyj logitów ucznia z ostatniej pozycji dla identycznego prefiksu wejścia nauczyciela. Dla dalszych pozycji warunkuj ucznia poprzedzającymi ID tokenów nauczyciela i wybierz odpowiadające im logity następnego tokenu.

Pełne logprobs wystarczą, by zmienić temperaturę destylacji offline: log_softmax(logp_teacher / T) znosi pierwotną stałą normalizującą. Parametr temperature w API steruje generowaniem i jest niezależny od temperatury T używanej podczas treningu. Nadal obowiązują ograniczenia natywnej precyzji zmiennoprzecinkowej.

Jeśli uczeń używa innego tokenizera, zacznij od przefiltrowanego tekstu wygenerowanego przez nauczyciela i nadzorowanego treningu na sekwencjach albo zaimplementuj i zweryfikuj jawną metodę dopasowania między tokenizerami. Nie stosuj KL element po elemencie bezpośrednio między wektorami o różnych słownikach.

Porównuj ucznia z jego własnym punktem odniesienia na odłożonych zadaniach. Destylacja może przenosić zachowanie nauczyciela, także jego błędy; dostęp do pełnego rozkładu nie gwarantuje, że mniejszy model dorówna nauczycielowi lub go przewyższy. Metoda miękkich celów opiera się na pracy Hinton, Vinyals & Dean; implementacja funkcji straty stosuje konwencję KL opisaną w dokumentacji PyTorch.

07 / Wiedz, co zbierasz

Pełny słownik. Określony zakres.

Tylko wygenerowane pozycje
Ten endpoint nie zwraca logprobs promptu, prawdopodobieństw dowolnego tekstu referencyjnego ani ocen w trybie teacher forcing dla podanej kontynuacji. Dopisanie tekstu jako kolejnej wiadomości czatu zmienia kontekst; to nie jest API do dokładnego oceniania kontynuacji.
Do 8 pozycji na żądanie w trybie pełnym
Jawny limit ogranicza rozmiar bardzo dużych odpowiedzi. Wyższe wartości są odrzucane przed naliczeniem opłat. Zacznij od jednej pozycji na prompt; tryb pełny jest obsługiwany zarówno w JSON, jak i w SSE.
Prawdopodobieństwa, nie surowe logity
W trybie pełnym API zwraca logarytmy naturalne prawdopodobieństw sprzed filtrów próbkowania. Nie udostępnia stanów ukrytych, gradientów ani surowych wyników sprzed softmaksu. Do treningu ponownie znormalizuj wartości w natywnej precyzji.
Wybierz Bielika
Użyj bielik-11b-v3.1. Rozkład pochodzi z serwowanej konfiguracji modelu (AWQ 4-bit), a nie z oryginalnych wag w pełnej precyzji.
Zaplanuj zbieranie danych i ewaluację
Obowiązuje zwykłe uwierzytelnianie i rozliczanie za tokeny. Zapisuj odpowiedzi lokalnie; przewodnik nie trenuje ani nie przechowuje za ciebie zbioru danych. Dokumentuj pochodzenie danych, a z danych i wyników modeli korzystaj zgodnie z obowiązującymi je warunkami.

Poznaj API

08 / Dalsza lektura

Metoda i źródła.

Pełne pokrycie słownika zweryfikowano przez fabryka.ai dla Bielika, w JSON i SSE, 15 listopada 2026. To weryfikacja działania API, a nie benchmark jakości destylacji.