Fabryka · OperacjeOkna kroczące · UTC
Publiczny stan usługi
Stan usługi.
Mierzony publicznie.
Jak naprawdę kończyły się wykonania w API: skuteczność, porażki i czas, dla każdego modelu i każdej godziny. Odczytane z własnych zapisów bramy inference, nie z sondy testowej i nie z obietnicy.
Pobieramy pomiary z bramy…
06 · Metoda
Jak mierzymy.
- Wykonanie
- Zapytanie, które brama przyjęła i przekazała modelowi. Każde zostawia zapis tego, jak się skończyło i ile trwało, nigdy jego treść.
- Skuteczność
- Zakończone wykonania spośród zakończonych i nieudanych. Przerwane przez klienta liczymy osobno; bez wykonań nie ma skuteczności.
- Czas
- Od przyjęcia do ostatniego bajtu odpowiedzi, razem ze strumieniowaniem, dla zakończonych wykonań. Rośnie z długością odpowiedzi; to nie jest czas do pierwszego tokenu.
- Czego nie widać
- Nie ma sond syntetycznych, więc cicha godzina nic nie mówi. Odmowy przed generacją i kody HTTP, które dostali klienci, nie są zapisywane. Brama przelicza pomiary najwyżej co 30 sekund; czas pomiaru jest podany pod banerem.