LLM Observability
LLM Observability pomaga ustalić, gdzie w systemie opartym na modelach językowych powstają błędy odpowiedzi, opóźnienia i koszty oraz czy zmiany promptów poprawiają jakość. Tracing, procesy ewaluacji i wykrywanie dryfu, dla systemów działających i tuż przed startem.
Pakiet wejściowyPakiet startowy LLM Observabilityod 22 000 PLN1 aplikacja · do 4 tygodni od ustalenia zakresuCo zawieraPrzebieg agenta od początku do końca
Tracing sesji, tur, kroków, wywołań narzędzi i podagentów: dane wywołania przy każdym wywołaniu modelu, dane zbiorcze przy krokach i sesjach.
Regresje złapane przed scaleniem
Procesy ewaluacji oceniają każdą zmianę promptu albo modelu wobec waszych zestawów testowych w CI.
Alerty o pogorszeniu jakości
Wykrywanie dryfu jakości, opóźnienia i kosztu wpięte w wasz stos observability, istniejący albo wybrany z nami.
23Minds wdraża observability modeli językowych w systemach, które działają na produkcji albo są przed startem.
Rozwiń podsumowanie
Usługa wdraża tracing na elementach, które system naprawdę ma: w pakiecie startowym na poziomie żądań, a w projekcie także na sesjach, turach, krokach, wywołaniach narzędzi i podagentach. Buduje procesy ewaluacji, które oceniają nowe wersje promptów i modeli na waszych zestawach testowych, a gdy zestawu nie ma, buduje go od zera. Ustawia wykrywanie dryfu i wpina sygnały w wasz stos observability, istniejący albo dobrany z wami. Zestaw testowy zostaje u was jako bramka w CI i monitor produkcji, a w stałej współpracy jest utrzymywany i rozszerzany po każdej zmianie modelu albo promptu. Podstawa to OpenTelemetry tam, gdzie się da; obsługiwane narzędzia: Datadog, Honeycomb, Grafana, Langfuse, Arize, Helicone, Braintrust, LangSmith, W&B Weave, Confident AI, Galileo.
Dowody, które możecie sprawdzić.
- OpenTelemetry i dane w przenośnej formie
Ślady i zestawy testowe zostają w przenośnej formie w waszym repozytorium; dashboardy i alerty konfigurujemy w wybranym narzędziu.
- Zestaw testowy w pakiecie startowym
Do 100 przypadków, jeden dashboard jakości i kosztu oraz runbook dla dyżuru, w cztery tygodnie od zatwierdzenia zakresu.
- Zestaw testowy staje się bramką w CI
Wyniki testów decydują o dopuszczeniu zmiany, a te same kryteria z osobno ustawionymi progami uruchamiają alerty na produkcji.
- Stała współpraca w trzech poziomach
Essential, Standard, Advanced: od miesięcznego raportu regresji po ustalony czas reakcji na krytyczne regresje. Dyżur i obsługa incydentów zostają po waszej stronie albo do osobnego uzgodnienia.
Proces, faza po fazie.
Sposoby rozpoczęcia współpracy, od bezpłatnego do pełnego projektu.
Każda usługa ma bezpłatny pierwszy krok, pakiet wejściowy z pisemnym rezultatem i ceną podaną tutaj oraz pełny projekt albo stałą współpracę, wyceniane po rozmowie wstępnej. Po ustaleniu zakresu cena jest stała, bez ukrytych kosztów.
- 1Krok 1 · Bezpłatnie
Rozmowa wstępna z inżynierem
do 60 minut · z inżynierem · bez zobowiązań
BezpłatniePorozmawiajcie z inżynieremPokaż szczegóły
- Rozmowa wstępna z inżynierem, a jeśli wolicie zacząć sami: samoocena online
- Pisemne podsumowanie rozmowy z propozycją następnego kroku w ciągu jednego dnia roboczego
- Bez zobowiązań i bez prezentacji sprzedażowej
- Polecany2Krok 2 · Pakiet wejściowy
Pakiet startowy LLM Observability
1 aplikacja · do 4 tygodni od ustalenia zakresu
od 22 000 PLN nettoCena stała po ustaleniu zakresu na rozmowie wstępnej, bez ukrytych kosztów; dopłaty tylko za pozycje z listy Poza zakresem.
Zapytajcie o ten pakietPokaż szczegóły
- Tracing na poziomie żądań jednej aplikacji z modelem językowym: prompt, odpowiedź, opóźnienie, koszt, wersja
- Jeden zestaw testowy do 100 przypadków
- Jeden dashboard jakości i kosztu
- Runbook dla dyżuru
- Poza zakresem: Koszty licencji platformy observability, stała współpraca przy ciągłej ewaluacji, instrumentacja kolejnych aplikacji, dyżur po naszej stronie.
- 3Krok 3 · Projekt albo stała współpraca
Pełny zakres, wycena po rozmowie wstępnej
Zakres ustalony po rozmowie · praca w etapach · osobna wycena każdego etapu
od 6 500 PLN netto miesięcznie, wycena po rozmowie wstępnejPorozmawiajcie o projekciePokaż szczegóły
- Stała współpraca przy ciągłej ewaluacji w trzech poziomach; dyżur do osobnego uzgodnienia
- Essential od 6 500 PLN, Standard 14 000, Advanced 28 000 miesięcznie
- Miesięczny raport regresji i alerty w waszym kanale
Problemy, które rozwiązuje ta usługa.
- Przebieg agenta pada i nikt nie umie odtworzyć, który krok, wywołanie narzędzia albo podagent go zepsuł
- Zmiany promptów i modeli wchodzą bez pomiaru; regresje jakości są niewidoczne
- Audyt dał kiedyś dobry zestaw testowy, który zestarzał się w tygodniu zmiany modelu
Pokaż pozostałe problemy (2)
- Opóźnienie P99 podwaja się z dnia na dzień i nikt nie umie wskazać przyczyny
- Dostawca zwraca złą odpowiedź, a nie ma logu żądania, od którego dałoby się zacząć debugowanie
- Zespoły inżynierskie, których funkcje oparte na modelach działają na ślepo, bez wglądu w to, co się dzieje
- Zespoły z agentami wielokrokowymi, którym logi nie pozwalają wskazać, w którym wywołaniu narzędzia powstał błąd
- Szefowie produktu, którzy potrzebują porównania jakości kolejnych wersji promptów
- Zespoły SRE, które odpowiadają za aplikacje korzystające z modeli na dyżurze
- Liderzy inżynierii AI, którzy chcą rozwijać prompty na podstawie wyników ewaluacji
Co może pójść nie tak i co z tym robimy.
1. Tracing zbudowany pod żądania, nie pod przebiegiCo zostaje u was: tracing elementów agenta (w zakresie projektu) oraz jedna prawdziwa nieudana interakcja prześledzona od początku do końca jako dowód, że działa
Co się dziejeGdy instrumentacja nie łączy wywołań w jeden przebieg, ślad wraca jako płaska lista żądań bez rodzica. Przebieg agenta to sesja, która obejmuje tury, kroki, wywołania narzędzi i podagentów. Gdy odpowiedź jest zła albo rachunek skacze, trudno wskazać krok, który to spowodował, bo struktura, która by to pokazała, nigdy nie została zapisana.
Co z tym robimyInstrumentujemy elementy, które system naprawdę ma: sesję, turę, krok, wywołanie narzędzia, podagenta. Do każdego dopinamy koszt, opóźnienie, wersję modelu i wersję promptu. Potem odtwarzamy prawdziwą złą odpowiedź przez ślad, żeby udowodnić, że struktura nadaje się do użytku.
2. Model zmienia się pod spodem i nic o tym nie mówiCo zostaje u was: identyfikator modelu w śladzie każdej odpowiedzi oraz przetestowany alert, który uruchamia się przy rozbieżności
Co się dziejeAlias dostawcy zachowuje nazwę, a to, na co wskazuje, się przesuwa. Jakość dryfuje bez wdrożenia, więc zespół szuka błędu we własnej zmianie. Dryf ma dwie postacie: dryf wyniku, gdy odpowiedź jest gorsza, ale wywołanie działa, oraz dryf wykonania, gdy model zaczyna robić coś zupełnie innego. Testy na zestawie testowym wykrywają zmianę jakości, a zapis wersji modelu pozwala ustalić jej przyczynę; bez tego zapisu zespół szuka winy w sobie.
Co z tym robimyUruchamiamy testy na zestawie testowym w rytmie, który wykrywa zmianę jakości bez wdrożenia. Logujemy dokładną wersję modelu zwróconą w każdej odpowiedzi i alarmujemy, gdy różni się od zamówionej. Przypinamy wersję tam, gdzie dostawca na to pozwala, a tam, gdzie nie pozwala, kontrolą jest alert i test.
3. Brak pomiaru jakości odpowiedzi na dashboardzieCo zostaje u was: wskaźniki jakości zdefiniowane razem z progami, na tym samym widoku co koszt i opóźnienie
Co się dziejeLiczbę tokenów, liczbę żądań i opóźnienie łatwo zebrać, więc to one trafiają na ekran. Jakość odpowiedzi trudno zebrać, więc jej na tablicy nie ma. Efekt to zielony dashboard obok kolejki wsparcia, która mówi co innego, a te dwie rzeczy nigdy się nie spotykają.
Co z tym robimyStawiamy sygnał jakości na tej samej tablicy co wolumen: próbkowaną ocenę według waszych kryteriów, udział odmów i odpowiedzi zapasowych oraz udział sesji, w których musiał wkroczyć człowiek. Jeśli liczby nie da się zdefiniować na tyle dobrze, żeby ustawić dla niej próg alertu, nie trafia na tablicę.
Rezultaty, które zostają u was.
- Tracing elementów systemu (w pakiecie: żądania; w projekcie także sesje, tury, kroki, wywołania narzędzi, podagenci) z promptem, odpowiedzią, opóźnieniem, kosztem i wersją przy każdym wywołaniu modelu oraz danymi zbiorczymi przy krokach i sesjach
- Proces ewaluacji na waszych zestawach testowych i alerty o regresji wpięte w CI
- Zestaw testowy (istniejący albo zbudowany od zera) przekazany jako bramka scalania w CI i monitor produkcji na tych samych kryteriach, z procedurą rozszerzania po każdej zmianie modelu albo promptu
- Wykrywanie dryfu na wyjściach: dryf znaczeniowy, dryf opóźnienia, dryf kosztu
- Dashboardy: jakość dla każdej funkcji, koszt dla każdej funkcji, zachowania użytkowników
- Runbooki dla zespołu dyżurnego: od alertu przez ślad do kroku, który zawiódł, z listą pytań do sprawdzenia w tej kolejności
Pytania przed rozpoczęciem współpracy.
Porozmawiajmy o AI w waszej firmie.
Napiszcie, na jakim etapie jesteście. Temat: LLM Observability. Odpowiedź w ciągu jednego dnia roboczego.