04 - Utrzymanie i pomiary

Utrzymanie, pomiary i optymalizacja

Utrzymanie systemów AI pomaga wykrywać spadki jakości odpowiedzi, wyjaśniać wzrost kosztów i przygotowywać migracje modeli. Obejmuje observability, telemetrię, audyt kosztów i bieżące utrzymanie aplikacji korzystających z modeli.

Porozmawiajcie z inżynierem Zobaczcie praktyki

W skrócie

23Minds utrzymuje AI na produkcji dla zespołów, które chcą kontrolować jakość odpowiedzi, koszty i migracje modeli, gdy zmieniają się dane, ruch i dostawcy. Obszar obejmuje LLM Observability (tracing, procesy ewaluacji, wykrywanie dryfu), telemetrię i analitykę produktów z AI (wskaźniki jakości, kosztów i czasu odpowiedzi oraz powiadomienia o przekroczeniu progów), audyt kosztów i doboru modeli oraz bieżące utrzymanie aplikacji korzystających z modeli. Audyt kosztów porównuje ceny modeli z rzeczywistym zużyciem i wymaganą jakością odpowiedzi: cache promptów, dobór tańszych modeli tam, gdzie testy potwierdzają jakość, kompresja promptów. Raport z optymalizacji porównuje koszty i jakość odpowiedzi przed zmianami i po nich. Punktem wyjścia są cenniki dostawców (stan na 25.09.2026). W Anthropic odczyt z cache promptów kosztuje 0,1 podstawowej ceny tokenów wejściowych, a zapis na pięć minut 1,25 tej ceny. OpenAI nalicza za tokeny z cache w modelach GPT-5.6 i nowszych także 0,1 ceny tokenów wejściowych, a Google w Gemini API podaje dla bieżących modeli 10% tej ceny. Kalendarz utrzymania wyznaczają wycofania modeli: Anthropic ogłasza je co najmniej 60 dni przed wyłączeniem modelu udostępnionego publicznie, OpenAI co najmniej 6 miesięcy przed wyłączeniem modelu ogólnie dostępnego.

Dla kogo

Dla kogo są usługi z tego obszaru.

Zespoły inżynierskie z funkcjami opartymi na modelach językowych na produkcji i nieprzewidywalnymi kosztami
Szefowie produktu, którzy nie umieją powiedzieć, czy funkcja AI naprawdę działa dla użytkowników
Dyrektorzy finansowi, którzy pytają, dlaczego rachunek za modele językowe ciągle rośnie
Zespoły DevOps i SRE, które odpowiadają za aplikacje korzystające z modeli na dyżurze

Z czym przychodzą zespoły

Problemy, które rozwiązują praktyki z tego obszaru.

Wydatki na modele językowe rosną szybciej niż ruch i nikt nie umie powiedzieć dlaczego
Nie ma sygnału, czy zmiany promptów poprawiły produkt, czy go popsuły
Dostawca wycofał model, a zespół nie ma planu migracji
Skarg klientów na jakość AI nie da się powiązać z konkretnym zachowaniem systemu na produkcji

Praktyki w tym obszarze

Praktyki, pakiety i ceny wejścia: Utrzymanie i pomiary.

01LLM ObservabilityTracing, procesy ewaluacji i wykrywanie dryfu: prześledzicie wywołania modeli i znajdziecie źródła błędów, opóźnień i kosztów.Pakiet wejściowyod 22 000 PLNPakiet startowy LLM Observability · do 4 tygodni od ustalenia zakresu 02Telemetria i analityka produktuPomiar tego, jak użytkownicy korzystają z funkcji AI: gdzie rezygnują, czy wracają, która wersja działa lepiej. Dashboardy dla produktu, inżynierii i zarządu.Pakiet wejściowyod 17 000 PLNTaksonomia zdarzeń AI i dashboardy · do 3 tygodni od ustalenia zakresu 03Optymalizacja kosztów modeli językowychAudyt kosztów modeli językowych wskazuje źródła wydatków i zmiany, które mogą je obniżyć: cache promptów, dobór modeli, kompresja promptów. Raport porównuje koszty i jakość przed zmianami i po nich.Pakiet wejściowy18 000 PLNAudyt kosztów modeli językowych · do 3 tygodni od ustalenia zakresu 04Utrzymanie aplikacjiOpieka nad funkcjami AI w waszej aplikacji: migracje modeli, testy jakości odpowiedzi po zmianach, aktualizacje zależności. Ogólne SRE tylko tam, gdzie styka się z AI.Pakiet wejściowyod 11 000 PLNPakiet przejęcia utrzymania · do 2 tygodni od ustalenia zakresu

FAQ

Pytania przed rozpoczęciem współpracy.

Tyle, ile wyjdzie z pomiaru u was; nie obiecujemy procentu z góry. Oszczędności biorą się z czterech mechanizmów: wyższego udziału trafień w cache promptów, doboru tańszych modeli do zadań, w których testy potwierdzają wymaganą jakość, kompresji promptów i usunięcia zbędnych ponowień. Pakiet audytu kończy się pisemnym raportem ze zmierzonym efektem trzech wdrożonych zmian. W Anthropic i w najnowszych modelach OpenAI odczyt z cache kosztuje jedną dziesiątą podstawowej ceny tokenów wejściowych.

Opartego na OpenTelemetry tam, gdzie się da. Integrujemy się z Datadog, Honeycomb, Grafaną, PostHogiem i narzędziami do observability modeli językowych (Langfuse, Arize, Helicone), zależnie od tego, co już macie. Konwencje semantyczne OpenTelemetry dla generatywnej AI od wersji semconv 1.42.0 (12.06.2026) mają osobne repozytorium i nadal status Development, więc nazwy atrybutów mogą się zmieniać między wydaniami.

Porównujemy odpowiedzi przed zmianą promptu i po niej na tym samym zestawie testowym, według kryteriów zaprojektowanych pod wasz produkt. Gdy wskaźnik, który ma znaczenie, spada, uruchamia się alert o regresji. Jakość odpowiedzi modelu może się zmienić, nawet gdy nie zmieniacie aplikacji: Chen, Zaharia i Zou zmierzyli, że skuteczność GPT-4 w rozpoznawaniu liczb pierwszych spadła z 84% w marcu 2023 do 51% w czerwcu 2023.

Tak. Migracja między wersjami modelu albo między dostawcami to standardowe zlecenie utrzymaniowe: ponownie ustalamy punkt odniesienia w ewaluacji, uruchamiamy testy regresji, dostosowujemy prompty do nowego modelu i porównujemy jakość odpowiedzi oraz czas ich uzyskania przed migracją i po niej. Zasady dostawców: Anthropic ogłasza wycofanie modelu udostępnionego publicznie co najmniej 60 dni przed jego wyłączeniem. OpenAI daje co najmniej 6 miesięcy dla modeli ogólnie dostępnych i co najmniej 3 miesiące dla wariantów wyspecjalizowanych, a Google podaje daty wyłączenia jako najwcześniejsze możliwe. W praktyce Anthropic wycofał między październikiem 2025 a sierpniem 2026 dziewięć wersji modeli w sześciu terminach, z wyprzedzeniem od 60 do 189 dni.

Oba warianty. Stała współpraca pasuje zespołom z funkcjami AI, które ciągle pracują na produkcji. Zlecenia o stałym zakresie (migracja dostawcy, audyt kosztów, konfiguracja ewaluacji) pasują zespołom z konkretną potrzebą.

Źródła

Skąd pochodzą daty i liczby.

Porozmawiajmy o AI w waszej firmie.

Napiszcie, na jakim etapie jesteście. Temat: Utrzymanie i pomiary. Odpowiedź w ciągu jednego dnia roboczego.

Porozmawiajcie z inżynierem

Szczecin - ul. Wawrzyniaka 6WWarszawaZielona GóraKraków