Ewaluacja jakości działającej AI
23Minds ewaluuje AI, która działa w waszym produkcie albo procesie, albo jest tuż przed wydaniem: jakość odpowiedzi, zgodność ze źródłami, skuteczność agenta i to, czy krok z AI naprawdę skraca proces. Ocena według kryteriów uzgodnionych z wami.
Pakiet wejściowy w stałej cenieEwaluacja jakości: 1 rozwiązanie AI30 000 PLN1 rozwiązanie AI (funkcja LLM albo agent) · do 4 tygodni od ustalenia zakresuCo zawieraWyniki według uzgodnionych kryteriów
Każdy przypadek z waszego ruchu oceniony według kryteriów, które zatwierdziła osoba odpowiedzialna za wynik biznesowy.
Przyczyny powtarzających się błędów
Raport grupuje to, co idzie źle, z odtworzeniem i zaleceniem naprawy dla każdego wzorca.
Zestaw ewaluacyjny zostaje wasz
Przekazany jako bramka w CI, więc każda zmiana promptu albo modelu jest oceniana tak samo.
23Minds ewaluuje jakość rozwiązań AI, które działają albo są przed wydaniem: funkcji opartych na modelach językowych w produkcie, odpowiedzi opartych na wyszukiwaniu w dokumentach (RAG) i procesów z agentami, które biegną bez nadzoru człowieka.
Rozwiń podsumowanie
Ewaluacja dotyczy rozwiązań, których zespół 23Minds nie budował. 23Minds sprawdza rozwiązanie na zestawie testowym zbudowanym z waszych przypadków, według kryteriów uzgodnionych z osobą odpowiedzialną za wynik biznesowy. Raport pokazuje wyniki, błędy wpływające na wynik i zalecane poprawki dla każdego powtarzającego się wzorca. Zestaw i kryteria zostają u was, wpięte w CI jako bramka jakości, która wykrywa regresję w sprawdzanych przypadkach przy następnej zmianie modelu, promptu albo dostawcy. Usługa nie zależy od narzędzia: działa na waszym stosie ewaluacyjnym albo pomaga go wybrać.
Dowody, które możecie sprawdzić.
- Kryteria uzgodnione z osobą odpowiedzialną za wynik
Poprawność, zgodność odpowiedzi ze źródłami, wykonanie zadania, format, koszt i opóźnienie, z wagami od osoby, która odpowiada za efekt.
- Około 150 przypadków z waszego ruchu w pakiecie
Zbudowane z waszego ruchu i przypadków brzegowych, w waszych narzędziach, po zleceniu wasze.
- Sędzia z innej rodziny modeli, sprawdzony przez ludzi
Model oceniający nie jest modelem ocenianym, a jego trafność sprawdzamy na próbce ocenionej przez ludzi i podajemy zgodność.
- Stała cena za funkcję albo agenta
Jedna funkcja oparta na modelu językowym albo jeden proces z agentem, cztery tygodnie od zatwierdzenia zakresu.
Proces, faza po fazie.
Sposoby rozpoczęcia współpracy, od bezpłatnego do pełnego projektu.
Każda usługa ma bezpłatny pierwszy krok, pakiet wejściowy z pisemnym rezultatem i ceną podaną tutaj oraz pełny projekt albo stałą współpracę, wyceniane po rozmowie wstępnej. Po ustaleniu zakresu cena jest stała, bez ukrytych kosztów.
- 1Krok 1 · Bezpłatnie
Rozmowa wstępna z inżynierem
do 60 minut · z inżynierem · bez zobowiązań
BezpłatniePorozmawiajcie z inżynieremPokaż szczegóły
- Rozmowa wstępna z inżynierem, a jeśli wolicie zacząć sami: samoocena online
- Pisemne podsumowanie rozmowy z propozycją następnego kroku w ciągu jednego dnia roboczego
- Bez zobowiązań i bez prezentacji sprzedażowej
- Polecany2Krok 2 · Stała cena
Ewaluacja jakości: 1 rozwiązanie AI
1 rozwiązanie AI (funkcja LLM albo agent) · do 4 tygodni od ustalenia zakresu
30 000 PLN nettoStała cena, bez ukrytych kosztów; dopłaty tylko za pozycje z listy Poza zakresem.
Zapytajcie o ten pakietPokaż szczegóły
- Kryteria oceny uzgodnione z wami dla jednej funkcji albo agenta
- Zestaw ewaluacyjny około 150 przypadków testowych
- Ocena bazowa obecnego systemu
- Zestaw wpięty jako bramka w waszym CI
- Poza zakresem: Naprawa systemu, przebudowa promptów i wyszukiwania, budowa funkcji AI, masowe oznaczanie przez ludzi, stała współpraca przy ciągłej ewaluacji, licencje narzędzi.
- 3Krok 3 · Projekt albo stała współpraca
Pełny zakres, wycena po rozmowie wstępnej
Zakres ustalony po rozmowie · praca w etapach · osobna wycena każdego etapu
od 60 000 PLN netto, wycena po rozmowie wstępnejPorozmawiajcie o projekciePokaż szczegóły
- Ewaluacja kilku funkcji albo agentów
- Stała współpraca przy ciągłej ewaluacji
- Sprawdzenie regresji po każdej zmianie modelu albo promptu
Problemy, które rozwiązuje ta usługa.
- Funkcja oparta na modelu językowym działa, a jedynym sygnałem jakości jest skarga albo zgłoszenie do wsparcia
- Odpowiedzi RAG czytają się płynnie, ale nikt nie sprawdził, czy są zgodne z właściwym dokumentem źródłowym
- Procesy z agentami raportują sukces, a człowiek po cichu kończy zadanie i nikt nie liczy, jak często
Pokaż pozostałe problemy (2)
- Zmiana promptu albo modelu wchodzi na produkcję, a regresję odkrywają użytkownicy, zanim zauważy ją zespół
- Zespół wziął darmowe narzędzie do ewaluacji i stanął na dwóch rzeczach: budowie zestawu testowego i uzgodnieniu, co znaczy dobrze
- Zespoły produktowe, które wdrożyły funkcję opartą na modelu językowym i nie mają jak sprawdzić, czy odpowiedzi są naprawdę dobre
- Firmy z wewnętrznym asystentem AI, którego użycie stoi w miejscu i nikt nie mierzy, czy komuś pomaga
- Zespoły przed zmianą modelu, sposobu budowania promptów albo dostawcy, które boją się regresji, której nikt nie zauważy
- Szefowie operacji i usług wspólnych, którzy wstawili krok z AI do procesu i muszą udowodnić, że proces się skrócił, a nie przeniósł pracę na kogoś innego
- Szefowie inżynierii, danych i wsparcia, którzy zaczęli od darmowego narzędzia do ewaluacji, mają ślady wywołań i stanęli na zestawie testowym
Co może pójść nie tak i co z tym robimy.
1. Sędzia zgadza się sam ze sobąCo zostaje u was: stopień zgodności między sędzią a oceniającymi ludźmi, oznaczona próbka oraz kryteria, które ten wynik dały
Co się dziejeModel z tej samej rodziny ocenia odpowiedzi, które wyprodukował inny model. Model oceniający może przeoczyć te same błędy co model oceniany, więc wynik wraca uspokajający, choć błędy zostały. Taki układ jest najtańszy do zbudowania, dlatego często zostaje domyślnym.
Co z tym robimyKalibrujemy sędziego wobec ocen ludzi na próbce, zanim zaufamy pojedynczej liczbie. Podajemy stopień zgodności. Gdy zgodność jest słaba, analizujemy rozbieżności, zanim wybierzemy poprawkę: kryteria, sędzia albo oceny ludzi. Kryteriów, których ludzie nie umieją stosować spójnie, nie da się nazwać pomiarem.
2. Wszyscy patrzą na wynik i nazywają to ewaluacjąCo zostaje u was: zamrożony zestaw ewaluacyjny z waszego ruchu, z oczekiwanymi wynikami i wynikami bazowymi
Co się dziejeZmiana wchodzi, bo wyglądała lepiej na kilku promptach, które ktoś wpisał ręcznie. Nie ma odłożonego zestawu, więc następna zmiana jest oceniana na innej nieformalnej próbce i nikt nie umie powiedzieć, czy jakość się ruszyła.
Co z tym robimyBudujemy zestaw przypadków z waszego prawdziwego ruchu, razem z tym, co się nie udało. Zamrażamy go, żeby kolejne wersje dało się porównać. Każdy przypadek ma oczekiwany wynik i osobę, która o nim zdecydowała.
3. Proces raportuje sukces, a człowiek po cichu kończy zadanieCo zostaje u was: udział zadań ukończonych od początku do końca z policzonymi interwencjami, w podziale na krok i ścieżkę użytkownika
Co się dziejeKrok z agentem oznacza się jako wykonany, a człowiek po cichu poprawia wynik dalej w procesie. Dashboard pokazuje wysoki udział ukończeń, bo nikt nie liczy poprawek. Zmierzona poprawa jest prawdziwa dla narzędzia i niewidoczna dla firmy.
Co z tym robimyMierzymy tam, gdzie praca faktycznie się kończy, a nie tam, gdzie kończy ją agent. Zaplanowane przekazania do człowieka liczymy osobno; interwencje wymuszone błędem liczymy jako porażki kroku, który ich wymagał.
Rezultaty, które zostają u was.
- Zestaw ewaluacyjny zbudowany z waszego ruchu i przypadków brzegowych, w waszych narzędziach, po zleceniu wasz
- Kryteria oceny z wagami wymiarów (poprawność, zgodność ze źródłami, wykonanie zadania, format i ton, koszt i opóźnienie), uzgodnione z osobą odpowiedzialną za wynik biznesowy
- Karta wyników bazowych: każdy przypadek oceniony, wyniki w podziale na wymiar, ścieżkę użytkownika oraz wersję modelu albo promptu
- Raport wzorców błędów z odtworzeniem, przyczyną i zaleceniem naprawy dla każdego wzorca (samą naprawę robi wasz zespół albo osobne zlecenie)
- Bramka jakości w CI: zestaw ewaluacyjny jako blokująca kontrola przy zmianach promptu, modelu, wyszukiwania i dostawcy
- W zakresie projektu: odczyt skuteczności procesu (gdzie krok z AI skraca proces, a gdzie przenosi pracę na człowieka) oraz rekomendacja narzędzia z porównaniem kosztu własnego hostingu i SaaS przy waszej skali
Pytania przed rozpoczęciem współpracy.
Porozmawiajmy o AI w waszej firmie.
Napiszcie, na jakim etapie jesteście. Temat: Ewaluacja jakości działającej AI. Odpowiedź w ciągu jednego dnia roboczego.