Telemetria i analityka produktu
23Minds wdraża pomiary i raporty pokazujące, jak użytkownicy korzystają z funkcji AI: zdarzenia, dashboardy i powiadomienia, na których produkt, inżynieria i zarząd patrzą na ten sam obraz.
Pakiet wejściowyTaksonomia zdarzeń AI i dashboardyod 17 000 PLN1 produkt · do 3 tygodni od ustalenia zakresuCo zawieraWidzicie, gdzie użytkownicy rezygnują z funkcji AI
Czy funkcja AI jest używana, gdzie użytkownicy rezygnują, jak wypadają kolejne wersje promptu: każde pytanie dostaje zdarzenie i wykres.
Trzy grupy odbiorców, trzy dashboardy
Produkt, inżynieria i zarząd widzą te same dane na poziomie szczegółu, jakiego każde z nich potrzebuje.
Alerty z instrukcją postępowania
W zakresie projektu: co się uruchamia, kto dostaje powiadomienie i co ma zrobić, spisane przed pierwszym alertem.
23Minds projektuje i wdraża telemetrię produktową dla produktów z AI.
Rozwiń podsumowanie
Usługa przekłada pytania o produkt (czy funkcja AI jest naprawdę używana, czy użytkownicy rezygnują na kroku z AI, jak wypadają kolejne wersje promptu) na zdarzenia, dashboardy i powiadomienia. Porównanie wersji z przychodem wymaga danych o przychodzie albo eksperymentu; wtedy wchodzi w zakres. Wynik to taksonomia zdarzeń, rejestrowanie zdarzeń w warstwie web albo backendu (mobilna w projekcie), dashboardy dla produktu, inżynierii i zarządu oraz plan tego, co mierzyć dalej. Pakiet wejściowy obejmuje jeden produkt, jedną warstwę i trzy dashboardy; zasady alertów i kwartalne przeglądy są w zakresie projektu.
Dowody, które możecie sprawdzić.
- Zdarzenia specyficzne dla AI
Schemat zdarzeń obejmuje wysłanie promptu oraz wyświetlenie, przyjęcie, odrzucenie i ponowne wygenerowanie odpowiedzi.
- Wersja przy każdym zdarzeniu
Każde zdarzenie zawiera wersję promptu i modelu, więc zmianę da się powiązać z wynikiem.
- Cena ustalona przed startem
Taksonomia zdarzeń, instrumentacja jednej warstwy i trzy dashboardy; cena stała po ustaleniu zakresu, trzy tygodnie od jego zatwierdzenia.
- Kwartalny przegląd w stałej współpracy
To, co mierzycie, zmienia się razem z produktem, zamiast zamarznąć w dniu startu.
Proces, faza po fazie.
Sposoby rozpoczęcia współpracy, od bezpłatnego do pełnego projektu.
Każda usługa ma bezpłatny pierwszy krok, pakiet wejściowy z pisemnym rezultatem i ceną podaną tutaj oraz pełny projekt albo stałą współpracę, wyceniane po rozmowie wstępnej. Po ustaleniu zakresu cena jest stała, bez ukrytych kosztów.
- 1Krok 1 · Bezpłatnie
Rozmowa wstępna z inżynierem
do 60 minut · z inżynierem · bez zobowiązań
BezpłatniePorozmawiajcie z inżynieremPokaż szczegóły
- Rozmowa wstępna z inżynierem, a jeśli wolicie zacząć sami: samoocena online
- Pisemne podsumowanie rozmowy z propozycją następnego kroku w ciągu jednego dnia roboczego
- Bez zobowiązań i bez prezentacji sprzedażowej
- Polecany2Krok 2 · Pakiet wejściowy
Taksonomia zdarzeń AI i dashboardy
1 produkt · do 3 tygodni od ustalenia zakresu
od 17 000 PLN nettoCena stała po ustaleniu zakresu na rozmowie wstępnej, bez ukrytych kosztów; dopłaty tylko za pozycje z listy Poza zakresem.
Zapytajcie o ten pakietPokaż szczegóły
- Taksonomia zdarzeń AI dla jednego produktu
- Instrumentacja w jednej warstwie: web albo backend
- Trzy dashboardy: produktowy, inżynierski, zarządczy
- Sesja przekazania
- Poza zakresem: Instrumentacja mobilna, migracja danych historycznych, licencje narzędzia analitycznego, kwartalny rytm przeglądów.
- 3Krok 3 · Projekt albo stała współpraca
Pełny zakres, wycena po rozmowie wstępnej
Zakres ustalony po rozmowie · praca w etapach · osobna wycena każdego etapu
od 12 000 PLN netto miesięcznie, wycena po rozmowie wstępnejPorozmawiajcie o projekciePokaż szczegóły
- Instrumentacja całego stosu, także mobilna
- Zasady alertów
- Kwartalny rytm przeglądów
Problemy, które rozwiązuje ta usługa.
- Zespół wypuszcza funkcje AI bez danych o tym, co użytkownicy z nimi robią
- Obecna analityka liczy odsłony, a pomija momenty typowe dla AI: edycję promptu, przyjęcie albo odrzucenie odpowiedzi, ponowne generowanie
- Każdy zespół ma własny dashboard z innymi liczbami, więc zarząd nie ufa żadnemu
Pokaż pozostałe problemy (1)
- Alerty uruchamiają się na rzeczy, które nikogo nie obchodzą, a prawdziwe problemy przechodzą niezauważone
- Szefowie produktu, którym brakuje danych o tym, czy funkcja AI pomaga użytkownikom
- Zespoły wzrostu, które testują wersje promptów albo etapowe wdrożenia funkcji AI
- Menedżerowie inżynierii, którzy wprowadzają dane do decyzji produktowych
- Założyciele produktów opartych na AI bez własnego zespołu analitycznego
Co może pójść nie tak i co z tym robimy.
1. Trzy zespoły, trzy definicje tego samego słowaCo zostaje u was: słownik wskaźników z definicją, zapytaniem i osobą odpowiedzialną za każdą liczbę
Co się dziejeProdukt liczy aktywnego użytkownika w jeden sposób, inżynieria w drugi, a zarząd czyta trzecią liczbę ze slajdu. Spotkania schodzą na uzgadnianiu liczb zamiast na decyzjach.
Co z tym robimyNajpierw uzgadniamy definicje i zapisujemy je obok zapytania, które daje każdą liczbę, żeby liczba i jej znaczenie podróżowały razem. Gdy dwie definicje są równie uzasadnione, zostawiamy obie pod różnymi nazwami, zamiast po cichu wybierać zwycięzcę.
2. Zdarzenia nazwane przez tego, kto je dodałCo zostaje u was: schemat zdarzeń z konwencją, wykonana migracja oraz lista wycofanych zdarzeń
Co się dziejeKolejne zmiany kodu dodają zdarzenia bez wspólnych zasad. Po sześciu miesiącach to samo zdarzenie znaczy coś trochę innego, właściwość zmieniła nazwę, a na pytanie obejmujące dwa kwartały nie da się odpowiedzieć bez zastrzeżenia, o którym nikt nie pamięta.
Co z tym robimyUstalamy konwencję nazewnictwa, migrujemy zdarzenia warte zachowania i kasujemy te, o które nikt nie pytał. Zmiana znaczenia zdarzenia dostaje nową nazwę zamiast cichej edycji, żeby historia pozostała porównywalna.
3. Wszystko jest mierzone i nic nie jest obserwowaneCo zostaje u was: alerty na wskaźnikach istotnych dla decyzji, z osobami odpowiedzialnymi, oraz krótsza lista dashboardów, które przetrwały
Co się dziejeDashboardów przybywa, bo zbudowanie jednego jest łatwe, a usuwanie nie ma właściciela. W zwykły dzień nikt ich nie otwiera, więc regresję wykrywa klient, który napisze do wsparcia, czyli dokładnie w momencie, któremu dane miały zapobiec.
Co z tym robimyKilka liczb, które zmieniłyby decyzję, zamieniamy w alerty z progami i osobą odpowiedzialną, a dashboardy, które istnieją tylko dlatego, że ktoś kiedyś o nie poprosił, archiwizujemy.
Rezultaty, które zostają u was.
- Taksonomia zdarzeń z momentami typowymi dla AI: prompt wysłany, odpowiedź wyświetlona, przyjęta, odrzucona, wygenerowana ponownie
- Rejestrowanie zdarzeń w warstwie web albo backendu (mobilna w zakresie projektu), z wersją promptu i modelu przy każdym zdarzeniu
- Trzy dashboardy: produkt (kondycja funkcji), inżynieria (kondycja systemu), zarząd (wskaźniki biznesowe)
- W zakresie projektu: zasady alertów, czyli co się uruchamia, kto dostaje powiadomienie, co mówi instrukcja postępowania
- Kwartalny przegląd tego, co mierzycie, w miarę jak produkt się zmienia (w stałej współpracy)
Pytania przed rozpoczęciem współpracy.
Porozmawiajmy o AI w waszej firmie.
Napiszcie, na jakim etapie jesteście. Temat: Telemetria i analityka produktu. Odpowiedź w ciągu jednego dnia roboczego.