Budowa oprogramowania z AI

Co może pójść nie tak i co z tym robimy.

1. ✕1. Prototyp wchodzi na produkcję, ślad przeglądu nie✓Co zostaje u was: repozytorium, w którym przy każdej scalonej zmianie są jej ticket, specyfikacja i zapisane wyniki przeglądów

   Co się dzieje

   Prototyp zbudowany z promptami dochodzi do demo w kilka dni. Kod napisał asystent, specyfikacji nikt nie spisał, testów nie ma. Pierwszy incydent na produkcji trafia do inżyniera, który tego kodu nigdy nie czytał. Na forach inżynierskich to pytanie wraca w tej samej postaci: nowy projekt jest prawie w całości wygenerowany i nikt nie wie, jak przejąć jego utrzymanie.

   Co z tym robimy

   Każda zmiana zaczyna się od ticketu i pisemnej specyfikacji, zanim powstanie kod. To, co napisał agent, przechodzi automatyczne kontrole i przeglądy wykonywane przez dwa modele z różnych rodzin, z tym samym progiem dla kodu pisanego przez AI i przez człowieka. Zmiany w migracjach i danych, uwierzytelnianiu i uprawnieniach, płatnościach oraz integracjach z waszymi systemami czyta też inżynier. Ślad przeglądu zostaje w repozytorium.

2. ✕2. Agent dokłada gałęzie do tego, co widzi✓Co zostaje u was: pomiar duplikacji i ponownego użycia kodu na starcie i po każdej fazie oraz plik kontekstowy repozytorium, który wasz zespół utrzymuje dalej sam

   Co się dzieje

   Agent zna tylko pliki, które ma w kontekście. Gdy trafia na istniejącą strukturę, dobudowuje do niej kolejną gałąź zamiast ją uporządkować. Każda dobudówka zwiększa szansę na następną. GitClear w raporcie "The Maintainability Gap" (623 mln zmienionych linii, 2023-2026) zmierzył skutek: udział kodu refaktorowanego spadł z 21% do 3,8%, a udział kopiuj-wklej wzrósł z 9,4% do 15,7%. Żadna pojedyncza zmiana nie wygląda źle w dniu scalenia.

   Co z tym robimy

   Utrzymujemy repozytorium czytelne dla agenta i dla człowieka: pliki kontekstowe, układ katalogów, który da się odgadnąć, testy uruchamiane jedną komendą, granice modułów widoczne bez czytania całości. Duplikację i ponowne użycie kodu mierzymy na starcie i po każdej fazie. Refaktoryzacja dostaje osobny ticket z własnym budżetem, zamiast czekać na wolną chwilę.

3. ✕3. Instrukcja dla agenta jest tylko sugestią✓Co zostaje u was: lista reguł z podziałem na egzekwowane narzędziowo i egzekwowane promptem, z nazwanym mechanizmem wymuszenia przy każdej

   Co się dzieje

   Reguła zapisana w prompcie albo w pliku kontekstowym trzyma się przy krótkim zadaniu i słabnie przy długim łańcuchu kroków. Gdy walidacja nie przechodzi, agent równie chętnie poprawi walidację jak kod, bo z jego perspektywy jedno i drugie zamyka zadanie. Wniosek z prowadzenia agentów na co dzień: reguły muszą działać tam, gdzie agent nie może ich zmienić.

   Co z tym robimy

   Reguły, które mają obowiązywać, umieszczamy poza zasięgiem agenta: w bramkach CI uruchamianych w osobnym środowisku, w ochronie gałęzi, w przeglądzie człowieka. Sprawdzamy to, próbując obejść każdą regułę tak, jak zrobiłby to agent. Przy każdej zapisujemy, co ją egzekwuje.