Przegląd bezpieczeństwa kodu pisanego przez AI

Co może pójść nie tak i co z tym robimy.

1. ✕1. Niebezpieczne ustawienie domyślne przechodzi przegląd jako zwykły kod✓Co zostaje u was: kroki odtworzenia dla każdego ustalenia, waga z uzasadnieniem oraz poprawka sprawdzona na waszej gałęzi

   Co się dzieje

   Asystenci często proponują najpopularniejszy wzorzec, a najpopularniejszy wzorzec bywa najmniej ostrożny: zapytania sklejane ze stringów, weryfikacja podpisu wyłączona, żeby test przeszedł, sekrety czytane ze środowiska prosto do linii logu. Kompiluje się, testy przechodzą, a recenzent czyta to jak zwykły kod, bo wygląda zwyczajnie.

   Co z tym robimy

   Modelujemy powierzchnię ataku, której asystent faktycznie dotknął: obsługę wejścia, ścieżki uwierzytelniania, przepływ sekretów. Nie skanujemy całego repozytorium po równo. Każde ustalenie odtwarzamy na działającej instancji, zanim je zgłosimy, więc dostajecie ścieżkę ataku zamiast ostrzeżenia.

2. ✕2. Nie ma incydentu, z którego można się uczyć, bo nikt go nie publikuje✓Co zostaje u was: lista znanych typów błędów sprawdzonych w waszym kodzie, z werdyktem i kontrolą przy każdym

   Co się dzieje

   Zespoły rzadko publikują incydenty spowodowane przez agenta kodującego: stoją za tym NDA i wstyd. Ryzyko bywa więc kalibrowane na podstawie materiałów dostawców zamiast na podstawie tego, co naprawdę się psuje. Udokumentowane przypadki zbieramy w przewodniku z katalogiem incydentów bezpieczeństwa kodu pisanego przez AI.

   Co z tym robimy

   Pracujemy na udokumentowanych przypadkach zamiast na wyczuciu: opublikowanych incydentach, ujawnionych podatnościach i konkretnych klasach błędów za nimi. Każdą klasę nakładamy na waszą technologię z odpowiedzią tak albo nie, czy może się zdarzyć u was. Te, które mogą, zamieniamy w kontrole.

3. ✕3. Raport starzeje się szybciej, niż zespół go przerobi✓Co zostaje u was: kontrole wpięte w wasz pipeline, z celowo padającym testem, który dowodzi, że każda z nich działa

   Co się dzieje

   Jednorazowy audyt opisuje repozytorium z dnia, w którym zostało przeczytane. Z asystentami w pętli to samo repozytorium wygląda inaczej po trzech tygodniach, więc raport starzeje się szybciej, niż zespół jest w stanie go przerobić. Ustalenia zostają naprawione, wzorzec, który je wyprodukował, zostaje.

   Co z tym robimy

   Naprawiamy całą klasę problemu: dla każdego ustalenia znajdujemy, co je przepuściło. Potem dokładamy kontrolę, która następnym razem zatrzyma taką zmianę. Kontrolę sprawdzamy, wypychając zmianę, która powinna ją uruchomić.