Testy penetracyjne z AI: co systemy autonomiczne naprawdę dziś dają

Testy penetracyjne z AI to największa obietnica branży: agent, który przejmuje cały test w pełni autonomicznie. Sprawdziliśmy te ambicje samodzielnie, na dostępnych systemach w pełni autonomicznych i na własnej lokalnej inferencji. Bilans jest trzeźwiejszy niż reklamy, ale znacznie bardziej użyteczny.

Krótko: enumeracja i częściowa eksploatacja działają już dobrze. W pełni autonomiczne systemy są natomiast niespójne i zawodne. Potencjał leży we wspomaganiu pentestów i automatyzacji pojedynczych, małych podzadań.

Systemy autonomiczne poddane próbie

Przetestowaliśmy Strix i PentAGI, dwie dostępne implementacje autonomicznych agentów pentestowych.

Strix znajduje luki w kodzie i na serwerach WWW, ale znajdowanie nie oznacza niezawodności ani powtarzalności. Interfejs użytkownika nie jest gotowy do produkcji: zawiera błędy, zawiesza się przy nieoczekiwanych odpowiedziach modelu, a jako jedyny wynik zwraca plik Markdown bez ustalonej struktury. Raport z badania staje się zbiorem tekstu, który i tak porządkuje człowiek.

PentAGI sprawia powierzchownie bardziej dojrzałe wrażenie i organizuje zadania wyraźnie lepiej niż Strix. W praktyce przepływy częściowo pauzują, gdy mają działać w tle, a wyniki pozostają niespójne. Agenci często robią więcej niż bieżące zadanie, przez co dużo pracy wykonują wielokrotnie. Najbardziej krytyczne są wyjścia poza zakres: momentami testowano inne adresy IP i porty niż zadane. Co w laboratorium jest nieefektywnością, u klienta jest problemem umownym. Pentest bez dyscypliny zakresu nie jest pentestem.

Wniosek: wspomagane, nie autonomiczne

Wartość pentestu to rozliczalność, trzymanie się zakresu i wiarygodna ocena. Właśnie tych trzech rzeczy autonomiczni agenci dziś nie spełniają. Model potrafi natomiast pracować niezawodnie tam, gdzie podzadania są powtarzalne: porządkowanie powierzchni ataku, zawężanie fragmentów kodu, wstępne redagowanie surowych tekstów raportu, urozmaicanie list haseł i testów fuzzingowych. Tester pozostaje decydentem, model mnożnikiem.

Lokalna inferencja zamiast API w chmurze

Kto wysyła dane z pentestu przez API w chmurze, oddaje zewnętrzemu dostawcy powierzchnie ataku, ustalenia i detale architektury. Większość klientów słusznie tego nie chce. Dlatego prowadzimy inferencję lokalnie.

Wybór sprzętu padł na NVIDIA RTX PRO 6000 (Blackwell): 96 GB pamięci GDDR7, sprzętowe wsparcie NVFP4 dla modeli kwantyzowanych oraz CUDA jako ekosystem oprogramowania, który AMD nadal wyraźnie ustępuje. Karta jest dostępna jako pojedyncza karta PCIe, w przeciwieństwie do akceleratorów datacenter jak B200. Rezygnacja z NVLINK jest dla naszych przepływów akceptowalna. Rozważaliśmy alternatywy: RTX PRO 5000 Blackwell z nieco mniejszą mocą i pamięcią, H100 NVL i H200 NVL z większą przepustowością pamięci i NVLINK, ale starszej generacji i droższe, AMD Radeon AI PRO R9700 znacznie tańszą, lecz z wyraźnie mniej VRAM i gorszym wsparciem oprogramowania, oraz GB10 z dzieloną, znacznie wolniejszą pamięcią i bez możliwości rozbudowy o kolejne karty.

Stack inferencyjny i otwarte modele

W oprogramowaniu inferencyjnym: ollama jest prosta, ale daje mało możliwości konfiguracji. llama.cpp to właściwy wybór do offloadu na CPU lub inferencji wyłącznie na CPU. Do pracy produkcyjnej używamy vLLM, dzisiejszego standardu pełnej inferencji na GPU, dobrze radzącego sobie z wieloma użytkownikami i oferującego najlepszą wydajność na kartach graficznych.

Szybko działają na tej karcie między innymi Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.5-122B-A10B, gpt-oss-120b, Mistral Small 4 i Gemma 4. Uwaga: Qwen3.8-27B jest stosunkowo mały, a mimo to należy dziś do najlepszych i najnowszych modeli open-weight. Otwarte wagi to coś więcej niż brak opłat licencyjnych: pełna kontrola nad wdrożeniem, długością kontekstu i przechowywaniem danych.

Uczciwy bilans: AI nie zastąpi pentestera. Zastępuje nudne fragmenty jego pracy i przyspiesza resztę. Kto dziś kupuje w pełni autonomiczny pentest z AI, kupuje obiecującą zapowiedź, nie teraźniejszość.