AI-pentestning: vad autonoma system faktiskt levererar idag

AI-pentestning är branschens stora löfte: en agent som tar hela testet helt autonomt. Vi prövade påståendet själva, med de tillgängliga helt autonoma systemen och med egen lokal inferens. Balansen är nyktrare än reklamen och en hel del mer användbar.

Kort: enumerering och delar av utnyttjandet fungerar väl idag. Helt autonoma är systemen inkonsekventa och otillförlitliga. Potentialen ligger i att stödja pentestning och automatisera enskilda, små delsteg.

Autonoma system under lupp

Vi testade Strix och PentAGI, två tillgängliga ansatser med autonoma pentest-agenter.

Strix hittar svagheter i kod och på webb servrar, men att hitta innebär varken pålitligt eller konsekvent. Gränssnittet är inte produktionsmoget: det innehåller buggar, kraschar vid oväntade utfall från modellen och lämnar som enda output en markdownfil utan fast struktur. Testrapporten blir en samling text som en människa måste sortera igen.

PentAGI verkar vid ytan mognare och organiserar uppgifter tydligt bättre än Strix. I praktiken pausar flöden ibland när de ska köra i bakgrunden, och resultaten förblir inkonsekventa. Agenterna gör ofta mer än aktuell uppgift, vilket dubbelkör mycket arbete. Mest kritiskt är scope-överskridandena: tidvis testades andra IP-adresser och portar än vad som angetts. Det som i labbet är ineffektivitet är hos en kund ett avtalsproblem. En pentest utan scopedisciplin är ingen pentest.

Slutsats: assisterat, inte autonomt

Värdet i en pentest ligger i spårbarhet, trohet mot omfattningen och en hållbar bedömning. Det är exakt de tre punkterna autonoma agenter inte uppfyller idag. En modell kan i stället arbeta pålitligt där delstegen är reproducerbara: strukturera attackytor, avgränsa kodställen, författa rapportens råtexter i förhand, tillföra variation i ordlistor och fuzzingtester. Testaren beslutar, modellen multiplicerar.

Lokal inferens i stället för moln-API

Den som skickar pentestdata genom ett moln-API lämnar attackytor, fynd och arkitekturdetaljer till en tredje part. Det vill de flesta kunder med rätta inte. Därför kör vi inferensen lokalt.

Valet av hårdvara föll på ett NVIDIA RTX PRO 6000 (Blackwell): 96 GB GDDR7-minne, NVFP4-hårdvarustöd för kvantiserade modeller och CUDA som mjukvaru ekosystem, AMD fortfarande väl före. Kortet finns som enskilt PCIe-kort, till skillnad från datacenteracceleratorer som B200. Att avstå NVLINK är försvarbart för våra flöden. Alternativ genomgicks: RTX PRO 5000 Blackwell med något mindre kraft och minne; H100 NVL och H200 NVL med mer minnesbandbredd och NVLINK, men äldre generation och högre pris; AMD Radeon AI PRO R9700, avsevärt billigare men med klart mindre VRAM och sämre mjukvarustöd; samt GB10 med delat, avsevärt långsammare minne och utan möjlighet att utöka med fler kort.

Inferensstack och öppna modeller

Om inferensmjukvaran: ollama är enkelt, med få konfigurationsmöjligheter. llama.cpp är rätt val för CPU-avlastning eller inferens enbart på CPU. I produktion använder vi vLLM, dagens standard för fullständig GPU-inferens, bekväm med flera samtidiga användare och bästa prestandan på grafikkort.

På kortet går bland annat Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.5-122B-A10B, gpt-oss-120b, Mistral Small 4 och Gemma 4 snabbt. Anmärkningsvärt: Qwen3.8-27B är förhållandevis litet och hör ändå idag till de bästa och nyaste open weight-modellerna. Öppna vikter betyder mer än uteblivna licenskostnader: full kontroll över deployment, kontextlängd och dataförvaring.

Den ärliga balansen: AI ersätter inte pentestern. Den ersätter de tråkiga delarna av arbetet och skyndar på resten. Den som idag köper en helt autonom AI-pentest köper en löftesrik framtid, inte nutiden.