AI-pentest: hvad autonome systemer faktisk leverer i dag

AI-pentest er branchens store løfte: en agent, der tager hele testen selvstændigt. Vi prøvede påstanden selv, med de tilgængelige fuldautonome systemer og med egen lokal inference. Regnskabet er ædruere end reklamen og en del mere brugbart.

Kort: enumerering og dele af udnyttelsen virker fint i dag. Fuldautonome er systemerne inkonsistente og upålidelige. Potentialet ligger i at understøtte pentests og automatisere enkelte, små deltrin.

Autonome systemer på prøve

Vi testede Strix og PentAGI, to tilgængelige bud på autonome pentest-agenter.

Strix finder svagheder i kode og på webservere, men at finde betyder hverken pålideligt eller konsistent. Brugerfladen er ikke produktionsmoden: den indeholder bugs, crasher ved uventede svar fra modellen og afleverer som eneste output en markdown-fil uden fast struktur. Testrapporten bliver til en samling tekst, som et menneske skal sortere igen.

PentAGI virker overfladisk mere moden og organiserer opgaver tydeligt bedre end Strix. I praksis pauser flows nogle gange, når de skal køre i baggrunden, og resultaterne forbliver inkonsistente. Agenterne laver ofte mere end den aktuelle opgave, hvilket udfører meget arbejde dobbelt. Mest kritisk er scope-overskridelserne: visse gange blev andre IP-adresser og porte testet end foreskrevet. Det, der i laboratoriet er ineffektivitet, er hos en kunde et kontraktproblem. En pentest uden scopedisciplin er ingen pentest.

Konsekvens: assisteret, ikke autonom

Værdien af en pentest ligger i efterprøvelighed, troskab mod scope og en holdbar vurdering. Det er præcis de tre punkter, autonome agenter ikke indfrier i dag. En model kan til gengæld arbejde pålideligt, hvor deltrin er reproducerbare: strukturere angrebsflader, indkredse kodesteder, forfatte rapportens råtekster på forhånd, bringe variation i ordlister og fuzzing-tests. Testeren beslutter, modellen mangedobler.

Lokal inference i stedet for cloud-API

Den, der sender pentestdata gennem en cloud-API, overlader angrebsflader, fund og arkitekturdetaljer til en tredjepart. Det vil de fleste kunder med rette ikke. Derfor kører vi inference lokalt.

Valget af hardware faldt på et NVIDIA RTX PRO 6000 (Blackwell): 96 GB GDDR7-hukommelse, NVFP4-hardwareunderstøttelse for kvantiserede modeller og CUDA som software-økosystem, AMD fortsat tydeligt foran. Kortet fås som enkelt PCIe-kort, til forskel fra datacenteracceleratorer som B200. At undvære NVLINK er forsvarligt for vores flows. Alternativer blev gennemgået: RTX PRO 5000 Blackwell med lidt mindre kræfter og hukommelse; H100 NVL og H200 NVL med større hukommelsesbåndbredde og NVLINK, men ældre generation og højere pris; AMD Radeon AI PRO R9700, markant billigere, men med klart mindre VRAM og dårligere softwarestøtte; samt GB10 med delt, langt langsommere hukommelse og uden mulighed for udvidelse med flere kort.

Inference-stack og åbne modeller

Om inference-softwaren: ollama er simpelt, med få konfigurationsmuligheder. llama.cpp er det rigtige valg ved CPU-aflastning eller inference alene på CPU. Til produktion bruger vi vLLM, dagens standard for fuldstændig GPU-inference, god til flere samtidige brugere og med den bedste performance på grafikkort.

På kortet kører blandt andet Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.5-122B-A10B, gpt-oss-120b, Mistral Small 4 og Gemma 4 hurtigt. Bemærkelsesværdigt: Qwen3.8-27B er forholdsvis lille og hører i dag alligevel til de bedste og nyeste open weight-modeller. Åbne vægte betyder mere end udeblevne licensomkostninger: fuld kontrol over deployment, kontekstlængde og datalagring.

Det ærlige regnskab: AI erstatter ikke pentesten. Den erstatter de kedelige dele af arbejdet og fremskynder resten. Den, der i dag køber en fuldautonom AI-pentest, køber en løfterig fremtid, ikke nutiden.