AI-pentesting: hva autonome systemer faktisk leverer i dag

AI-pentesting er bransjens store løfte: en agent som tar hele testen helt selvstendig. Vi prøvde påstanden selv, med de tilgjengelige helautonome systemene og med egen lokal inferens. Regnskapet er edruligere enn reklamen og en god del mer brukbart.

Kort: enumerering og deler av utnyttelsen fungerer godt i dag. Helautonome er systemene inkonsistente og upålitelige. Potensialet ligger i å støtte pentesting og automatisere enkelte, små delsteg.

Autonome systemer på prøve

Vi testet Strix og PentAGI, to tilgjengelige bud på autonome pentest-agenter.

Strix finner svakheter i kode og på webtjenere, men å finne betyr verken pålitelig eller konsistent. Brukerflaten er ikke produksjonsmoden: den inneholder feil, krasjer ved uventede utdata fra modellen og leverer som eneste output en markdown-fil uten fast struktur. Testrapporten blir til en samling tekst som et menneske må sortere på nytt.

PentAGI virker overflatisk mer moden og organiserer oppgaver tydelig bedre enn Strix. I praksis pauser flytene iblant når de skal gå i bakgrunnen, og resultatene forblir inkonsistente. Agentene gjør ofte mer enn den aktuelle oppgaven, noe som utfører mye arbeid dobbelt. Mest kritisk er scope-overskridelsene: tidvis ble andre IP-adresser og porter testet enn foreskrevet. Det som i laboratoriet er ineffektivitet, er hos en kunde et kontraktsproblem. En pentest uten scopedisiplin er ingen pentest.

Konsekvens: assistert, ikke autonomt

Verdien av en pentest ligger i etterprøvbarhet, troskap mot omfanget og en holdbar vurdering. Det er nøyaktig disse tre punktene autonome agenter ikke innfrir i dag. En modell kan derimot arbeide pålitelig der delstegene er reproducerbare: strukturere angrepsflater, avgrense kodesteder, forhåndsskrive rapportens råtekster, bringe variasjon i ordlister og fuzzing-tester. Testeren bestemmer, modellen mangedobler.

Lokal inferens i stedet for sky-API

Den som sender pentestdata gjennom en sky-API, overlater angrepsflater, funn og arkitekturdetaljer til en tredjepart. De fleste vil det med rette ikke. Derfor kjører vi inferensen lokalt.

Valget av maskinvare falt på et NVIDIA RTX PRO 6000 (Blackwell): 96 GB GDDR7-minne, NVFP4-maskinvarestøtte for kvantiserte modeller og CUDA som programvare-økosystem, AMD fortsatt tydelig foran. Kortet finnes som et enkelt PCIe-kort, i motsetning til datasenterakseleratorer som B200. Å unnvære NVLINK er forsvarlig for våre flyter. Alternativer ble vurdert: RTX PRO 5000 Blackwell med litt mindre krefter og minne; H100 NVL og H200 NVL med større minnebåndbredde og NVLINK, men eldre generasjon og høyere pris; AMD Radeon AI PRO R9700, betydelig billigere, men med klart mindre VRAM og dårligere programvarestøtte; samt GB10 med delt, mye tregere minne og uten mulighet for utvidelse med flere kort.

Inferensstack og åpne modeller

Om inferensprogramvaren: ollama er enkelt, med få konfigurasjonsmuligheter. llama.cpp er det riktige valget for CPU-avlasting eller inferens kun på CPU. I produksjon bruker vi vLLM, dagens standard for fullstendig GPU-inferens, god på flere samtidige brukere og beste ytelse på grafikkort.

På kortet går blant annet Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.5-122B-A10B, gpt-oss-120b, Mistral Small 4 og Gemma 4 raskt. Verdt å merke seg: Qwen3.8-27B er sammenligningsvis lite og hører likevel i dag til de beste og nyeste open weight-modellene. Åpne vekter betyr mer enn utelatte lisenskostnader: full kontroll over utplassering, kontekstlengde og datalagring.

Det ærlige regnskapet: AI erstatter ikke pentesteren. Den erstatter de kjedelige delene av arbeidet og akselererer resten. Den som i dag kjøper en helautonom AI-pentest, kjøper en løfterik framtid, ikke nåtiden.