AI-pentesting is de grote belofte van de branche: een agent die de hele test volledig autonoom overneemt. We hebben de aanspraak zelf nagekeken, met de beschikbare volledig autonome systemen en met eigen lokale inferentie. De balans is nuchterder dan de reclame, maar een stuk bruikbaarder.
Kort: enumeratie en delen van de exploitatie werken vandaag goed. Volledig autonoom zijn de systemen inconsistent en onbetrouwbaar. Het potentieel zit in het ondersteunen van pentests en het automatiseren van kleine, losse deelstappen.
Autonome systemen in de praktijk getest
We testten Strix en PentAGI, twee beschikbare toepassingen van autonome pentest-agents.
Strix vindt kwetsbaarheden in code en op web servers, maar vinden betekent noch betrouwbaar noch consistent. De gebruikersinterface is niet productie rijp: ze bevat bugs, crasht op onverwachte modeluitkomsten en geeft als enige output een markdown-bestand zonder vaste structuur. Een testrapport wordt zo een verzameling tekst die een mens opnieuw moet sorteren.
PentAGI oogt oppervlakkig verder en organiseert taken beduidend beter dan Strix. In de praktijk pauzeren flows deels zodra ze op de achtergrond moeten draaien, en de resultaten blijven inconsistent. Agents doen vaak meer dan de huidige taak, waardoor werk dubbel wordt uitgevoerd. Het kritiekst zijn de scope-overschrijdingen: soms werden andere IP-adressen en poorten getest dan voorgeschreven. Wat in het lab inefficiënt is, is bij een klant een contractueel probleem. Een pentest zonder scopediscipline is geen pentest.
Les: assistentie in plaats van autonomie
De waarde van een pentest ligt in nabereikbaarheid, trouw aan de scope en een betrouwbare beoordeling. Precies die drie punten halen autonome agents vandaag niet. Een model kan wél betrouwbaar werken waar deelstappen reproduceerbaar zijn: aanvalsoppervlakken structureren, codeplaatsen inkaderen, rauwe rapportteksten voorformuleren, variatie in woordlijsten en fuzzing-tests brengen. De tester beslist, het model vermenigvuldigt.
Lokale inferentie in plaats van cloud-API
Wie pentestgegevens door een cloud-API stuurt, geeft aanvalsvlakken, bevindingen en architectuurdetails mee aan een derde. Klanten willen dat terecht niet. Daarom draait onze inferentie lokaal.
De hardwarekeus viel op een NVIDIA RTX PRO 6000 (Blackwell): 96 GB GDDR7-geheugen, NVFP4-hardwareondersteuning voor gekwantiseerde modellen en CUDA als software-ecosysteem, AMD nog steeds duidelijk voor. De kaart is verkrijgbaar als losse PCIe-kaart, anders dan datacenterversnellers als de B200. Afzien van NVLINK is voor onze flows aanvaardbaar. Alternatieven bekeken: de RTX PRO 5000 Blackwell met iets minder vermogen en geheugen; de H100 NVL en H200 NVL met meer geheugenbandbreedte en NVLINK, maar oudere generatie en duurder; de AMD Radeon AI PRO R9700, aanmerkelijk goedkoper maar met veel minder VRAM en mindere softwareondersteuning; en de GB10 met gedeeld, veel trager geheugen en zonder uitbreiding door extra kaarten.
Inferentiestack en open modellen
Over de inferentiesoftware: ollama is simpel, met weinig configuratiemogelijkheden. llama.cpp is de juiste keuze voor CPU-offloading of inferentie puur op de CPU. Voor productie gebruiken we vLLM, vandaag de standaard voor volledige GPU-inferentie, goed met meerdere gelijktijdige gebruikers en de beste prestaties op grafische kaarten.
Snel op de kaart draaien onder meer Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.5-122B-A10B, gpt-oss-120b, Mistral Small 4 en Gemma 4. Opvallend: Qwen3.8-27B is relatief klein en hoort vandaag toch tot de beste en nieuwste open-weight-modellen. Open weights betekent meer dan het ontbreken van licentiekosten: volledige controle over deploy, contextlengte en databewaring.
De eerlijke balans: AI vervangt geen pentester. Het vervangt de saaie delen van zijn werk en versnelt de rest. Wie vandaag een volledig autonome AI-pentest koopt, koopt een veelbelovende toekomst, niet het heden.
Professionele Europese securityboutique voor elite-penetrationstests, red teaming & exploit development.