AI-Pentesting: Was autonome Systeme heute wirklich leisten

AI-Pentesting ist die große Versprechung der Branche: ein KI-Agent, der den gesamten Test autonom übernimmt. Wir haben den Anspruch selbst nachgeprüft, mit den verfügbaren vollautonomen Systemen und mit eigener lokaler Inferenz. Die Bilanz ist nüchterner als die Werbung, aber deutlich nützlicher.

Kurz gesagt: Enumeration und Teile der Exploitation funktionieren heute gut. Vollautonom sind die Systeme inkonsistent und unzuverlässig. Das Potenzial liegt in der Unterstützung von Pentests und in der Automatisierung einzelner, kleiner Teilschritte.

Autonome Systeme im Selbsttest

Wir haben Strix und PentAGI getestet, zwei verfügbare Ansätze für autonome Pentest-Agenten.

Strix findet Schwachstellen in Code und auf Webservern, aber das Finden ist weder zuverlässig noch konsistent. Das Nutzerinterface ist nicht produktionsreif: Es enthält Bugs, stürzt bei unerwarteten Ausgaben der KI ab und liefert als einzigen Output eine Markdown-Datei ohne feste Struktur. Aus einem Prüfbericht wird so eine Textsammlung, die am Ende wieder ein Mensch sortieren muss.

PentAGI wirkt oberflächlich produktionsreifer und organisiert Aufgaben deutlich besser als Strix. In der Praxis pausieren Flows teilweise, sobald sie im Hintergrund laufen sollen, und die Ergebnisse bleiben inkonsistent. Die Agents erledigen häufig mehr als die aktuelle Aufgabe, wodurch viel doppelt ausgeführt wird. Am kritischsten sind die Scope-Probleme: zeitweise wurden andere IPs und Ports getestet als vorgegeben. Was im Labor eine Ineffizienz ist, ist im Kundeneinsatz ein Vertragsproblem. Ein Pentest ohne Scope-Disziplin ist kein Pentest.

Konsequenz: assistiert statt autonom

Der Wert eines Pentests liegt in Nachvollziehbarkeit, Scope-Treue und belastbarer Bewertung. Genau diese drei Punkte erfüllen autonome Agenten heute nicht. Ein Modell kann dagegen dort zuverlässig arbeiten, wo Teilschritte reproduzierbar sind: Angriffsflächen strukturieren, Code-Stellen eingrenzen, Report-Rohtexte vorformulieren, Varianz in Wortlisten und Fuzzing-Tests bringen. Der Tester bleibt Entscheider, das Modell Multiplikator.

Lokale Inferenz statt Cloud-API

Wer Pentest-Daten durch eine Cloud-API schickt, übergibt Angriffsflächen, Befunde und Architekturdetails an einen Drittanbieter. Das wollen die meisten Kunden zu Recht nicht. Deshalb betreiben wir Inferenz lokal.

Die Hardware-Wahl fiel auf eine NVIDIA RTX PRO 6000 (Blackwell): 96 GB GDDR7-Speicher, NVFP4-Hardware-Unterstützung für quantisierte Modelle und CUDA als Software-Ökosystem, das AMD weiterhin deutlich voraus ist. Die Karte ist als einzelne PCIe-Karte erhältlich, anders als Rechenzentrums-Beschleuniger wie die B200. Der Verzicht auf NVLINK ist für unsere Workflows vertretbar. Geprüft wurden auch Alternativen: die RTX PRO 5000 Blackwell mit etwas weniger Leistung und Speicher, die H100 NVL und H200 NVL mit mehr Speicherbandbreite und NVLINK, aber älterer Generation und höherem Preis, die AMD Radeon AI PRO R9700, deutlich günstiger, aber mit deutlich weniger VRAM und schlechterem Software-Support, sowie der GB10 mit geteiltem, deutlich langsamerem Speicher und ohne Möglichkeit zur Erweiterung durch weitere Karten.

Inferenz-Stack und offene Modelle

Bei der Inferenz-Software gilt: ollama ist simpel, bietet aber wenige Konfigurationsmöglichkeiten. llama.cpp ist die richtige Wahl für CPU-Offloading oder Inferenz auf der CPU. Für den Produktivbetrieb nutzen wir vLLM, aktuell Standard für vollständige GPU-Inferenz mit mehreren gleichzeitigen Nutzern und bester Performance auf Grafikkarten.

Schnell laufen auf der Karte unter anderem Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.5-122B-A10B, gpt-oss-120b, Mistral Small 4 und Gemma 4. Bemerkenswert: Qwen3.8-27B ist vergleichsweise klein und gehört aktuell dennoch zu den besten und neuesten Open-Weight-Modellen. Offene Gewichte bedeuten dabei mehr als der Verzicht auf Lizenzkosten: volle Kontrolle über Deployment, Kontextlänge und Datenhaltung.

Die ehrliche Bilanz: KI ersetzt keinen Pentester. Sie ersetzt die langweiligen Anteile seiner Arbeit und beschleunigt den Rest. Wer heute einen vollautonomen KI-Pentest kauft, kauft eine vielversprechende Vorschau, nicht die Gegenwart.