KI in der Qualitätssicherung: Vom Testwerkzeug zum Gegenstand des Testens

Generative KI kann

• Anforderungen analysieren,
• Testideen (Testfälle) formulieren,
• Testdaten erzeugen,
• Automatisierungscode vorschlagen

und

• Testergebnisse zusammenfassen

Besonders bei repetitiven Aufgaben (Tätigkeiten, die sich regelmäßig in gleicher oder ähnlicher Weise wiederholen) entsteht dadurch erhebliches Potenzial.

Aus User Stories, Akzeptanzkriterien, Schnittstellenbeschreibungen oder vorhandenen Testfällen lassen sich innerhalb kurzer Zeit zusätzliche Szenarien und Varianten ableiten.

Die Technologie kann außerdem Randfälle sichtbar machen, die bei einer rein manuellen Betrachtung möglicherweise übersehen würden. Bei häufigen Releases kann sie dabei helfen, Regressionstests zu priorisieren, Testfälle an geänderte Anforderungen anzupassen und die Zuordnung zwischen Anforderungen, Risiken und Tests zu verbessern. Der Nutzen liegt dabei nicht allein in schnellerer Testfallerstellung, sondern in einer breiteren Ausgangsbasis für die fachliche Analyse.

Aus meiner Sicht lautet die entscheidende Einschränkung jedoch: Ein plausibel formulierter Testfall ist nicht automatisch ein korrekter oder relevanter Testfall. Generative Modelle können unzutreffende Annahmen ergänzen, Geschäftsregeln missverstehen oder erwartete Ergebnisse erfinden. Auch syntaktisch überzeugender Automatisierungscode kann fachlich ungeeignet, unsicher oder nicht wartbar sein.

KI darf deshalb nicht als autonomer Ersatz für Testkompetenz verstanden werden. Sie ist zunächst ein Assistent, der Vorschläge erzeugt. Verantwortung, Risikobewertung und Freigabe verbleiben bei qualifizierten Menschen. Besonders in sicherheitskritischen oder regulierten Bereichen empfiehlt sich ein hybrider Ansatz: Die KI generiert und strukturiert, der Mensch bewertet, ergänzt und entscheidet.

Der ISTQB® Certified Tester Testing with Generative AI (CT-GenAI) adressiert genau diese Nutzungsperspektive. Das Modul vermittelt Grundlagen und Grenzen generativer KI sowie praktische Verfahren, um Large Language Models (LLM) kontrolliert in Testaktivitäten einzusetzen. Dazu gehören Prompt Engineering, die Bewertung und Verfeinerung erzeugter Ergebnisse sowie Anwendungen in Testanalyse, Testentwurf, Testautomatisierung und Testberichterstattung.

Ein wichtiger Lernbereich ist das Risikomanagement. Halluzinationen, fehlerhafte Schlussfolgerungen, Verzerrungen, Datenschutzprobleme und Sicherheitsrisiken müssen bereits bei der Gestaltung der Arbeitsabläufe berücksichtigt werden. Ebenso relevant sind Architekturen für LLM-gestützte Testlösungen, organisatorische Einführungsstrategien und das Veränderungsmanagement. Damit behandelt CT-GenAI nicht nur einzelne Prompts, sondern die verantwortungsvolle Integration generativer KI in eine Testorganisation.

In der Praxis bedeutet das beispielsweise, Prompts mit klaren Rollen, Kontextinformationen, Qualitätskriterien und Ausgabeformaten zu versehen. Die Ergebnisse sollten anschließend anhand definierter Prüfkriterien bewertet werden. Wiederholbare Prompt-Vorlagen, Versionskontrolle und eine dokumentierte menschliche Freigabe machen aus einem spontanen KI-Experiment einen beherrschbaren Qualitätsprozess.

ISTQB® Certified Tester AI Testing (CT-AI) Version 2.0 betrachtet die andere Seite: Wie lässt sich die Qualität eines Systems prüfen, dessen Verhalten von Daten, trainierten Modellen und Wahrscheinlichkeiten abhängt? Die neue Version wurde für den praktischen Einsatz KI-basierter Systeme neu strukturiert und folgt stärker ihrem Lebenszyklus. Sie behandelt unter anderem Eingabedaten, Modelle, Systemintegration, Bereitstellung und Betrieb.

Ein klassischer Test erwartet bei einer bestimmten Eingabe meist ein eindeutig definiertes Ergebnis. Bei Machine-Learning- und GenAI-Systemen ist dieses Testorakel häufig schwieriger zu bestimmen. Antworten können variieren, obwohl sich die Eingabe nicht geändert hat. Qualität muss deshalb unter anderem mithilfe statistischer Verfahren, geeigneter Metriken, Akzeptanzkriterien und wiederholter Stichproben bewertet werden.

CT-AI 2.0 führt Eingabedatentests und Modelltests als eigenständige Testebenen. Bei den Daten geht es beispielsweise um Repräsentativität, Verzerrungen, Vollständigkeit, korrekte Kennzeichnung und die Validierung von Datenpipelines. Beim Modelltest stehen funktionale Leistungsmetriken sowie Verfahren wie adversariales, metamorphes, Drift-, A/B- und Back-to-back-Testing im Mittelpunkt. Zusätzlich behandelt der Lehrplan generative KI, Large Language Models, exploratives Testen und Red Teaming.

Die Neuausrichtung schafft zugleich eine klare Abgrenzung: Inhalte zur Nutzung von KI für Testaktivitäten wurden aus CT-AI entfernt und dem eigenständigen CT-GenAI-Schwerpunkt zugeordnet. Vereinfacht gesagt beantwortet CT-AI die Frage „Wie testen wir KI?“, während CT-GenAI die Frage „Wie testen wir mit KI?“ adressiert.

Je leistungsfähiger KI-Werkzeuge werden, desto wichtiger wird professionelle Urteilskraft. Testerinnen und Tester müssen verstehen, welche Teile eines Ergebnisses überprüfbar sind, wo Unsicherheit verbleibt und welche Risiken nicht delegiert werden dürfen. Domänenwissen, kritisches Denken, Explorationsfähigkeit und ethische Sensibilität gewinnen daher an Bedeutung.

Ein tragfähiges Betriebsmodell basiert auf vier Leitplanken:

1. Human in the Loop: KI-Ergebnisse mit fachlicher oder sicherheitsrelevanter Wirkung werden überprüft und freigegeben.
2. Data Governance: Vertrauliche Informationen werden nur in genehmigten Umgebungen verwendet.
3. Messbare Evaluation: Qualität wird anhand definierter Kriterien und reproduzierbarer Testbestände bewertet.
4. Nachvollziehbarkeit: Prompts, Modellversionen, Datenquellen und Entscheidungen werden angemessen dokumentiert.