Testfallerstellung mit Künstlicher Intelligenz – eine gute Idee?

Testfallerstellung mit Künstlicher Intelligenz

Die Kurzantwort auf die, ob sich im Softwaretest die die Testfallerstellung durch Künstliche Intelligenz (KI) erledigen lässt lautet wohl „ja“ — „aber, aus meiner aktuellen Sicht, mit starken Vorbehalten“.
Künstliche Intelligenz (KI) kann das Testfalldesign, also die Testfallerstellung, deutlich beschleunigen und die Testabdeckung verbessern. Sie ist aber auch kein Allheilmittel. Besonders in sensiblen, regulierten Umgebungen wie z. B. Kernbankensystemen ist ein rein KI getriebener Ansatz riskant; ein hybrider Ansatz mit menschlicher Kontrolle, strikter Data Governance und erklärbaren Modellen ist wohl für die Praxis die bessere Wahl.

...weiter lesen

Die Künstliche Intelligenz (KI) kann aus Anforderungen, Log-Dateien und bestehenden Testfällen schnell neue Testfälle ableiten und so den manuellen Aufwand spürbar reduzieren (Automatisierung repetitiver Arbeit). Dies führt zu einem spürbaren Effizienzgewinn.

Zudem bietet die Testfallerrstellung mittels KI

  • bessere Randfallabdeckung: Modelle finden Muster und Varianten, die Menschen übersehen, und generieren zusätzliche Szenarien.
  • schnellere Anpassung: Bei häufigen Releases lassen sich Testfälle automatisch priorisieren und an geänderte Anforderungen anpassen.
  • Skalierung der Testabdeckung: Modelle können Varianten und Randfälle generieren, die Menschen leicht übersehen.
  • schnellere Regressionstests: Bei häufigen Releases lassen sich Testfälle automatisch anpassen und priorisieren
  • ...

Künstliche Intelligenz (KI) kann die Erstellung von Testfällen erheblich beschleunigen und dabei helfen, große Mengen an Anforderungen und Prozessbeschreibungen effizient auszuwerten.
Dennoch scheint mir der alleinige Einsatz von KI im Testfalldesign oft nicht ausreichend. KI-Modelle basieren auf Wahrscheinlichkeiten und vorhandenen Mustern, wodurch sie fachliche Besonderheiten, regulatorische Anforderungen oder kritische Randfälle übersehen können. Zudem sind die Entscheidungswege der Modelle nicht immer transparent, was die Nachvollziehbarkeit und Validierung der generierten Testfälle erschwert.

Um eine hohe Testqualität sicherzustellen, sollte KI daher als unterstützendes Werkzeug und nicht als alleinige Instanz verstanden werden.
Erst die Kombination aus menschlicher Fachexpertise, klaren Governance-Regeln, domänenspezifischem Wissen sowie systematischen End-to-End-Tests ermöglicht eine belastbare und vertrauenswürdige Testfallgenerierung.

  • KI-Modelle brauchen saubere, repräsentative Trainingsdaten (Anforderungen, Logs, historische Testfälle).
    In Banken oder bei deren IT-Dienstleistern sind diese Daten sensibel, oft fragmentiert, stark anonymisiert oder aus Compliance-Gründen nicht frei nutzbar. Fehlende oder verzerrte Daten führen zu unvollständigen oder falschen Testfällen.
    Zudem besteht das Risiko, dass Modelle sensible Informationen reproduzieren.
  • Erklärbarkeit und Nachvollziehbarkeit
    Banken benötigen nachvollziehbare Testentscheidungen für Audits. Viele KI-Modelle (insbesondere große neuronale Netze) sind „Black Boxes“ — es ist schwer zu erklären, warum ein Testfall vorgeschlagen wurde. Ohne Erklärbarkeit ist die Akzeptanz bei Compliance- und QA-Verantwortlichen gering.
    Beispiel: Qualitätsbeauftragte verlangen eine Begründung, warum ein Testfall Priorität A erhielt; das KI-Tool liefert nur eine Punktzahl ohne nachvollziehbare Merkmale.
  • Regulatorische Anforderungen und Auditierbarkeit
    Banken müssen Testentscheidungen und Prüfpfade nachvollziehbar dokumentieren. Kernbankensysteme unterliegen strengen Vorschriften (z. B. Geldwäscheprävention, Datenschutz, Audit-Trails). Testdaten und generierte Testfälle müssen diese Anforderungen erfüllen; KI-Modelle dürfen keine sensiblen Informationen reproduzieren oder regulatorische Prüfpfade verletzen. Viele KI Modelle sind Black Boxes; ohne Erklärbarkeit sind sie für Audits und Compliance schwer akzeptabel.
    Beispiel: Ein KI-generierter Testfall enthält reale Kundendaten, weil das Trainingsset nicht ausreichend bereinigt war. Das löst Datenschutzverletzungen und Auditfragen aus.
  • Komplexes Domänenwissen
    Kernbankensysteme enthalten historisch gewachsene, komplexe Geschäftsregeln (z. B. Zinsberechnung, Gebührenlogiken, regulatorische Workflows). KI Modelle ohne explizite Domänenregeln erzeugen leicht formal korrekte, aber inhaltlich unzureichende Testfälle.
    Beispiel: Ein generierter Testfall prüft eine Standardüberweisung, übersieht aber Sonderfälle wie „Sperre bei Verdacht auf Betrug“ oder „Spezialtarif für Firmenkunden“.
  • Integrationstiefe und Systemlandschaft inkl. externe Abhängigkeiten:
    Banken arbeiten mit vielen integrierten Systemen (Zahlungs-Gateways, KYC-Dienste, Ledger, externe Clearingstellen). Während der Testfallerstellung muss diese Integrationen berücksichtigen werden. KI-Modelle, die nur auf isolierten Modulen trainiert sind, liefern unvollständige End-to-End-Szenarien.
    Beispiel: Ein Testfall simuliert eine erfolgreiche Zahlung, berücksichtigt aber nicht die Verzögerung oder Fehlermeldung eines externen Clearing-Dienstes.
  • Sicherheitsrisiken durch fehlerhafte Tests
    Automatisch generierte Testskripte können nicht idempotente Aktionen oder unvollständige Rollbacks enthalten und so Testumgebungen oder sogar produktionsnahe Daten gefährden.
    Idempotency (Idempotenz) bedeutet, dass eine Aktion auch bei mehrfacher Ausführung mit denselben Eingaben immer zum gleichen Endergebnis führt. In der Prozessautomatisierung ist das besonders wichtig, weil Workflows durch Retries, Timeouts oder doppelte Events (z. B. Webhooks) versehentlich mehrfach ausgelöst werden können – ohne Idempotenz entstehen schnell Dubletten, falsche Bestände oder doppelte Rechnungen.
    Beispiel: Ein automatisch erzeugtes Testskript führt eine nicht idempotente Buchung aus und hinterlässt inkonsistente Salden in einer Testumgebung, die an Produktionsdaten angebunden ist.
  • Dies sind nur einige Herausforderungen, denen es zu begegen gilt.

    Für den erfolgreichen Einsatz von Künstlicher Intelligenz (KI) in geschäftskritischen Prozessen empfiehlt sich ein ganzheitlicher Ansatz, der technologische Leistungsfähigkeit mit Governance, Transparenz und operativer Sicherheit verbindet.
    Zentrale Bausteine sind ein hybrider Ansatz zur Kombination von KI- und Regelwerken, eine strikte Daten-Governance zur Sicherstellung von Datenqualität und Compliance sowie der Einsatz von Explainable AI, um Nachvollziehbarkeit und Vertrauen in die Ergebnisse zu gewährleisten.

    Ergänzend sollten isolierte Testumgebungen mit Stubbing genutzt werden, um Lösungen risikofrei zu validieren. Eine fundierte Domänenmodellierung schafft die fachliche Grundlage für belastbare Entscheidungen, während regelbasierte Mechanismen die KI um deterministische Logik erweitern. Abschließend ist es entscheidend, End-to-End-Szenarien vollständig abzudecken, um die Praxistauglichkeit, Skalierbarkeit und Robustheit der Lösung unter realen Bedingungen sicherzustellen.

  • Explainable AI (XAI): Setze Modelle oder Zusatzmodule ein, die Entscheidungsgrundlagen liefern (z. B. Feature-Attribution), damit Testpriorisierungen und -vorschläge auditierbar sind.
  • Isolierte Testumgebungen und Stubbing (sichere Testumgebungen): Simuliere externe Dienste und isoliere Testdaten und -umgebungen strikt von der Produktion; nutze synthetische Daten, die reale Muster nachbilden, ohne personenbezogene Informationen preiszugeben.
  • Domänenmodellierung: Ergänze KI durch regelbasierte Engines, die bankenspezifische Geschäftsregeln kodifizieren; kombiniere so statistische Generierung mit deterministischen Prüfungen.
  • Regelbasierte Ergänzung: Kombiniere statistische KI Generierung mit regelbasierten Engines, die bankenspezifische Geschäftsregeln abdecken.
  • End-to-End-Szenarien abdecken

Praxisbeispiele gibt es sicherlic viele. Nachfolgend gehe ich kurz auf drei weitere Kurzbeispiele ein.

Regressionstest für Zinsberechnung:
KI analysiert historische Testfälle und generiert 50 Varianten für Zinsperioden (täglich, monatlich, Schaltjahr). Ein Domänenexperte ergänzt Sonderfälle (z. B. vorzeitige Kündigung mit Gebührenbefreiung).
Ergebnis: schnellere Abdeckung, aber menschliche Validierung bleibt Pflicht.

Fraud-Detection-Szenarien:
Aus Transaktionslogs schlägt die KI ungewöhnliche Muster vor (mehrere kleine Überweisungen an neue Empfänger). Sicherheits- und Compliance-Teams prüfen diese Vorschläge, weil die KI keine rechtliche Bewertung vornimmt.

End-to-End-Zahlungsfluss
KI erzeugt Testskripte für SEPA-Überweisungen; beim Ausführen zeigt sich, dass externe Clearing-Antworten nicht simuliert wurden.
Lösung: Stubs für Clearingstellen und zusätzliche Testfälle für Fehlermeldungen ergänzen.

...

Video

Qualitätsmanagement

Mein persönliches Fazit

Aus meiner Sicht ist Künstliche Intelligenz (KI) eine wertvolle Ergänzung, die Testfallerstellung effizienter und umfassender machen kann.
Für Kernbankensysteme ist sie jedoch (noch) kein Ersatz für menschliche Expertise.

Die Kombination aus strengen Regulierungen, sensiblen Daten, komplexen Geschäftsregeln und hohen Verfügbarkeitsanforderungen macht einen rein KI-getriebenen Ansatz – aus meiner Sicht - riskant. Ein hybrides Modell (KI zur Generierung und Menschen zur Validierung) zusammen mit starker Daten-Governance, erklärbaren Modellen und sicheren Testumgebungen ist wohl der praktikabelste Weg und sicherste Strategie, um die Vorteile der KI zu nutzen, ohne die Integrität und Compliance von Bankprozessen zu gefährden.


Blog & Posts

Lade...