KI im Softwaretesting: Wie souverän testen wir mit LLMs?

LLMs können Testfälle formulieren, Testdaten erzeugen und Tests ausführen. Das verspricht eine schnellere Qualitätssicherung und kann gerade dort helfen, wo Zeit oder Budget für umfassendes Testing fehlen. Doch wer entscheidet, was überhaupt getestet werden muss? Und wie viel Kontrolle behalten Teams, wenn Modelle und Agenten Teile der Arbeit übernehmen? 

Diese Fragen standen im Mittelpunkt unserer Fishbowl-Diskussion bei der AccsoCon. Eine zentrale Erkenntnis: LLMs können die Mechanik des Testens unterstützen. Die Verantwortung für Anforderungen, Testziele und fachliche Qualität sollte jedoch bei den Menschen bleiben. 

Was heißt Souveränität beim Testen? 

Souveränität bedeutet nicht zwingend, jedes Detail eines Modells oder jede Zeile seines Codes zu verstehen. Entscheidend ist vielmehr, ob ein Team bewusste Entscheidungen treffen und Abhängigkeiten handhaben kann: Sind Daten portierbar? Gibt es realistische Alternativen zum Anbieter? Können Modelle oder Werkzeuge ausgetauscht werden, wenn sich Rahmenbedingungen ändern? 

Das ist besonders relevant bei kommerziellen KI-Diensten. Modelle können sich verändern, Anbieter können Funktionen anpassen oder Produkte einstellen. Wer sich auf einen Dienst verlässt, ohne solche Abhängigkeiten zu kennen, gibt einen Teil der Kontrolle ab. Gleichzeitig kann auch Open-Source-Software souverän eingesetzt werden, ohne dass jedes Teammitglied den gesamten Quellcode analysiert – sofern Wahlfreiheit, Transparenz und ein praktikabler Umgang mit den eigenen Daten gewährleistet sind. 

Für die Qualitätssicherung folgt daraus: Souveränität ist keine einzelne Technologieentscheidung. Sie entsteht auch durch klare Zuständigkeiten, nachvollziehbare Prozesse und die Möglichkeit, Ergebnisse zu prüfen. 

Drei Einsatzfelder für LLMs im Testing 

Im Testing lassen sich drei Ebenen unterscheiden: 

• Testfälle und Testdaten erstellen: Ein LLM kann aus Anforderungen Testideen, Testschritte, Testdaten oder Unit-Tests ableiten. Auch systematische Verfahren wie das Durchspielen von Äquivalenzklassen lassen sich damit unterstützen. 
• Tests ausführen: Agenten können Anwendungen über natürliche Sprache bedienen und beispielsweise Browserabläufe testen. Manche Werkzeuge zeichnen die Schritte auf und überführen sie in wiederverwendbaren Testcode. 
• LLM-basierte Produkte testen: Wenn ein Produkt selbst ein LLM nutzt, müssen Teams unter anderem Antwortqualität, Stabilität und Veränderungen über die Zeit prüfen. 
   

Bezüglich der Nachvollziehbarkeit und Überprüfbarkeit ergeben sich bereits hier Unterschiede: Ein generierter Testfall lässt sich häufig überprüfen, bevor er in eine Testsuite gelangt. Ein autonom ausgeführter Test oder ein Test, der die Qualität eines KI-Produkts beurteilt, wirft zusätzliche Fragen zur Nachvollziehbarkeit und Zuverlässigkeit auf. 

Tests erzeugen ist nicht dasselbe wie Testziele definieren 

Ein LLM kann helfen, Varianten und Randfälle abzuleiten. Es weiß aber nicht automatisch, welches Verhalten fachlich richtig ist. Wer lediglich den Auftrag „Teste diese Anwendung“ gibt und die Vorschläge ungeprüft übernimmt, riskiert, dass Tests nur das bestehende Verhalten festschreiben – selbst wenn dieses Verhalten fehlerhaft ist. 

Deshalb sollten Menschen Anforderungen und Testziele festlegen, den fachlichen Kontext bereitstellen und Ergebnisse bewerten. Wie umfangreich Reviews ausfallen, kann je nach Kritikalität und Budget variieren. Bei einem Proof of Concept mag ein schlanker Prüfprozess angemessen sein. Bei einem kritischen System braucht es deutlich mehr: nachvollziehbare Anforderungen, unabhängige Reviews, klare Verantwortlichkeiten und reproduzierbare Testbedingungen. 

Verlässlich heißt nicht immer vollständig deterministisch 

Beim Testen müssen Ergebnisse belastbar sein. Ein Test, der ohne erklärbaren Grund heute erfolgreich ist und morgen fehlschlägt, erschwert die Fehlersuche und kostet Vertrauen. Gerade bei Modelländerungen, wechselnden Testdaten oder variierenden Ausführungsbedingungen sollten Teams daher festlegen, was sie versionieren und wie sie Veränderungen erkennen. 

Nicht jede Prüfung muss jedoch immer denselben Pfad nehmen. Explorative Tests können gerade davon profitieren, verschiedene Wege durch eine Anwendung auszuprobieren. Wichtig ist dann, dass die Bewertung der Ergebnisse verlässlich und nachvollziehbar bleibt. Die passende Balance hängt vom Testziel ab: Ein reproduzierbarer Regressionstest stellt andere Anforderungen als eine explorative Suche nach unerwarteten Interaktionen. 

Agentisches Testen: weniger Pflege oder mehr Komplexität? 

Natürlichsprachliche Browsertests wirken zunächst einfach: Ein Agent erhält eine Anweisung, etwa einen bestimmten Button zu betätigen, und führt den Ablauf in der Anwendung aus. Eine zusätzliche LLM-Schicht kann sogar versuchen, kleinere Änderungen an der Oberfläche auszugleichen zum Beispiel, wenn sich ein Button oder ein technischer Locator verändert hat. 

Das kann Wartungsaufwand reduzieren. Es bringt aber auch neue Abwägungen mit sich: Wie hoch sind die zusätzlichen Tokenkosten? Bleibt der erzeugte Testcode für das Team lesbar? Lässt sich nachvollziehen, warum ein Test einen bestimmten Weg gewählt hat? Wenn ein Test seine Schritte flexibel anpasst, muss klar sein, ob er noch dasselbe fachliche Verhalten überprüft. 

Der Nutzen ist deshalb nicht allein daran zu messen, ob ein Test „grün“ wird. Entscheidend ist, ob das Team dem Ergebnis vertrauen und den Test bei Bedarf verstehen und warten kann. 

Besser als gar keine Tests, oder? 

In kleinen Projekten oder Proofs of Concept können KI-generierte Tests eine pragmatische erste Absicherung bieten, wenn sonst kaum Testing stattfindet. Das ist ein möglicher Einstieg, aber kein Ersatz für fachliche Qualitätssicherung. 

Ähnlich vorsichtig sollten Teams KI im UX-Testing einordnen. Ein Modell kann mögliche Nutzungsprobleme aufzeigen, menschliche Nutzerforschung ersetzt es damit nicht. Zugleich stellt sich eine neue Frage: Anwendungen müssen möglicherweise nicht nur für Menschen, sondern auch für Agenten gut bedienbar sein. Für wen ein Produkt optimiert wird, bleibt eine bewusste Produktentscheidung. 

KI als Testassistent – Verantwortung bleibt menschlich 

LLMs können Testfall-, Testdaten- und Testcode-Erstellung beschleunigen und neue Möglichkeiten für automatisierte Tests eröffnen. Souverän wird ihr Einsatz aber nicht allein durch das gewählte Modell. Dazu gehören klare Testziele, überprüfbare Ergebnisse, ein bewusster Umgang mit Anbieterabhängigkeiten und Verantwortliche, die Entscheidungen treffen können. 

Die entscheidende Frage lautet daher nicht nur: „Was kann das LLM testen?“ Sondern auch: „Woran erkennen wir, dass der Test das Richtige prüft – und wer steht für diese Aussage ein?“