Reifegrad ISO 29119 · Testmanagement für Software und Qualität
Ihre Testpraktiken auf ISO 29119 verortet, umgesetzt in einen bezifferten Maßnahmenplan.
10 Themenfelder, eine Skala mit 5 Stufen. Und die Maßnahme, die von einer Stufe zur nächsten führt.
Die 10 Themenfelder des Referenzrahmens, bereits ausformuliert von N1 bis N5. Ein Unternehmen, eine Business Unit, oder 300 gleichzeitig.
Reifegrad ISO 29119 · Testmanagement für Software und Qualität
10 Themenfelder, Skala mit 5 Stufen.
Nordhavn Industries
53 / 100
Sie messen ihren Reifegrad mit Datamensio
Ein Beispiel
Diese Situation könnte auch Ihre sein.
Nehmen wir das Beispiel eines Unternehmens: drei Standorte, drei Tabellen, keine gemeinsame Antwort.
Niemand weiß, wie man konsolidiert.
Nordhavn Industries, 2 400 Mitarbeitende in Hamburg, Lyon und Porto. Ein Auftraggeber fragt nach dem Stand des Konzerns. Jeder Standort antwortet mit seiner eigenen Tabelle und seinen eigenen Skalen.
Drei Wochen, eine einzige Grundlage.
Eine ISO/IEC/IEEE 29119 (Teile 1 bis 5)-Analyse, gestartet an allen drei Standorten gleichzeitig, auf Basis der Gesprächsnotizen der Verantwortlichen. Der Referenzrahmen war bereits geschrieben, ebenso die 10 Themenfelder und die Stufen N1 bis N5.
Zwei Ausgaben vermieden, bevor sie entstanden.
Ein Score von 53 von 100, eine Abweichung, die sich auf drei Themen konzentriert. Der KI-Begleiter stellte fest, dass sich zwei Maßnahmen des Plans mit denen eines anderen Audits überschnitten. Der Ergebnisbericht für das Gremium war in einem Satz erstellt.
Was ihnen dadurch erspart blieb
- 3Standorte auf derselben Grundlage gemessen, statt drei nachzubearbeitende Fragebögen
- 2doppelte Maßnahmen erkannt, bevor die Ausgabe erfolgte
- 1Ergebnisbericht für das Gremium, ohne manuelle Nachbearbeitung
Diese Zahlen stammen aus einem Beispiel. Sie könnten Ihre eigenen sein.
Die Norm schreibt Prozesse vor. Datamensio zeigt, wo Sie stehen.
01
Der Referenzrahmen ist bereits geschrieben
Themenfelder, Fragen und Stufen N1 bis N5 ausformuliert. Sie starten nicht mit einer leeren Tabelle.
02
Der Score liegt noch am selben Tag vor
Online, per Selbstbewertungslink oder im Gespräch. Themenfeld für Themenfeld, im Zeitverlauf vergleichbar.
03
Die Abweichung wird zu einem bezifferten Plan
Jeder Stufenübergang trägt seine Maßnahme. Die KI priorisiert nach erwarteter Wirkung, nicht nach der Reihenfolge der Norm.
04
Der Fortschritt lässt sich belegen
Kampagne für Kampagne, gegen Ihr Ziel und gegen Ihre Vergangenheit. Genau das verlangt Ihr Vorstand.
Die Reifegradskala
Eine Stufe, die nächste, und die Maßnahme, die beide verbindet.
Genau dieser Mechanismus, ein Niveau, ein höheres Niveau und die verbindende Maßnahme, verwandelt eine Feststellung in eine Entwicklungslinie.
Sind die Eingangs- und Ausgangskriterien der Testphasen definiert und werden sie angewendet?
- N1
Keine formalisierten Kriterien. Der Übergang von einer Phase zur nächsten hängt von der Verfügbarkeit der Teams und dem angekündigten Liefertermin ab.
- N2
Kriterien sind in einigen Testplänen enthalten. Ihre Anwendung variiert je nach Projekt und weicht dem Termindruck.
- N3
Die Kriterien sind in einer gemeinsamen Vorlage definiert, werden bei der Mehrheit der Projekte angewendet und vor dem Übergang in die nächste Phase überprüft. Abweichungen bleiben punktuell.
- N4
Die Kriterien werden durchgängig angewendet, Abweichungen werden dokumentiert und auf angemessener hierarchischer Ebene validiert, mit festgehaltener Begründung.
- N5
Die Kriterien werden je nach Produktrisiko angepasst und anhand der Analyse von Produktionsvorfällen überarbeitet, mit dokumentierter Nachverfolgung der Überarbeitungen.
Maßnahme für den Übergang von N2 zu N3
Die Eingangs- und Ausgangskriterien in die von allen Teams verwendete Testplan-Vorlage integrieren und sie zu einem expliziten Prüfpunkt der Sprint-Abschlussbesprechung oder des Produktivgang-Komitees machen.
« Dank Datamensio erfüllen wir unsere Ziele viel effizienter. Die Prüfstellen des EFRE und unseres zuständigen Ministeriums haben diesen Ansatz besonders geschätzt, da er ihnen verlässliche Daten liefert. »
Direktorin der CCI 94CCI Île-de-France
« Wir sind überzeugt, dass dies die am besten geeignete Lösung ist, um unser Transformationsprojekt zu skalieren und die Wirkung nach unseren Bedürfnissen zu messen. »
Maja SucekChief Operating Officer, Interreg Danube
Selten allein
Ein Referenzrahmen lässt sich kombinieren. Verbinden Sie mehrere, um Ihre Tätigkeit abzudecken, oder lassen Sie Ihren eigenen von der KI schreiben.
Nehmen Sie Ihre erste Messung vorauf ISO 29119.
Worum es in diesem Referenzrahmen geht
ISO/IEC/IEEE 29119 ist die internationale Normenreihe für das Software-Testen. Sie besteht aus fünf Teilen: Konzepte und Vokabular, Testprozesse in drei Schichten (organisatorisch, Testmanagement, dynamisches Testen), die zu jedem dieser Prozesse gehörende Dokumentation, Techniken zur Testfallgestaltung sowie schlüsselwortgesteuertes Testen. Sie ist unabhängig vom gewählten Entwicklungszyklus: Sie gilt sowohl für ein sequenzielles Projekt als auch für ein Team im kontinuierlichen Fluss. Sie beschreibt, was zu tun ist, nicht welche Werkzeuge einzusetzen sind.
In der Praxis liegt die Schwierigkeit nicht darin, die Norm zu kennen, sondern zu wissen, wo die Organisation tatsächlich steht. Existiert die Testpolitik anderswo als in einem Dokument, das bei einem früheren Audit verfasst wurde? Sind Eingangs- und Ausgangskriterien beim Produktivgang verbindlich, oder werden sie bei jeder Auslieferung unter Zeitdruck neu verhandelt? Wird die Testabdeckung gemessen, oder wird sie aus der Anzahl nachträglich gemeldeter Vorfälle abgeleitet? Bei einem Anwendungsportfolio mit mehreren Dutzend Produkten variieren die Antworten von Team zu Team, und niemand verfügt über eine konsolidierte Gesamtsicht.
Ein Missverständnis taucht häufig auf: ISO 29119 sei durch die Agilität überholt worden. Die Norm war in der Test-Community Gegenstand einer öffentlichen Debatte über das Risiko übermäßiger Formalisierung. Die aufeinanderfolgenden Überarbeitungen haben den Punkt geklärt: Die Prozesse sind an Kontext und Risikoniveau anzupassen, und die Dokumentation kann durch die Werkzeuge getragen werden statt durch eigenständige Liefergegenstände. Ein weiteres Missverständnis betrifft den Geltungsbereich: ISO 29119 behandelt das Testen, nicht das Qualitätsmanagement im Sinne von ISO 9001 und auch nicht das Service-Management im Sinne von ISO 20000. Die drei überschneiden sich, sie ersetzen sich nicht.
Das Konformitätsaudit endet mit Ja oder Nein: Der Prozess ist vorhanden, oder er ist es nicht. Die Reifegradanalyse stellt eine andere Frage. Auf welchem Beherrschungsniveau befindet sich jede Praktik, und welche konkrete Maßnahme führt zur nächsten Stufe. Bei einem Thema wie dem Testen, bei dem nahezu jede Organisation bereits etwas tut, ist diese Abstufung die einzige, die eine nutzbare Entwicklungslinie liefert. Die Abweichung zwischen festgestelltem Score und Zielwert erzeugt den Maßnahmenplan, den die KI zu einer priorisierten Roadmap bündelt.
Der Referenzrahmen ist in Datamensio einsatzbereit. Er passt sich Ihrem Kontext an: Die KI justiert Themenfelder, Fragen und Niveaus nach der CMMI-Methode, oder erstellt eine Ausprägung ausgehend von Ihrer Testpolitik, Ihren Testplänen und Ihren internen Standards.
Referenznorm: ISO/IEC/IEEE 29119 (Teile 1 bis 5)
Die bewerteten Themenfelder
Organisatorische Testpolitik und Teststrategie
Vorhandensein einer formalisierten Testpolitik, Ableitung in eine organisatorische Teststrategie, Ausrichtung auf die Geschäftsziele, regelmäßige Überarbeitung, Aneignung durch die Teams.
Testmanagement und Planung
Testplan, Umfang und Ziele, Aufwandsschätzung, Zuteilung von Ressourcen und Kompetenzen, Meilensteine, Eingangs- und Ausgangskriterien.
Risikobasierter Ansatz
Identifikation von Produkt- und Projektrisiken, Gewichtung des Testaufwands nach Risiko, Rückverfolgbarkeit zwischen Risiken und Testfällen, Neubewertung im Projektverlauf.
Testkonzeption und -techniken
Gewählte Techniken (Äquivalenzklassenbildung, Grenzwertanalyse, Entscheidungstabellen, Zustandsübergänge, erfahrungsbasiertes Testen), Begründung der Auswahl, Messung der Abdeckung.
Ausführung und Umgebungen
Vorbereitung und Verfügbarkeit der Umgebungen, Verwaltung der Testdaten, Bedingungen für Wiederholungen, Konfigurationsmanagement, Isolierung der Testumgebungen.
Fehlermanagement
Lebenszyklus des Defekts, Kritikalität und Priorisierung, Bearbeitungsfristen, Ursachenanalyse, Rückkopplung zur Konzeption.
Dokumentation und Rückverfolgbarkeit
Testdokumente gemäß Teil 3 erstellt, Anpassung des Formalisierungsgrads an das Risiko, Rückverfolgbarkeit zwischen Anforderungen, Testfällen und Ergebnissen, Aufbewahrung von Nachweisen.
Automatisierung und Werkzeuge
Automatisierter Umfang und Auswahlkriterien, Einbindung in die Build- und Deployment-Kette, Pflege des automatisierten Bestands, Regressionstests.
Kennzahlen und Steuerung
Kennzahlen zu Abdeckung, Fortschritt und Qualität, Berichterstattung an die Stakeholder, Entscheidung über den Produktivgang, Zuverlässigkeit der Messdaten.
Kompetenzen und kontinuierliche Verbesserung
Kompetenzkartierung im Testbereich, Schulung und Zertifizierung der Teams, Erfahrungsauswertung nach schwerwiegenden Vorfällen, Weiterentwicklung der Praktiken über die Zeit.
Eine Kurzversion des Referenzrahmens steht für die Online-Selbstbewertung zur Verfügung.
Häufige Fragen
Ist ISO 29119 zertifizierbar?
Die Reihe ISO/IEC/IEEE 29119 ist eine Sammlung von Prozessnormen, ohne ein mit ISO 9001 vergleichbares Unternehmenszertifizierungsschema. Bestehende Zertifizierungen im Testbereich beziehen sich auf Personen. Datamensio misst den Reifegrad Ihrer Praktiken und bereitet Ihre Audits vor, es stellt kein Zertifikat aus.
Was unterscheidet diese Analyse von einem Konformitätsaudit?
Das Audit überprüft das Vorhandensein eines Prozesses und endet mit einer Abweichung oder Konformität. Die Analyse verortet jede Praktik auf einer Reifegradskala und zeigt die Maßnahme, die zur nächsten Stufe führt. Die Analyse bereitet das Audit vor, das Audit bestätigt.
Ist die Norm mit agil arbeitenden Teams vereinbar?
Ja. Die beschriebenen Prozesse sind an Kontext und Risikoniveau anzupassen, und der dokumentarische Formalismus kann durch die Werkzeuge getragen werden statt durch getrennte Liefergegenstände. Der Referenzrahmen bewertet die Beherrschung der Praktik, nicht die Menge erzeugter Dokumente.
Wie lange dauert die Bewertung?
Die Kurzversion ist in etwa dreißig Minuten ausgefüllt. Im kollaborativen Modus, mit einem Test Manager, einem Umgebungsverantwortlichen und einem Automatisierungsreferenten, erstreckt sich die Erhebung in der Regel über ein bis zwei Wochen.
Lässt sich der Referenzrahmen an unsere Organisation anpassen?
Ja. Sie ändern Fragen, Niveaus und Themenfelder, oder Sie starten von einer leeren Basis aus. Die KI erstellt außerdem eine Ausprägung ausgehend von Ihrer Testpolitik und Ihren internen Standards. Die Kontrolle über den Referenzrahmen liegt bei Ihnen.
Können mehrere Teams oder Business Units verglichen werden?
Ja. Derselbe Referenzrahmen wird an mehrere Einheiten verteilt, die Scores lassen sich je Themenfeld und über die Zeit vergleichen. Eine bereichsübergreifende Roadmap konsolidiert die Maßnahmenpläne aus den verschiedenen Analysen, ohne gemeinsame Maßnahmen zu verdoppeln.
Wie wird der Maßnahmenplan beziffert?
Jede Abweichung zwischen festgestelltem Score und Zielwert erzeugt eine Maßnahme. Der Leistungskatalog stellt jeder Maßnahme eine Lösung gegenüber, mit Kosten, Frist und erwarteter Auswirkung auf den Score. Sie entscheiden anhand von Größenordnungen, nicht anhand von Absichten.
Wo werden die Daten gehostet?
In Frankreich, bei OVH, mit Sicherung bei Scaleway. Keine Übertragung außerhalb der Europäischen Union. Die eingesetzten KI-Modelle können ausgewählt werden, auch aus europäischen Lösungen.