EDIH, EEN, Interreg : la plateforme des programmes européens.En savoir plus

Maturité ISO 29119 · Gestion des tests logiciels et qualité

Vos pratiques de test situées sur ISO 29119, converties en plan d’action chiffré.

10 thématiques, une échelle à 5 niveaux. Et l’action qui fait passer chaque niveau au suivant.

Les 10 thématiques du référentiel, déjà rédigées de N1 à N5. Une entreprise, une business unit, ou 300 à la fois.

Maturité ISO 29119 · Gestion des tests logiciels et qualité

Politique et stratégie de test organisationnellesN1 → N5
Gestion et planification des testsN1 → N5
Approche par les risquesN1 → N5
Conception et techniques de testN1 → N5

10 thématiques, échelle à 5 niveaux.

Nordhavn Industries

53 / 100

Politique et stratégie de test organisationnelles6484
Gestion et planification des tests5379
Approche par les risques6182
Conception et techniques de test3773
IAIndustrialisé : vos notes d’entretien suffisent, l’IA remplit l’audit.

Ils mesurent leur maturité avec Datamensio

  • CNES
  • Docaposte
  • ANITI
  • Pôle SCS
  • Cetim
  • Cap'Tronic

Un exemple

Cette situation pourrait être la vôtre.

Prenons l’exemple d’une entreprise : trois sites, trois tableurs, aucune réponse commune.

01

Personne ne sait consolider.

Nordhavn Industries, 2 400 personnes à Hambourg, Lyon et Porto. Un donneur d’ordre demande où en est le groupe. Chaque site répond dans son tableur, avec ses propres échelles.

02

Trois semaines, une seule base.

Un diagnostic ISO/IEC/IEEE 29119 (parties 1 à 5) lancé sur les trois sites en même temps, à partir des notes d’entretien des responsables. Le référentiel était déjà écrit, les 10 thématiques et les niveaux N1 à N5 aussi.

03

Deux dépenses évitées avant d’être engagées.

Un score de 53 sur 100, un écart concentré sur trois thèmes. Le compagnon IA a repéré que deux actions du plan doublonnaient avec celui d’un autre audit. La restitution au comité s’est demandée en une phrase.

Ce que ça leur a évité

  • 3sites mesurés sur la même base, au lieu de trois questionnaires à retraiter
  • 2actions en doublon détectées avant la dépense
  • 1restitution au comité, sans reprise manuelle

Ces chiffres sont ceux d’un exemple. Ils pourraient être les vôtres.

La norme impose des processus. Datamensio dit où vous en êtes.

01

Le référentiel est déjà écrit

Thématiques, questions et niveaux N1 à N5 rédigés. Vous ne partez pas d’un tableur vide.

02

Le score tombe le jour même

En ligne, par lien d’auto-évaluation ou en entretien. Thème par thème, comparable dans le temps.

03

L’écart devient un plan chiffré

Chaque passage de niveau porte son action. L’IA priorise sur l’effet attendu, pas sur l’ordre de la norme.

04

La progression se démontre

Campagne après campagne, contre votre cible et contre votre passé. C’est ce que demande votre COMEX.

L’échelle de maturité

Un niveau, le suivant, et l’action qui relie les deux.

C’est ce mécanisme (un niveau, un niveau supérieur, et l’action qui relie les deux) qui transforme un constat en trajectoire.

Les critères d’entrée et de sortie des phases de test sont-ils définis et appliqués ?

  1. N1

    Aucun critère formalisé. Le passage d’une phase à l’autre dépend de la disponibilité des équipes et de la date de livraison annoncée.

  2. N2

    Des critères figurent dans certains plans de test. Leur application varie selon les projets et ils cèdent devant la contrainte de délai.

  3. N3

    Les critères sont définis dans un modèle commun, appliqués sur la majorité des projets et vérifiés avant le passage en phase suivante. Les dérogations restent ponctuelles.

  4. N4

    Les critères sont systématiquement appliqués, les dérogations tracées et validées au niveau hiérarchique approprié, avec justification consignée.

  5. N5

    Les critères sont ajustés selon le niveau de risque du produit et révisés à partir de l’analyse des incidents en production, avec un suivi documenté des révisions.

Action pour passer de N2 à N3

Intégrer les critères d’entrée et de sortie au modèle de plan de test utilisé par toutes les équipes, et en faire un point de passage explicite de la revue de fin de sprint ou du comité de mise en production.

« Grâce à Datamensio, nous remplissons avec beaucoup plus d’efficacité nos objectifs. Les services d’inspection du FEDER et de notre ministère de tutelle ont particulièrement apprécié cette approche qui leur apporte une data fiable. »
Chambre de commerce et d'industrie

Directrice de la CCI 94CCI Île-de-France

« Nous pensons qu’il s’agit de la solution la plus adaptée pour amener notre projet de transformation à l’échelle et mesurer l’impact selon nos besoins. »
Interreg Danube Region

Maja SucekChief Operating Officer, Interreg Danube

Prenez votre première mesuresur ISO 29119.

De quoi parle ce référentiel

ISO/IEC/IEEE 29119 est la série de normes internationales consacrée au test logiciel. Elle se compose de cinq parties : les concepts et le vocabulaire, les processus de test organisés en trois couches (organisationnelle, gestion de test, test dynamique), la documentation associée à chacun de ces processus, les techniques de conception de cas de test, et le test piloté par mots-clés. Elle est indépendante du cycle de développement retenu : elle s’applique aussi bien à un projet séquentiel qu’à une équipe en flux continu. Elle décrit ce qu’il faut faire, pas l’outillage à déployer.

En pratique, la difficulté n’est pas de connaître la norme, elle est de savoir où l’organisation se situe réellement. La politique de test existe-t-elle ailleurs que dans un document rédigé lors d’un audit précédent ? Les critères d’entrée et de sortie sont-ils opposables au moment de la mise en production, ou négociés à chaque livraison sous pression de délai ? La couverture de test est-elle mesurée, ou déduite du nombre d’incidents remontés après coup ? Sur un portefeuille applicatif de plusieurs dizaines de produits, les réponses varient d’une équipe à l’autre, et personne ne dispose d’une vue consolidée.

Une confusion revient souvent : ISO 29119 aurait été rendue obsolète par l’agilité. La norme a fait l’objet d’un débat public dans la communauté du test, autour du risque de formalisme excessif. Les révisions successives ont clarifié le point : les processus sont à adapter au contexte et au niveau de risque, et la documentation peut être portée par l’outillage plutôt que par des livrables autonomes. Une autre confusion porte sur le périmètre : ISO 29119 traite du test, pas du management de la qualité au sens d’ISO 9001, ni de la gestion des services au sens d’ISO 20000. Les trois se croisent, ils ne se remplacent pas.

L’audit de conformité conclut par oui ou par non : le processus est en place, ou il ne l’est pas. Le diagnostic de maturité pose une autre question. À quel niveau de maîtrise se situe chaque pratique, et quelle action concrète fait passer au niveau suivant. Sur un sujet comme le test, où presque toutes les organisations font quelque chose, cette gradation est la seule qui produise une trajectoire exploitable. L’écart entre le score constaté et la cible génère le plan d’action, que l’IA regroupe en feuille de route priorisée.

Le référentiel est prêt à l’emploi dans Datamensio. Il s’adapte à votre contexte : l’IA ajuste les thématiques, les questions et les niveaux selon la méthode CMMI, ou construit une déclinaison à partir de votre politique de test, de vos plans de test et de vos standards internes.

Norme de référence : ISO/IEC/IEEE 29119 (parties 1 à 5)

Les thématiques évaluées

  • Politique et stratégie de test organisationnelles

    Existence d’une politique de test formalisée, déclinaison en stratégie organisationnelle, alignement sur les objectifs métier, révision périodique, appropriation par les équipes.

  • Gestion et planification des tests

    Plan de test, périmètre et objectifs, estimation de la charge, allocation des ressources et des compétences, jalons, critères d’entrée et de sortie.

  • Approche par les risques

    Identification des risques produit et projet, pondération de l’effort de test selon le risque, traçabilité entre risques et cas de test, réévaluation en cours de projet.

  • Conception et techniques de test

    Techniques retenues (partitions d’équivalence, valeurs limites, tables de décision, transitions d’état, tests basés sur l’expérience), justification des choix, mesure de la couverture.

  • Exécution et environnements

    Préparation et disponibilité des environnements, gestion des jeux de données, conditions de rejeu, gestion des configurations, isolement des environnements de test.

  • Gestion des anomalies

    Cycle de vie du défaut, criticité et priorisation, délais de traitement, analyse des causes racines, boucle de retour vers la conception.

  • Documentation et traçabilité

    Documents de test produits selon la partie 3, adaptation du niveau de formalisme au risque, traçabilité entre exigences, cas de test et résultats, conservation des preuves.

  • Automatisation et outillage

    Périmètre automatisé et critères de sélection, intégration dans la chaîne de construction et de déploiement, maintenance du patrimoine automatisé, tests de non-régression.

  • Indicateurs et pilotage

    Indicateurs de couverture, de progression et de qualité, restitution aux parties prenantes, décision de mise en production, fiabilité des données de mesure.

  • Compétences et amélioration continue

    Cartographie des compétences de test, formation et certification des équipes, retours d’expérience après incident majeur, évolution des pratiques dans le temps.

Une version courte du référentiel est disponible pour l’auto-évaluation en ligne.

Questions fréquentes

ISO 29119 est-elle certifiable ?

La série ISO/IEC/IEEE 29119 est un ensemble de normes de processus, sans schéma de certification d’entreprise associé comparable à celui d’ISO 9001. Les certifications existantes dans le domaine du test portent sur les personnes. Datamensio mesure la maturité de vos pratiques et prépare vos audits, il ne délivre aucun certificat.

Quelle différence entre ce diagnostic et un audit de conformité ?

L’audit vérifie la présence d’un processus et conclut par un écart ou une conformité. Le diagnostic situe chaque pratique sur une échelle de maturité et indique l’action qui fait passer au niveau suivant. Le diagnostic prépare l’audit, l’audit valide.

La norme est-elle compatible avec des équipes en agilité ?

Oui. Les processus décrits sont à adapter au contexte et au niveau de risque, et le formalisme documentaire peut être porté par l’outillage plutôt que par des livrables séparés. Le référentiel évalue la maîtrise de la pratique, pas le volume de documents produits.

Combien de temps prend l’évaluation ?

La version courte se remplit en une trentaine de minutes. En mode collaboratif, avec un test manager, un responsable d’environnements et un référent automatisation, la collecte s’étale généralement sur une à deux semaines.

Peut-on adapter le référentiel à notre organisation ?

Oui. Vous modifiez les questions, les niveaux et les thématiques, ou vous partez d’une base vierge. L’IA construit également une déclinaison à partir de votre politique de test et de vos standards internes. La maîtrise du référentiel vous appartient.

Peut-on comparer plusieurs équipes ou business units ?

Oui. Le même référentiel est diffusé à plusieurs entités, les scores se comparent par thématique et dans le temps. Une feuille de route transversale consolide les plans d’action issus des différents diagnostics, sans dupliquer les actions communes.

Comment le plan d’action est-il chiffré ?

Chaque écart entre le score constaté et la cible génère une action. Le catalogue de prestations ouvre une solution en face de chaque action, avec son coût, son délai et son impact attendu sur le score. Vous arbitrez sur des ordres de grandeur, pas sur des intentions.

Où sont hébergées les données ?

En France, chez OVH, avec sauvegarde chez Scaleway. Aucun transfert hors Union européenne. Les modèles d’IA mobilisés peuvent être sélectionnés, y compris parmi des solutions européennes.

Prenez votre première mesuresur ISO 29119.