Maturidade ISO 29119 · Gestão de testes de software e qualidade
As suas práticas de teste situadas face à ISO 29119, convertidas num plano de ação orçamentado.
10 domínios, uma escala de 5 níveis. E a ação que faz passar de um nível para o seguinte.
Os 10 domínios do referencial, já redigidos de N1 a N5. Uma empresa, uma unidade de negócio, ou 300 de uma vez.
Maturidade ISO 29119 · Gestão de testes de software e qualidade
10 domínios, escala de 5 níveis.
Nordhavn Industries
53 / 100
Medem a sua maturidade com a Datamensio
Um exemplo
Esta situação podia ser a sua.
Vejamos o exemplo de uma empresa: três instalações, três folhas de cálculo, nenhuma resposta comum.
Ninguém sabe consolidar.
Nordhavn Industries, 2 400 pessoas em Hamburgo, Lyon e Porto. Um cliente pergunta em que ponto está o grupo. Cada instalação responde na sua folha de cálculo, com as suas próprias escalas.
Três semanas, uma única base.
Um diagnóstico ISO/IEC/IEEE 29119 (partes 1 a 5) lançado nas três instalações ao mesmo tempo, a partir das notas de entrevista dos responsáveis. O referencial já estava escrito, os 10 domínios e os níveis N1 a N5 também.
Duas despesas evitadas antes de serem assumidas.
Uma pontuação de 53 em 100, um desvio concentrado em três domínios. O assistente de IA detetou que duas ações do plano duplicavam as de outro diagnóstico. O relatório de resultados para a comissão foi pedido numa frase.
O que isto lhes evitou
- 3instalações medidas na mesma base, em vez de três questionários a retrabalhar
- 2ações duplicadas detetadas antes da despesa
- 1relatório de resultados para a comissão, sem retrabalho manual
Estes números são os de um exemplo. Podiam ser os seus.
A norma impõe processos. A Datamensio diz onde está.
01
O referencial já está escrito
Domínios, perguntas e níveis N1 a N5 redigidos. Não parte de uma folha de cálculo em branco.
02
A pontuação sai no próprio dia
Online, por link de autoavaliação ou em entrevista. Domínio a domínio, comparável ao longo do tempo.
03
O desvio transforma-se num plano com custos
Cada passagem de nível tem a sua ação. A IA prioriza pelo efeito esperado, não pela ordem da norma.
04
A progressão demonstra-se
Campanha após campanha, face ao seu objetivo e ao seu histórico. É isso que a sua comissão executiva pede.
A escala de maturidade
Um nível, o seguinte, e a ação que liga os dois.
É este mecanismo (um nível, um nível superior, e a ação que liga os dois) que transforma uma constatação numa trajetória.
Os critérios de entrada e saída das fases de teste estão definidos e são aplicados?
- N1
Nenhum critério formalizado. A passagem de uma fase para outra depende da disponibilidade das equipas e da data de entrega anunciada.
- N2
Alguns critérios constam em certos planos de teste. A sua aplicação varia consoante os projetos e cedem perante a pressão de prazo.
- N3
Os critérios estão definidos num modelo comum, aplicados na maioria dos projetos e verificados antes da passagem à fase seguinte. As exceções mantêm-se pontuais.
- N4
Os critérios são sistematicamente aplicados, as exceções registadas e validadas ao nível hierárquico apropriado, com justificação documentada.
- N5
Os critérios são ajustados segundo o nível de risco do produto e revistos a partir da análise dos incidentes em produção, com um acompanhamento documentado das revisões.
Ação para passar de N2 a N3
Integrar os critérios de entrada e saída no modelo de plano de teste usado por todas as equipas, e torná-los um ponto de passagem explícito na revisão de fim de sprint ou no comité de colocação em produção.
« Graças à Datamensio, cumprimos os nossos objetivos com muito mais eficácia. Os serviços de inspeção do FEDER e do nosso ministério de tutela apreciaram particularmente esta abordagem, que lhes fornece dados fiáveis. »
Diretora da CCI 94CCI Île-de-France
« Consideramos que é a solução mais adequada para levar o nosso projeto de transformação à escala e medir o impacto de acordo com as nossas necessidades. »
Maja SucekChief Operating Officer, Interreg Danube
Raramente sozinho
Um referencial combina-se. Associe vários para cobrir a sua atividade, ou peça à IA para escrever o seu.
Faça a sua primeira mediçãoem ISO 29119.
Sobre o que trata este referencial
A ISO/IEC/IEEE 29119 é a série de normas internacionais dedicada ao teste de software. É composta por cinco partes: os conceitos e o vocabulário, os processos de teste organizados em três camadas (organizacional, gestão de teste, teste dinâmico), a documentação associada a cada um destes processos, as técnicas de conceção de casos de teste, e o teste orientado por palavras-chave. É independente do ciclo de desenvolvimento adotado: aplica-se tanto a um projeto sequencial como a uma equipa em fluxo contínuo. Descreve o que é preciso fazer, não as ferramentas a implementar.
Na prática, a dificuldade não está em conhecer a norma, mas em saber onde a organização realmente se situa. A política de teste existe fora de um documento redigido numa auditoria anterior? Os critérios de entrada e saída são realmente aplicáveis no momento da colocação em produção, ou negociados a cada entrega sob pressão de prazo? A cobertura de teste é medida, ou deduzida do número de incidentes reportados depois? Numa carteira aplicacional de várias dezenas de produtos, as respostas variam de equipa para equipa, e ninguém dispõe de uma visão consolidada.
Uma confusão surge com frequência: a ISO 29119 teria sido tornada obsoleta pela agilidade. A norma foi objeto de um debate público na comunidade do teste, em torno do risco de formalismo excessivo. As revisões sucessivas clarificaram o ponto: os processos devem ser adaptados ao contexto e ao nível de risco, e a documentação pode ser suportada pelas ferramentas em vez de entregáveis autónomos. Outra confusão diz respeito ao âmbito: a ISO 29119 trata do teste, não da gestão da qualidade no sentido da ISO 9001, nem da gestão de serviços no sentido da ISO 20000. As três cruzam-se, não se substituem.
A auditoria de conformidade conclui com sim ou não: o processo está implementado, ou não está. O diagnóstico de maturidade coloca outra questão. Em que nível de domínio se situa cada prática, e que ação concreta permite passar ao nível seguinte. Num tema como o teste, onde quase todas as organizações fazem algo, esta gradação é a única que produz uma trajetória exequível. O desvio entre a pontuação constatada e o objetivo gera o plano de ação, que a IA agrupa num roteiro priorizado.
O referencial está pronto a usar no Datamensio. Adapta-se ao seu contexto: a IA ajusta os domínios, as perguntas e os níveis segundo o método CMMI, ou constrói uma variante a partir da sua política de teste, dos seus planos de teste e dos seus padrões internos.
Norma de referência: ISO/IEC/IEEE 29119 (partes 1 a 5)
Os domínios avaliados
Política e estratégia de teste organizacionais
Existência de uma política de teste formalizada, desdobramento em estratégia organizacional, alinhamento com os objetivos de negócio, revisão periódica, apropriação pelas equipas.
Gestão e planeamento dos testes
Plano de teste, âmbito e objetivos, estimativa do esforço, alocação de recursos e competências, marcos, critérios de entrada e saída.
Abordagem por riscos
Identificação dos riscos de produto e de projeto, ponderação do esforço de teste segundo o risco, rastreabilidade entre riscos e casos de teste, reavaliação ao longo do projeto.
Conceção e técnicas de teste
Técnicas adotadas (partições de equivalência, valores-limite, tabelas de decisão, transições de estado, testes baseados na experiência), justificação das escolhas, medição da cobertura.
Execução e ambientes
Preparação e disponibilidade dos ambientes, gestão dos conjuntos de dados, condições de repetição, gestão das configurações, isolamento dos ambientes de teste.
Gestão de anomalias
Ciclo de vida do defeito, criticidade e priorização, prazos de tratamento, análise das causas raiz, ciclo de retorno para a conceção.
Documentação e rastreabilidade
Documentos de teste produzidos segundo a parte 3, adaptação do nível de formalismo ao risco, rastreabilidade entre requisitos, casos de teste e resultados, conservação das evidências.
Automatização e ferramentas
Âmbito automatizado e critérios de seleção, integração na cadeia de construção e implementação, manutenção do património automatizado, testes de regressão.
Indicadores e acompanhamento
Indicadores de cobertura, progresso e qualidade, relatório de resultados às partes interessadas, decisão de colocação em produção, fiabilidade dos dados de medição.
Competências e melhoria contínua
Mapeamento das competências de teste, formação e certificação das equipas, lições aprendidas após incidente maior, evolução das práticas ao longo do tempo.
Está disponível uma versão curta do referencial para a auto-avaliação online.
Perguntas frequentes
A ISO 29119 é certificável?
A série ISO/IEC/IEEE 29119 é um conjunto de normas de processos, sem esquema de certificação empresarial associado comparável ao da ISO 9001. As certificações existentes na área do teste incidem sobre as pessoas. O Datamensio mede a maturidade das suas práticas e prepara as suas auditorias, não emite nenhum certificado.
Qual a diferença entre este diagnóstico e uma auditoria de conformidade?
A auditoria verifica a existência de um processo e conclui por um desvio ou uma conformidade. O diagnóstico situa cada prática numa escala de maturidade e indica a ação que permite passar ao nível seguinte. O diagnóstico prepara a auditoria, a auditoria valida.
A norma é compatível com equipas ágeis?
Sim. Os processos descritos devem ser adaptados ao contexto e ao nível de risco, e o formalismo documental pode ser suportado pelas ferramentas em vez de entregáveis separados. O referencial avalia o domínio da prática, não o volume de documentos produzidos.
Quanto tempo demora a avaliação?
A versão curta preenche-se em cerca de trinta minutos. Em modo colaborativo, com um test manager, um responsável de ambientes e um referente de automatização, a recolha estende-se geralmente por uma a duas semanas.
É possível adaptar o referencial à nossa organização?
Sim. Pode alterar as perguntas, os níveis e os domínios, ou partir de uma base em branco. A IA constrói também uma variante a partir da sua política de teste e dos seus padrões internos. O controlo do referencial pertence-lhe.
É possível comparar várias equipas ou unidades de negócio?
Sim. O mesmo referencial é distribuído por várias entidades, e as pontuações comparam-se por domínio e ao longo do tempo. Um roteiro transversal consolida os planos de ação resultantes dos diferentes diagnósticos, sem duplicar as ações comuns.
Como é orçamentado o plano de ação?
Cada desvio entre a pontuação constatada e o objetivo gera uma ação. O catálogo de serviços associa uma solução a cada ação, com o seu custo, prazo e impacto esperado na pontuação. As decisões são tomadas com base em ordens de grandeza, não em intenções.
Onde estão alojados os dados?
Em França, na OVH, com salvaguarda na Scaleway. Nenhuma transferência para fora da União Europeia. Os modelos de IA utilizados podem ser selecionados, incluindo entre soluções europeias.