Maturidade ISO 29119 · Gestão de testes de software e qualidade
Suas práticas de teste posicionadas na ISO 29119, convertidas em plano de ação com valores definidos.
10 temas, undefined perguntas, uma escala de 5 níveis. E a ação que faz cada nível avançar para o seguinte.
Os 10 temas do referencial, já redigidos de N1 a N5. Uma empresa, uma unidade de negócio, ou 300 ao mesmo tempo.
Maturidade ISO 29119 · Gestão de testes de software e qualidade
10 temas, undefined perguntas, escala de 5 níveis.
Nordhavn Industries
53 / 100
Eles medem sua maturidade com a Datamensio
Um exemplo
Essa situação poderia ser a sua.
Vamos pegar o exemplo de uma empresa: três unidades, três planilhas, nenhuma resposta em comum.
Ninguém sabe consolidar.
A Nordhavn Industries, 2.400 pessoas em Hamburgo, Lyon e Porto. Um cliente pergunta como está o grupo. Cada unidade responde na sua própria planilha, com suas próprias escalas.
Três semanas, uma única base.
Um diagnóstico ISO/IEC/IEEE 29119 (partes 1 a 5) iniciado nas três unidades ao mesmo tempo, a partir das anotações de entrevista dos responsáveis. O referencial já estava escrito, os 10 temas e os níveis N1 a N5 também.
Dois gastos evitados antes de serem assumidos.
Um score de 53 em 100, um desvio concentrado em três temas. O assistente de IA identificou que duas ações do plano se repetiam com as de outra auditoria. A apresentação dos resultados ao comitê foi solicitada em uma frase.
O que isso evitou para eles
- 3unidades medidas na mesma base, em vez de três questionários para retrabalhar
- 2ações duplicadas detectadas antes do gasto
- 1apresentação dos resultados ao comitê, sem retrabalho manual
Esses números são de um exemplo. Eles poderiam ser os seus.
A norma impõe processos. A Datamensio mostra onde você está.
01
O referencial já está escrito
Temas, perguntas e níveis N1 a N5 redigidos. Você não começa de uma planilha vazia.
02
O score sai no mesmo dia
On-line, por link de autoavaliação ou em entrevista. Tema por tema, comparável ao longo do tempo.
03
O desvio vira um plano com custos definidos
Cada passagem de nível traz sua ação. A IA prioriza pelo efeito esperado, não pela ordem da norma.
04
A evolução se comprova
Campanha após campanha, contra sua meta e contra seu histórico. É o que sua diretoria pede.
A escala de maturidade
Um nível, o seguinte, e a ação que liga os dois.
É esse mecanismo (um nível, um nível superior e a ação que liga os dois) que transforma uma constatação em trajetória.
Os critérios de entrada e saída das fases de teste estão definidos e sendo aplicados?
- N1
Nenhum critério formalizado. A passagem de uma fase para outra depende da disponibilidade das equipes e da data de entrega anunciada.
- N2
Critérios existem em alguns planos de teste. Sua aplicação varia conforme o projeto e eles cedem diante da pressão de prazo.
- N3
Os critérios são definidos em um modelo comum, aplicados na maioria dos projetos e verificados antes da passagem para a fase seguinte. As exceções permanecem pontuais.
- N4
Os critérios são aplicados sistematicamente, as exceções são registradas e validadas no nível hierárquico adequado, com justificativa documentada.
- N5
Os critérios são ajustados conforme o nível de risco do produto e revisados a partir da análise de incidentes em produção, com acompanhamento documentado das revisões.
Ação para passar de N2 para N3
Incorporar os critérios de entrada e saída ao modelo de plano de teste usado por todas as equipes, e torná-los um ponto de verificação explícito na revisão de fim de sprint ou no comitê de colocação em produção.
« Graças à Datamensio, cumprimos nossas metas com muito mais eficiência. Os serviços de inspeção do FEDER e do nosso ministério supervisor apreciaram especialmente essa abordagem, que lhes traz dados confiáveis. »
Diretora da CCI 94CCI Île-de-France
« Acreditamos que essa é a solução mais adequada para levar nosso projeto de transformação em escala e medir o impacto de acordo com nossas necessidades. »
Maja SucekChief Operating Officer, Interreg Danube
Raramente sozinho
Um referencial se combina. Associe vários para cobrir sua atividade, ou peça para a IA escrever o seu.
Faça sua primeira mediçãoem ISO 29119.
Do que trata esse referencial
ISO/IEC/IEEE 29119 é a série de normas internacionais dedicada ao teste de software. É composta por cinco partes: conceitos e vocabulário, processos de teste organizados em três camadas (organizacional, gestão de teste, teste dinâmico), a documentação associada a cada um desses processos, as técnicas de projeto de casos de teste e o teste orientado por palavras-chave. Ela é independente do ciclo de desenvolvimento adotado: aplica-se tanto a um projeto sequencial quanto a uma equipe em fluxo contínuo. Ela descreve o que precisa ser feito, não as ferramentas a serem implantadas.
Na prática, a dificuldade não está em conhecer a norma, está em saber onde a organização realmente se encontra. A política de teste existe em algum lugar além de um documento redigido durante uma auditoria anterior? Os critérios de entrada e saída são respeitados no momento da colocação em produção, ou são negociados a cada entrega sob pressão de prazo? A cobertura de teste é medida, ou deduzida a partir do número de incidentes reportados depois? Em um portfólio de aplicações com dezenas de produtos, as respostas variam de uma equipe para outra, e ninguém tem uma visão consolidada.
Uma confusão é recorrente: a ISO 29119 teria se tornado obsoleta com o ágil. A norma foi alvo de um debate público na comunidade de testes, em torno do risco de formalismo excessivo. As revisões sucessivas esclareceram o ponto: os processos devem ser adaptados ao contexto e ao nível de risco, e a documentação pode ser sustentada pelas ferramentas em vez de entregáveis autônomos. Outra confusão diz respeito ao escopo: a ISO 29119 trata de teste, não da gestão da qualidade no sentido da ISO 9001, nem da gestão de serviços no sentido da ISO 20000. As três se cruzam, mas não se substituem.
A auditoria de conformidade conclui com sim ou não: o processo está implementado, ou não está. O diagnóstico de maturidade coloca outra pergunta. Em que nível de domínio está cada prática, e qual ação concreta faz avançar para o nível seguinte. Em um tema como o teste, em que praticamente todas as organizações fazem alguma coisa, essa gradação é a única que produz uma trajetória utilizável. A lacuna entre a pontuação constatada e a meta gera o plano de ação, que a IA organiza em um roteiro priorizado.
O referencial está pronto para uso no Datamensio. Ele se adapta ao seu contexto: a IA ajusta os temas, as perguntas e os níveis conforme o método CMMI, ou constrói uma versão personalizada a partir da sua política de teste, dos seus planos de teste e dos seus padrões internos.
Norma de referência: ISO/IEC/IEEE 29119 (partes 1 a 5)
Os temas avaliados
Política e estratégia de teste organizacionais
Existência de uma política de teste formalizada, desdobramento em estratégia organizacional, alinhamento com os objetivos do negócio, revisão periódica, apropriação pelas equipes.
Gestão e planejamento de testes
Plano de teste, escopo e objetivos, estimativa de esforço, alocação de recursos e competências, marcos, critérios de entrada e saída.
Abordagem baseada em riscos
Identificação de riscos de produto e de projeto, ponderação do esforço de teste conforme o risco, rastreabilidade entre riscos e casos de teste, reavaliação ao longo do projeto.
Projeto e técnicas de teste
Técnicas adotadas (partições de equivalência, valores limite, tabelas de decisão, transições de estado, testes baseados em experiência), justificativa das escolhas, medição da cobertura.
Execução e ambientes
Preparação e disponibilidade dos ambientes, gestão de massas de dados, condições de reexecução, gestão de configurações, isolamento dos ambientes de teste.
Gestão de defeitos
Ciclo de vida do defeito, criticidade e priorização, prazos de tratamento, análise de causa raiz, retorno ao projeto.
Documentação e rastreabilidade
Documentos de teste produzidos conforme a parte 3, adaptação do nível de formalismo ao risco, rastreabilidade entre requisitos, casos de teste e resultados, conservação das evidências.
Automação e ferramentas
Escopo automatizado e critérios de seleção, integração na esteira de build e deploy, manutenção do patrimônio automatizado, testes de regressão.
Indicadores e gestão
Indicadores de cobertura, progresso e qualidade, apresentação dos resultados para as partes interessadas, decisão de colocação em produção, confiabilidade dos dados de medição.
Competências e melhoria contínua
Mapeamento das competências de teste, capacitação e certificação das equipes, lições aprendidas após incidente grave, evolução das práticas ao longo do tempo.
Uma versão curta do referencial, com undefined perguntas, está disponível para autoavaliação on-line. A versão completa tem 10 temas e undefined perguntas.
Perguntas frequentes
A ISO 29119 é certificável?
A série ISO/IEC/IEEE 29119 é um conjunto de normas de processo, sem um esquema de certificação organizacional comparável ao da ISO 9001. As certificações existentes na área de teste são voltadas para profissionais. O Datamensio mede a maturidade de suas práticas e prepara suas auditorias, mas não emite nenhum certificado.
Qual a diferença entre esse diagnóstico e uma auditoria de conformidade?
A auditoria verifica a presença de um processo e conclui por uma lacuna ou uma conformidade. O diagnóstico posiciona cada prática em uma escala de maturidade e indica a ação que leva ao nível seguinte. O diagnóstico prepara a auditoria, a auditoria valida.
A norma é compatível com equipes ágeis?
Sim. Os processos descritos devem ser adaptados ao contexto e ao nível de risco, e o formalismo documental pode ser sustentado pelas ferramentas em vez de entregáveis separados. O referencial avalia o domínio da prática, não o volume de documentos produzidos.
Quanto tempo leva a avaliação?
A versão curta é preenchida em cerca de trinta minutos. No modo colaborativo, com um test manager, um responsável por ambientes e um referente de automação, a coleta geralmente se estende por uma a duas semanas.
É possível adaptar o referencial à nossa organização?
Sim. Você pode modificar as perguntas, os níveis e os temas, ou partir de uma base em branco. A IA também constrói uma versão personalizada a partir da sua política de teste e dos seus padrões internos. O controle do referencial é seu.
É possível comparar várias equipes ou unidades de negócio?
Sim. O mesmo referencial é aplicado a várias unidades, e as pontuações são comparadas por tema e ao longo do tempo. Um roteiro transversal consolida os planos de ação provenientes dos diferentes diagnósticos, sem duplicar as ações comuns.
Como o plano de ação tem seus valores definidos?
Cada lacuna entre a pontuação constatada e a meta gera uma ação. O catálogo de serviços associa uma solução a cada ação, com seu custo, prazo e impacto esperado na pontuação. Você decide com base em ordens de grandeza, não em intenções.
Onde os dados são armazenados?
Na França, na OVH, com backup na Scaleway. Nenhuma transferência para fora da União Europeia. Os modelos de IA utilizados podem ser selecionados, inclusive entre soluções europeias.