Azure DevOps
Fonte para dados de atividades de teste, produtos, times, Sprints, impedimentos, bugs, severidade, classificação, motivo e ambiente de identificação do defeito.
← Voltar para todos os cases
Case 14 · KPIs, governança e IA aplicada à Qualidade
KPIs e Governança de Qualidade com Azure DevOps
Estruturação e evolução de indicadores para acompanhar esforço, fluxo, pré-requisitos, impedimentos e defeitos, apoiando a análise da operação de QA e a comunicação com a gestão.
Contexto
Medir não era contar testes. Era entender o comportamento da operação de Qualidade.
Com a evolução da área de QA e o aumento do volume de atividades, tornou-se necessário organizar indicadores que ajudassem a responder perguntas sobre esforço, fluxo, impedimentos, pré-requisitos, defeitos e distribuição das demandas.
7pace Timetracker
Fonte para o registro das horas dedicadas pelo time às diferentes atividades de QA e análise da distribuição de esforço por colaborador.
Referências de gestão
A estruturação dos indicadores considerou práticas de gestão de testes e maturidade estudadas a partir do TMMi e de conteúdos do BSTQB/ISTQB.
Uso da informação
Os indicadores eram consolidados e apresentados periodicamente à gestão para apoiar análise, discussão e tomada de decisão.
Indicadores acompanhados
Uma visão distribuída entre esforço, fluxo, condições de teste e defeitos.
Esforço e utilização do tempo
Horas em testes, reuniões, documentação, retestes, retrabalho e outras atividades de QA.
Fonte: 7pace TimetrackerAtividades de teste
Volume mensal, execução em Desenvolvimento e Homologação, distribuição por produto e time e itens entre Sprints.
Fonte: Azure DevOpsPré-requisitos de teste
Classificação das condições necessárias para execução como completas, incompletas ou inexistentes.
Fonte: Azure DevOpsImpedimentos
Acompanhamento de itens bloqueados por dependências ou condições que impediam o avanço das validações.
Fonte: Azure DevOpsDefeitos por ambiente
Bugs em Desenvolvimento e Homologação, itens solucionados e ocorrências reportadas pelo cliente.
Fonte: Azure DevOpsDefeitos por severidade, classificação e motivo
Leitura de padrões para apoiar investigação e oportunidades de melhoria no processo.
Fonte: Azure DevOpsGovernança e comunicação
Os dados só ganhavam valor quando eram transformados em contexto para decisão.
Os indicadores eram consolidados em materiais visuais e apresentados periodicamente à gestão, permitindo acompanhar diferentes dimensões da operação de QA.
Painel de Indicadores de Qualidade
Visão geral dos principais indicadores acompanhados
Atividades de teste por mês
Desenvolvimento e Homologação
Atividades por produto
Distribuição entre produtos e outros fluxos.
Atividades por time
Pré-requisitos de teste
Completos · Incompletos · Inexistentes
Atividades que passaram de Sprint
Itens em impedimento
Bugs por ambiente
Desenvolvimento e Homologação
Bugs por severidade
Critical · High · Medium · Low
Bugs por classificação
Erro · Defeito · Falha
Motivo de abertura dos bugs
Representação anonimizada:
os gráficos acima são ilustrativos e demonstram os tipos de indicadores
efetivamente acompanhados, sem reproduzir valores reais, produtos,
colaboradores ou informações internas.
Importante:
o objetivo dos KPIs não era automatizar a decisão.
A interpretação dependia de contexto, análise crítica,
conhecimento do fluxo e acompanhamento do time.
Evolução com QA Intelligence
Automatizar a obtenção da informação sem automatizar a decisão.
Parte da consulta aos dados do Azure DevOps evoluiu com a criação do QA Intelligence, agente de IA configurado com uma Action integrada à ferramenta e consultado por prompt.
Azure DevOps
Action
QA Intelligence
Prompt
Informação para análise
Antes
~6h
extração mensal das informações
Com QA Intelligence
~2h
extração mensal das informações
Azure DevOps
Fonte de dados
- Tarefas de teste
- Bugs
- Produtos
- Times
- Sprints
- Impedimentos
- Pré-requisitos
Action
Consulta por API
Action configurada para consultar dados do Azure DevOps e disponibilizá-los ao agente.
QA Intelligence
Agente de IA
Agente integrado via Action e capaz de consultar as informações disponíveis no Azure DevOps.
Consulta via prompt
Exemplos
- Atividades de teste no mês
- Bugs em homologação por severidade
- Itens em impedimento por time
- Atividades que passaram de Sprint
Informação para análise
Indicadores
Dados organizados para acompanhamento, consolidação e apresentação à gestão.
- Consulta de dados do Azure DevOps por prompt
- Apoio à extração e consolidação dos indicadores
- Redução aproximada de 6h para 2h na extração mensal
- Dados de esforço e tempo do 7pace Timetracker
- Horas por colaborador
- Integração entre QA Intelligence e 7pace
Representação pública:
o fluxo acima recria a lógica da integração real implementada
com o Azure DevOps, sem reproduzir informações confidenciais.
O que foi automatizado
Consulta e consolidação de informações disponíveis no Azure DevOps para apoio à preparação dos KPIs.
O que permaneceu manual
Os dados de esforço registrados no 7pace Timetracker continuaram sendo extraídos manualmente.
Evolução considerada
A integração com o 7pace foi considerada, mas não foi implementada antes do encerramento da atuação na empresa.
Papel da análise humana
A interpretação, contextualização e tomada de decisão continuaram sendo responsabilidades humanas.
Resultados observados
Mais visibilidade para a operação e menos esforço manual para consultar os dados.
Visibilidade operacional
Maior clareza sobre esforço, volume de atividades, fluxo de validação, impedimentos e defeitos.
Rastreabilidade
Informações de diferentes dimensões da operação passaram a ser acompanhadas de forma mais estruturada.
Comunicação com a gestão
Os materiais periódicos facilitaram a discussão dos indicadores e o acompanhamento da operação de QA.
Redução do esforço de extração
A consulta com o QA Intelligence reduziu de aproximadamente 6 para 2 horas o tempo mensal dedicado à extração das informações do Azure DevOps.
Escopo do resultado:
a redução de tempo refere-se à extração das informações
provenientes do Azure DevOps. Os dados do 7pace permaneceram manuais.
Competências demonstradas
Indicadores, governança, rastreabilidade e IA aplicada como apoio à liderança de QA.
Confidencialidade:
dados, números, produtos, colaboradores e informações internas
foram omitidos, anonimizados ou recriados nas representações públicas.