Um Framework Centrado na Produtividade para DevOps: Avaliação de KPIs e Mensuração do Desempenho em Engenharia de Software em Organizações Bancárias de Grande Porte
DevOps, Métricas DORA, Desempenho no Desenvolvimento de Software, Produtividade em Engenharia de Software, Telemetria Automatizada, Organizações Bancárias de Grande Porte, Design Science Research, Framework de Telemetria
Contexto: A avaliação da produtividade das equipes de engenharia de software tornou-se cada vez mais complexa em ambientes bancários de larga escala, onde a entrega de software é moldada por requisitos regulatórios, restrições de auditabilidade, arquiteturas legadas, risco operacional e cadeias de ferramentas de desenvolvimento heterogêneas. Embora o processo de DevOps e as métricas DORA forneçam indicadores relevantes de desempenho das equipes, as abordagens de medição existentes muitas vezes dependem de pipelines de telemetria específicos de ferramentas, do uso de fontes de dados fragmentadas e de conjuntos limitados de KPIs, reContexto: A avaliação da produtividade das equipes de engenharia de software tornou-se cada vez mais complexa em ambientes bancários de larga escala, onde a entrega de software é moldada por requisitos regulatórios, restrições de auditabilidade, arquiteturas legadas, risco operacional e cadeias de ferramentas de desenvolvimento heterogêneas. Embora o processo de DevOps e as métricas DORA forneçam indicadores relevantes de desempenho das equipes, as abordagens de medição existentes muitas vezes dependem de pipelines de telemetria específicos de ferramentas, do uso de fontes de dados fragmentadas e de conjuntos limitados de KPIs, reduzindo a comparabilidade e a reprodutibilidade entre projetos. Objetivo: Esta pesquisa tem como objetivo projetar um framework de telemetria DevOps centrado na produtividade das equipes e independente de projeto para avaliar o desempenho de engenharia em organizações bancárias de larga escala. O objetivo primário é organizar métricas DevOps relevantes, identificar as fontes de dados necessárias, definir regras de extração e classificar sua viabilidade para medição baseada em telemetria. Como objetivo secundário, o estudo planeja avaliar se a telemetria extraída pode apoiar a análise estatística das relações entre indicadores DevOps viáveis e resultados de entrega relacionados às métricas DORA. Método: A pesquisa segue a Design Science Research Methodology (DSRM), estruturando o estudo em torno da identificação do problema, definição dos objetivos da solução, design e desenvolvimento do artefato, demonstração, avaliação e comunicação. O artefato proposto é composto por um catálogo de métricas, esquema de telemetria, regras de extração, modelo de classificação de viabilidade e fluxo de análise. O catálogo de métricas é fundamentado na literatura sobre DevOps e desempenho de entrega de software, incluindo as métricas DORA e indicadores mais amplos de produtividade identificados pelo uso de uma revisão Multivocal da literatura. A estratégia de validação separa a avaliação do artefato na etapa de qualificação da validação empírica na etapa de dissertação, permitindo que o framework seja avaliado por meio de análise de viabilidade, avaliação de rastreabilidade, classificação da viabilidade das métricas e demonstração de prova de conceito. Resultados Esperados: Na etapa de qualificação, o resultado esperado é um framework estruturado capaz de transformar práticas fragmentadas de medição DevOps em um modelo de telemetria que é independente de projeto. O framework apoia a classificação de métricas de acordo com viabilidade de automação, disponibilidade de dados, rastreabilidade, confiabilidade e relevância para ambientes bancários regulados. Ele também define como métricas não DORA viáveis poderão ser posteriormente utilizadas como variáveis independentes na análise estatística de resultados dependentes relacionados às métricas DORA, como Deployment Frequency, Lead Time for Changes, Change Failure Rate e Failed Deployment Recovery Time. Conclusão e Trabalhos Futuros: Esta pesquisa contribui para o projeto de uma abordagem baseada em telemetria para a avaliação baseada em evidências da produtividade DevOps em ambientes bancários e financeiros de larga escala. Ao posicionar o framework de telemetria como o artefato central e a modelagem preditiva como uma extensão empírica secundária, o estudo permanece metodologicamente válido mesmo que dados organizacionais completos não estejam disponíveis durante a etapa de qualificação. Trabalhos futuros se concentrarão na demonstração do framework utilizando repositórios representativos ou conjuntos de dados semelhantes a repositórios, no refinamento do modelo de viabilidade das métricas e, caso os dados organizacionais se tornem disponíveis, na condução de análises estatísticas para avaliar relações entre indicadores DevOps viáveis e resultados de entrega de softwareduzindo a comparabilidade e a reprodutibilidade entre projetos. Objetivo: Esta pesquisa tem como objetivo projetar um framework de telemetria DevOps centrado na produtividade das equipes e independente de projeto para avaliar o desempenho de engenharia em organizações bancárias de larga escala. O objetivo primário é organizar métricas DevOps relevantes, identificar as fontes de dados necessárias, definir regras de extração e classificar sua viabilidade para medição baseada em telemetria. Como objetivo secundário, o estudo planeja avaliar se a telemetria extraída pode apoiar a análise estatística das relações entre indicadores DevOps viáveis e resultados de entrega relacionados às métricas DORA. Método: A pesquisa segue a Design Science Research Methodology (DSRM), estruturando o estudo em torno da identificação do problema, definição dos objetivos da solução, design e desenvolvimento do artefato, demonstração, avaliação e comunicação. O artefato proposto é composto por um catálogo de métricas, esquema de telemetria, regras de extração, modelo de classificação de viabilidade e fluxo de análise. O catálogo de métricas é fundamentado na literatura sobre DevOps e desempenho de entrega de software, incluindo as métricas DORA e indicadores mais amplos de produtividade identificados pelo uso de uma revisão Multivocal da literatura. A estratégia de validação separa a avaliação do artefato na etapa de qualificação da validação empírica na etapa de dissertação, permitindo que o framework seja avaliado por meio de análise de viabilidade, avaliação de rastreabilidade, classificação da viabilidade das métricas e demonstração de prova de conceito. Resultados Esperados: Na etapa de qualificação, o resultado esperado é um framework estruturado capaz de transformar práticas fragmentadas de medição DevOps em um modelo de telemetria que é independente de projeto. O framework apoia a classificação de métricas de acordo com viabilidade de automação, disponibilidade de dados, rastreabilidade, confiabilidade e relevância para ambientes bancários regulados. Ele também define como métricas não DORA viáveis poderão ser posteriormente utilizadas como variáveis independentes na análise estatística de resultados dependentes relacionados às métricas DORA, como Deployment Frequency, Lead Time for Changes, Change Failure Rate e Failed Deployment Recovery Time. Conclusão e Trabalhos Futuros: Esta pesquisa contribui para o projeto de uma abordagem baseada em telemetria para a avaliação baseada em evidências da produtividade DevOps em ambientes bancários e financeiros de larga escala. Ao posicionar o framework de telemetria como o artefato central e a modelagem preditiva como uma extensão empírica secundária, o estudo permanece metodologicamente válido mesmo que dados organizacionais completos não estejam disponíveis durante a etapa de qualificação. Trabalhos futuros se concentrarão na demonstração do framework utilizando repositórios representativos ou conjuntos de dados semelhantes a repositórios, no refinamento do modelo de viabilidade das métricas e, caso os dados organizacionais se tornem disponíveis, na condução de análises estatísticas para avaliar relações entre indicadores DevOps viáveis e resultados de entrega de software.