Para
Jorge
Diretor · Qualitin Soluções em Gestão
De: Alexandre Mota · KITEBIZ
Data: 15/05/2026
Análise preliminar
RPPA · Izzi
21 meses · 3,0 GB · 4,24 M linhas
Tese em uma linha
Olá Jorge,
Recebi acesso aos datasets operacionais do projeto RPPA na izzi México (~3,0 GB, 21 meses, 4,24 M linhas, 15 fontes consolidadas). Fiz a análise preliminar nas métricas confirmadas pelo Cesar: Productividad (Operaciones e Ventas), Reincidências, FPD e Red Externa.
Abaixo, em sequência: contexto e escopo do projeto, os 4 achados com maior valor diagnóstico — três compatíveis com efeito do RPPA e um claramente contrário — limitações metodológicas honestas, pendências com o cliente e roadmap analítico.
Posicionamento honesto: não dá pra afirmar "RPPA funcionou" nem "RPPA não funcionou" com os dados que temos agora. Documento mostra o que está nos dados, sem inventar.
Cronograma RPPA Izzi (conforme briefing do cliente)
| Período | Fase | Status |
|---|---|---|
| jan/2024 – dez/2024 | Baseline (sem RPPA) | Controle temporal |
| jan/2025 | Capacitações iniciais | Período de transição |
| fev–mar/2025 | Primeiras visitas em campo | Sem efeito esperado ainda |
| abr–jul/2025 | Acompanhamento ativo (efeito esperado) | Janela quente |
| ago/2025 | Rigor máximo + cierre | Relatório final entregue |
| set/2025 → | Sem rigor, sem software | Decay window |
Escopo da intervenção
| Área | Cidades RPPA | Supervisores | Operadores |
|---|---|---|---|
| Operaciones | Cuernavaca, Cuautla, Ixtapaluca | 17 | 242 |
| Ventas | Cuernavaca, Cuautla, Ixtapaluca | 6 | 125 |
| Red Externa | Ecatepec, Chimalhuacán, Ixtapaluca | 3 | 55 |
Em Ventas, apenas 3 supervisores por cidade entraram no RPPA (de um total maior na gerência). Sem mapeamento AD↔Siebel disponível, não é possível isolar supervisores RPPA dentro das cidades intervenidas.
Dados processados
| Fonte | Linhas | Período coberto |
|---|---|---|
| Trouble Calls Siebel (S_ORDER) | 234.241 | jan/24–set/25 |
| Instalaciones Siebel (S_ORDER) | 378.357 | jan/24–set/25 |
| Tickets Planta Externa (S_SRV_REQ) | 148.325 | jan/24–set/25 |
| Reincidencia (RPPA) | 44.598 | jan/24–set/25 |
| SLA Mensal (RPPA) | 5.907 | out/24–set/25 |
| Ventas 2024 (6 bimestres) | 1.863.971 | jan/24–dez/24 |
| Ventas 2025 (3 bases) | 1.564.303 | jan/25–nov/25 |
| Total | 4.239.702 | 21 meses |
Cidades controle (não intervindas)
Operaciones e Ventas: Nezahualcóyotl, Chalco, Tecamac, Texcoco, Melchor Ocampo. Volume operacional comparável, sem intervenção RPPA — linha de base para distinguir efeito específico da metodologia de tendências macro da operação.
Das 3 cidades RPPA, Cuautla é a única que apresenta 5 sinais convergentes de efeito. Importante: o efeito persiste no decay (set/2025, sem consultoria presente). Isso argumenta contra efeito Hawthorne puro.
TC / Instalação ratio
−37%
vs baseline 2024 · persiste no decay (−33%)
Telefonía TCs
−74%
61 → 16 TCs/mês entre baseline e decay
Ventas instaladas ano-a-ano
+12,9%
abr-jul/24 → abr-jul/25 (remove sazonalidade)
TC/Instalação ratio — Cuautla vs controles (Δ vs baseline 2024)
| Período | Cuautla (RPPA) | Δ vs baseline | Controle médio |
|---|---|---|---|
| Baseline 2024 | 0,940 | — | — |
| Intervenção (abr–jul) | 0,757 | −19,5% | −15,0% |
| Cierre (ago) | 0,591 | −37,2% | −15,1% |
| Decay (set) | 0,634 | −32,6% | −0,2% |
Cuautla mantém −33% no decay enquanto a média dos controles voltou ao baseline (−0,2%). Argumenta contra efeito Hawthorne puro.
O que isso significa
Cuautla mostra 5 sinais convergentes: TC/Inst caiu e persistiu, Video TCs caíram 52%, Telefonía 74%, vendas instaladas cresceram, instalações operacionais cresceram. As outras duas cidades RPPA não convergem assim — Ixtapaluca tem sinais parciais; Cuernavaca contradiz.
Por que isso importa pra Qualitin
A história de Cuautla é o melhor argumento que temos hoje. Mas não dá pra explicar por que apenas Cuautla respondeu sem dados de aderência ao tratamento (logs do software, frequência de reuniões, engajamento por supervisor). Pedimos isso ao Cesar.
Análise semântica do mix de motivos de cancelamento em Ventas. Quase todos os motivos se moveram em paralelo entre RPPA e controle (=tendência macro). Único motivo com direção oposta: "Orden mal generada" — diretamente atribuível ao vendedor no momento da captura.
| Motivo | Δ RPPA (intervenção) | Δ Controle (intervenção) | Direção |
|---|---|---|---|
| FALTAN DATOS | −1,9pp | −1,8pp | paralela |
| FALTAN DOCUMENTOS | −1,9pp | −1,6pp | paralela |
| DOMICILIO CON ADEUDO (FPD) | −1,2pp | −1,4pp | paralela |
| ORDEN MAL GENERADA | −0,5pp | +0,3pp | divergente |
Significância estatística
Chi-square sobre composição do mix: χ² = 53,15, df = 7, p < 0,001. O mix é estatisticamente diferente entre RPPA e controle — mas o sinal direcional é específico em "Orden mal generada" (−0,8pp diff). Magnitude pequena mas não explicável por tendência macro.
O que isso significa pra Qualitin
Se a metodologia RPPA influenciou prática de venda, esperaríamos cair "Orden mal generada" (preenchimento com erro no momento da captura). É o único sinal específico consistente com mudança no processo de captura. Magnitude modesta mas direcionalmente atribuível.
Métrica de qualidade de planejamento: se RPPA melhorou planejamento operacional, esperamos que a distribuição inteira do tempo até instalação se desloque — não apenas a média.
RPPA · KS (baseline vs intervenção)
0,121
n = 98 mil amostras
Controle · KS
0,071
n = 58 mil amostras
Estatísticas da distribuição (dias até instalação)
| Grupo | Período | Mediana | P90 | Média |
|---|---|---|---|---|
| RPPA | Baseline 2024 | 2,0 | 6,0 | 3,4 |
| RPPA | Decay (set/25) | 2,0 | 4,0 | 2,4 |
| Controle | Baseline 2024 | 3,0 | 6,5 | 3,7 |
| Controle | Decay (set/25) | 2,0 | 4,5 | 2,4 |
O que isso significa
Estatística KS maior = distribuição mudou mais. Em RPPA, a distribuição é ~70% mais alterada que em controle. Em medianas/médias absolutas, ambos os grupos aceleraram (3,4 → 2,4 dias) — mudança macro. Mas o deslocamento da distribuição inteira (incluindo cauda) foi mais pronunciado em RPPA.
Por que isso é compatível com RPPA
Programas de gestão visam reduzir variabilidade e melhorar planejamento — efeito esperado é exatamente deslocamento da distribuição (cauda longa diminui). RPPA mostra esse padrão com mais força que controle. Magnitude é modesta, mas direção é consistente com a teoria de mudança.
Não vamos esconder o que não funcionou. Quatro pontos relevantes onde RPPA não diferencia de controle ou, em alguns casos, fica pior.
Cuernavaca piorou em Operaciones
TC/Instalação ratio: +5% (intervenção) → +15% (cierre) → +35% (decay). Pior trajetória do conjunto.
Ventas RPPA pior que controle ano-a-ano
Média Ventas instaladas abr-jul/24 → abr-jul/25: RPPA = −5,6% · Controle = +2,2%. Ixtapaluca −18,6%, Cuernavaca −11,2%. No agregado, cidades RPPA tiveram desempenho inferior.
FPD caiu em TODAS as cidades
Métrica de qualidade de venda caiu 1 a 2,5pp em RPPA e em controle. DiD ≈ +0,4pp. Tendência macro — provavelmente algo central mudou na izzi (validação de crédito, campanha de regularização). Não atribuível ao RPPA.
First-Time-Fix Rate caiu igual em RPPA e Controle
FTFR caiu −10,9pp em RPPA · −10,0pp em controle. DiD ≈ 0. Não diferencia. Padrão macro novamente.
Leitura
O efeito RPPA, se existe, é heterogêneo entre cidades e específico em algumas dimensões. Várias métricas de outcome final melhoraram em todas as cidades igualmente — não é o efeito RPPA, é macro. Esses números fazem parte da história e o relatório final precisa nomeá-los.
Síntese honesta
O padrão "pico-cierre + queda-decay" em métricas operacionais é compatível com três hipóteses igualmente plausíveis: efeito real da metodologia que decai sem aplicação, efeito Hawthorne (consultoria presente força foco), ou pressão de fim-de-projeto. Distinguir formalmente exige dados de aderência ao tratamento que ainda não temos.
A análise não prova que o RPPA funcionou. Também não prova que não funcionou. Mostra com rigor o que está nos dados — sem inventar.
Cinco problemas estruturais que limitam a inferência causal hoje. Nomear estes limites é o que distingue consultoria séria de overpromise.
O que os dados PODEM responder hoje
O que os dados NÃO podem responder hoje
Antes de fechar o relatório final pra izzi, enviamos ao Cesar (em 15/05/2026) seis perguntas que destravam análise causal defensável. Status: sem resposta no momento.
| # | Pergunta | O que destrava | Prioridade |
|---|---|---|---|
| 1 | Documento da metodologia RPPA (mecanismo, teoria de mudança) | Mapear outcome ao mecanismo | Alta |
| 2 | Logs do software RPPA (acessos por supervisor, descontinuidade, planos) | Distingue Hawthorne de efeito real | Crítica |
| 3 | Mapeamento AD ↔ Siebel (username RPPA ↔ código CAPT/CVVEN) | Isola supervisores RPPA dentro da mesma cidade | Crítica |
| 4 | Critério de seleção das cidades e supervisores | Avaliar sesgo de seleção | Alta |
| 5 | Mudanças centrais na izzi em 2025 (sistemas, KPIs, cobrança, promoções) | Confounders macro | Alta |
| 6 | Explicação da queda generalizada de FPD em 2025 | Atribuição correta do efeito | Média |
Por que #2 e #3 são as que mais movem a agulha
Com logs de software + mapeamento AD↔Siebel, conseguimos rodar análise por supervisor com dose-resposta: "supervisores que usaram software ≥ N vezes vs supervisores que usaram < N vezes, ambos no RPPA, mesma cidade". Isso transforma o desenho atual (3 clusters) em algo com ~30 supervisores RPPA + ~30 controles internos — sample size suficiente para inferência causal defensável.
Análises adicionais possíveis com os dados atuais
| Análise | Modelo | O que entrega |
|---|---|---|
| Difference-in-Differences formal | OLS com interação, cluster-robust SE | Magnitude do efeito com IC (limitada por N=3) |
| Interrupted Time Series | Segmented regression + Newey-West SE | Quebra de nível e inclinação em abr/25 |
| Synthetic Control | Abadie-Diamond-Hainmueller | "Cuautla sintética" como contrafactual |
| CausalImpact Bayesiano | BSTS (Bayesian Structural Time Series) | Predição contrafactual + IC posterior |
| Análise por técnico (reincidência) | Agregação por técnico-mês | Granularidade abaixo da cidade |
| Placebo tests | DiD em datas falsas | Verifica robustez dos sinais |
O que cada destravador (do cliente) habilita
| Destravador | Habilita | Defensibilidade final |
|---|---|---|
| Documento da metodologia | Mapear outcome para mecanismo | Médio |
| Logs do software RPPA | Treatment-on-treated, dose-resposta | Alto |
| Mapping AD↔Siebel | Controle interno por supervisor | Alto |
| Critério de seleção | Avaliar e ajustar sesgo | Médio |
| Confounders centrais | Isolar efeito RPPA do macro | Médio-Alto |
Cenário com destravadores #2 e #3
Com logs de software + mapping AD↔Siebel, podemos rodar análise por supervisor com dose-resposta: "supervisores que usaram software ≥ N vezes vs < N vezes, ambos no RPPA, mesma cidade". Isso transforma o desenho atual (3 clusters) em algo com ~30 supervisores RPPA + ~30 controles internos — sample size suficiente para inferência causal defensável.
Pipeline
| Etapa | Script | Output |
|---|---|---|
| Download autenticado do Drive | gdrive_download.py | 2,95 GB em 12 arquivos |
| Ingestão Siebel CSVs | ingest_siebel.py + ingest_planta_externa.py | 3 tabelas raw (~760k linhas) |
| Ingestão Ventas Excel | ingest_ventas.py | 9 tabelas raw (3,4M linhas) |
| Ingestão RPPA | ingest_rppa.py | 3 tabelas raw |
| Camada stg (limpeza, normalização) | build_stg.py | 8 views stg |
| Camada mart (agregações) | build_marts.py + build_periods_analysis.py | 7 tabelas mart |
| Análise TC/Inst ratio | analise_tc_ratio.py | tc_ratio_analysis.json |
| Análise mix de motivos + chi² | analise_mix_motivos.py | mix_motivos_analysis.json |
| FTFR + dias + segm + ano-a-ano | analise_ftfr_dias_segm.py | stdout + dashboard_data.json |
Stack técnica
DuckDB 1.5 · Polars 1.40 · Pandas 3.0 · python-calamine · scipy.stats · openpyxl · pyxlsb · rclone.
Pipeline roda em <20 min do zero. Banco DuckDB ocupa 245 MB (vs 3,0 GB CSVs originais — compressão columnar).
Compromisso de honestidade
Todos os números deste documento foram extraídos pelos scripts referenciados. Nenhum dado foi modificado, ajustado ou "limpo" para favorecer uma conclusão.
Achados negativos têm o mesmo peso visual que os positivos. Documento preliminar honesto.
O que esta camada NÃO responde — sem destravadores
O que destrava — e leva o relatório para defensibilidade real
Com as perguntas #2 (logs do software) e #3 (mapping AD↔Siebel) respondidas, conseguimos saltar do tom "padrões descritivos consistentes com efeito" para "magnitude do efeito atribuível, com intervalo de confiança". Esse é o salto que faz a Qualitin defender o resultado da consultoria com rigor técnico real — sem promessas que os dados não sustentam.
3 perguntas-chave que precisamos do Cesar