# Ab Test Analysis > Ab Test Analysis — Skill especializada para ab test analysis - Skill: `kursku/ab-test-analysis` (Agent Skill) - Install (CLI): `npx skillmds@latest add kursku/ab-test-analysis` - Raw SKILL.md: https://api.skillmd.com/api/skills/kursku/ab-test-analysis/raw - Safety review: pending (external: skill-scanner PASS, skillspector PASS) - Works with: Claude Code, Claude.ai, OpenAI Codex - Category: Data & Analytics - License: MIT - Author: kursku (https://skillmd.com/u/kursku) - Updated: 2026-09-08 - Page: https://skillmd.com/skills/kursku/ab-test-analysis --- # Ab Test Analysis Essa skill capacita o Claude Code a planejar, executar e analisar experimentos A/B complexos, utilizando dados do Google Analytics 4 para otimização de performance. --- ## Keywords Teste A/B, GA4, Análise Estatística, Significância, Mínimo Efeito Detectável (MDE), Intervalo de Confiança, Validação de Hipótese, Segmentação de Audiência, Atribuição de Conversão, Otimização CRO, Hipótese Nula, Poder Estatístico. --- ## Quick Start 1. Definir a hipótese de teste e a métrica primária no plano de experimento, como "Mudar o CTA de 'Saiba Mais' para 'Comprar Agora' aumentará a taxa de cliques (CTR) em 10%". 2. Configurar um parâmetro de evento personalizado `ab_variant` no GA4 (via GTM ou código) para registrar qual variação (ex: `original`, `variacao_b`) o usuário visualizou em eventos chave como `page_view` ou `click`. 3. Implementar o teste utilizando uma ferramenta de A/B testing (ex: Google Optimize, VWO), garantindo uma distribuição aleatória de tráfego de 50/50 para as variações. 4. Monitorar o volume de dados e anomalias nas explorações de "Tempo Real" e "DebugView" do GA4 para assegurar que os eventos `ab_variant` estão sendo coletados corretamente para ambas as variações. 5. Calcular a significância estatística e o intervalo de confiança para a métrica primária utilizando os dados exportados do GA4, apenas após atingir o tamanho amostral predefinido. --- ## Core Workflows ### Workflow 1: Configuração e Coleta de Dados de Experimento A/B no GA4 Este workflow detalha a preparação técnica no Google Analytics 4 para um experimento A/B, garantindo que os dados coletados sejam fidedignos e segmentáveis. 1. **Definição da Hipótese e Métricas Operacionais:** * **Exemplo:** "Hipótese: A inclusão de um selo de 'Frete Grátis' na página de produto aumentará a taxa de adição ao carrinho (ATC) em 7%, sem impactar negativamente a taxa de conversão final." * **Métrica Primária:** Taxa de `add_to_cart` (event_count do evento `add_to_cart` / total_users na página de produto). * **Métricas Secundárias:** Taxa de Conversão (`purchase` / total_users), `ecommerce_purchase_revenue`. * **Mínimo Efeito Detectável (MDE):** Definir o menor efeito que seria considerado importante para a empresa, ex: 5% de aumento na taxa de `add_to_cart`. 2. **Configuração de Parâmetros de Evento Personalizados no GA4:** * **Passo A: Via Google Tag Manager (GTM):** * Crie uma Variável de Camada de Dados (Data Layer Variable) no GTM chamada `abTestVariant` que será preenchida pela ferramenta de A/B testing (ex: `original`, `selo_frete`). * Em todas as Tags de Evento GA4 relevantes (ex: `page_view`, `add_to_cart`, `purchase`), adicione um novo "Parâmetro do Evento". * **Nome do Parâmetro:** `ab_variant` * **Valor do Parâmetro:** `{{abTestVariant}}` (referenciando a variável do GTM). * Certifique-se de que a ferramenta de A/B testing (ex: Google Optimize) empurra o valor correto para a `dataLayer` como `window.dataLayer.push({'event': 'optimize.activate', 'abTestVariant': 'selo_frete'});` quando a variação é ativada. * **Passo B: Registro do Parâmetro como Dimensão Personalizada no GA4:** * No GA4, vá em `Administrador` -> `Configurações de dados` -> `Definições personalizadas`. * Crie uma nova "Dimensão personalizada". * **Nome da dimensão:** `Variação AB` (ou similar) * **Escopo:** Evento * **Nome do parâmetro do evento:** `ab_variant` (deve ser idêntico ao configurado no GTM/código). * Isso permitirá segmentar relatórios e explorações pelo parâmetro `ab_variant`. 3. **Criação de Audiências para Análise Pós-Teste (Opcional, mas Recomendado):** * No GA4, vá em `Administrador` -> `Exibição de dados` -> `Audiências`. * Crie uma nova audiência para cada variação: * **Audiência "Controle - Sem Selo":** Usuários com o evento `page_view` e parâmetro `ab_variant` = `original`. * **Audiência "Variação - Com Selo":** Usuários com o evento `page_view` e parâmetro `ab_variant` = `selo_frete`. * Essas audiências podem ser usadas em "Explorações" para análises mais aprofundadas do comportamento específico de cada grupo. 4. **Validação da Coleta de Dados:** * Use o "DebugView" do GA4 (`Administrador` -> `Configurações de dados` -> `DebugView`) para verificar em tempo real se os eventos `page_view` e `add_to_cart` estão sendo disparados com o parâmetro `ab_variant` correto para ambas as variações do teste. * Monitore o relatório de "Tempo Real" para identificar o tráfego inicial e garantir que ambas as variações estão recebendo usuários. ### Workflow 2: Análise Estatística e Interpretação de Resultados A/B com GA4 Este workflow descreve como analisar os dados coletados no GA4, aplicar testes estatísticos e interpretar os resultados para tomar decisões embasadas. 1. **Exportação de Dados para Análise:** * No GA4, vá em `Explorações` -> `Formato livre`. * Configure a exploração com as seguintes dimensões e métricas: * **Dimensões:** `Variação AB` (a dimensão personalizada criada), `Nome do evento`, `Data`. * **Métricas:** `Total de usuários`, `Eventos`. * Filtre a exploração pelo `Nome do evento` da sua métrica primária (ex: `add_to_cart`) e pelo período do teste. * Exporte os dados para CSV ou conecte o GA4 ao BigQuery para extração programática, o que é ideal para grandes volumes ou automação. * **Exemplo de Tabela de Dados Exportada (simplificada):** ``` Data | ab_variant | Nome do evento | Total de usuários | Eventos ------------------------------------------------------------------------- 2024-07-01 | original | page_view | 1000 | 1000 2024-07-01 | original | add_to_cart | 80 | 80 2024-07-01 | variacao_b | page_view | 1050 | 1050 2024-07-01 | variacao_b | add_to_cart | 95 | 95 ... ``` 2. **Cálculo do Tamanho Amostral e Duração Necessária:** * Antes de iniciar a análise, confirme se o tamanho amostral mínimo foi atingido para cada variação. * Use uma calculadora de A/B online (ex: Optimizely, Evan Miller) ou um script Python/R. * **Inputs:** Taxa de base da métrica primária (ex: 8% ATC), MDE (ex: 7% relativo, o que seria 0.56pp), significância (ex: 95%, alpha=0.05), poder estatístico (ex: 80%). * **Output Exemplo:** Para uma taxa base de 8% e MDE de 7% (0.56pp), seriam necessários aproximadamente 25.000 usuários únicos por variação. * Verifique se a duração do teste abrangeu pelo menos um ciclo de negócios completo (ex: 7 ou 14 dias) para mitigar efeitos de sazonalidade. 3. **Análise Estatística:** * **Passo A: Calcular as Taxas:** * **Controle:** `Taxa ATC = (Eventos 'add_to_cart' na variação original) / (Total de usuários na variação original)` * **Variação B:** `Taxa ATC = (Eventos 'add_to_cart' na variação B) / (Total de usuários na variação B)` * **Passo B: Teste de Hipótese (Ex: Teste Z para proporções):** * Utilize uma ferramenta estatística (Python com `scipy.stats`, R, ou calculadora online) para comparar as duas proporções. * **Exemplo (Python):** ```python from statsmodels.stats.proportion import proportions_ztest count_original = 2000 # Cliques ATC original nobs_original = 25000 # Usuarios original count_variant = 2275 # Cliques ATC variacao_b nobs_variant = 25000 # Usuarios variacao_b # Calculo do p-value stat, pval = proportions_ztest([count_original, count_variant], [nobs_original, nobs_variant]) print(f"P-value: {pval:.4f}") # Calculo do Intervalo de Confiança para a diferença from statsmodels.stats.proportion import confint_proportions_2indep lower, upper = confint_proportions_2indep(count_original, nobs_original, count_variant, nobs_variant, compare='diff') print(f"Intervalo de Confiança (95%) para a diferença: [{lower:.4f}, {upper:.4f}]") ``` * **Resultado Exemplo:** `P-value: 0.008`, `Intervalo de Confiança (95%) para a diferença: [0.003, 0.015]` (ou seja, [0.3pp, 1.5pp] de aumento). 4. **Interpretação e Decisão:** * **Significância Estatística:** Se o `p-value` for menor que o nível de significância (geralmente 0.05), rejeite a hipótese nula. Isso significa que a diferença observada não é devido ao acaso. * **Magnitude do Efeito:** Verifique se a diferença observada é maior que o MDE definido no início. Um resultado estatisticamente significativo, mas com um efeito muito pequeno, pode não ser worth a implementação. * **Intervalo de Confiança:** Analise se o intervalo de confiança da diferença inclui o zero. Se não incluir, a diferença é significativa. O intervalo também dá uma estimativa da verdadeira magnitude do efeito. * **Métricas Secundárias:** Avalie as métricas secundárias no GA4 (`purchase`, `ecommerce_purchase_revenue`) utilizando as audiências criadas ou as explorações. Garanta que a otimização da métrica primária não prejudicou outras métricas importantes. * **Exemplo de Decisão:** "Com um p-value de 0.008 (abaixo de 0.05) e um aumento de 0.9pp na taxa de ATC (de 8% para 8.9%), o que representa um ganho de 11.25% relativo e está acima do MDE de 7%, a variação 'Com Selo Frete Grátis' é estatisticamente superior. As métricas de conversão final e receita não apresentaram degradação. Recomendamos implementar a variação." --- ## Templates ### Plano de Experimento A/B - Selo de Frete Grátis ``` # Plano de Experimento A/B - Selo de Frete Grátis **Data:** 2024-07-26 **Responsável:** Equipe de Otimização de Conversão ## 1. Objetivo Validar se a inclusão de um selo visual de "Frete Grátis" na página de produto aumenta a taxa de adição ao carrinho (ATC) sem impactar negativamente a taxa de conversão final. ## 2. Hipótese * **H0 (Nula):** A exibição do selo "Frete Grátis" na página de produto NÃO terá um impacto estatisticamente significativo na taxa de ATC. * **H1 (Alternativa):** A exibição do selo "Frete Grátis" na página de produto AUMENTARÁ a taxa de ATC em pelo menos 7%. ## 3. Variações * **Controle (A):** Página de produto sem o selo "Frete Grátis". * **Variação (B):** Página de produto com um selo "Frete Grátis" posicionado abaixo do preço do produto. ## 4. Métricas * **Métrica Primária:** Taxa de Adição ao Carrinho (ATC) (event_count do evento 'add_to_cart' / total_users na página de produto). * **Métricas Secundárias:** Taxa de Conversão (purchase / total_users na página de produto), Receita por Usuário (ecommerce_purchase_revenue / total_users), Cliques em "Comprar Agora" (click_comprar_agora / total_users). ## 5. Segmento Alvo 100% do tráfego web que acessa as páginas de produto. ## 6. Configuração GA4 * Parâmetro de evento `ab_variant` (valores: `original`, `selo_frete`) para eventos `page_view`, `add_to_cart`, `purchase`. * Dimensão personalizada `Variação AB` configurada no GA4. * Audiências `Controle - Sem Selo` e `Variação - Com Selo` criadas para análise pós-teste. ## 7. Critérios de Sucesso e Parada * Aumento estatisticamente significativo da Taxa de ATC (p < 0.05). * Aumento da Taxa de ATC maior ou igual ao MDE de 7% (relativo). * Tamanho amostral mínimo atingido (ex: 25.000 usuários únicos por variação). * Duração mínima do teste: 14 dias (2 ciclos de negócios completos). * Nenhuma degradação estatisticamente significativa nas métricas secundárias. ## 8. Ferramentas Google Optimize (implementação), Google Analytics 4 (coleta e monitoramento), Python/R ou Planilha (análise estatística). ``` ### Relatório de Análise de Experimento A/B - Selo de Frete Grátis ``` # Relatório de Análise de Experimento A/B - Selo de Frete Grátis **Data da Análise:** 2024-08-15 **Período do Teste:** 2024-07-28 a 2024-08-11 (14 dias) **Status:** Concluído ## 1. Resumo Executivo O experimento para