5 Condições para uma Cultura de Experimentação
O que é: Framework com as cinco condições culturais que permitem a uma organização escalar experimentação de forma sistemática e aprender continuamente.
Para que serve: Diagnosticar onde estão os bloqueios culturais à experimentação e orientar intervenções.
Estrutura
1. Cultivar curiosidade
- Valorizar surpresas, inclusive resultados negativos — falhas são dados, não fracassos
- Aceitar que ~90% dos experimentos não geram resultado positivo (isso é normal e esperado)
- Recrutar pessoas “curiosas, abertas, confortáveis em estar erradas”
- Reframing: é mais arriscado fazer poucos experimentos do que muitos. Com 20 testes/ano e 10% de sucesso = 2 sucessos. Com 25.000 = 2.500 sucessos.
2. Insistir que dados superam opiniões
- Resultados de experimentos devem prevalecer mesmo quando contradizem opiniões de líderes sênior
- Combater o HiPPO problem com regras institucionais: “Se o teste diz X, fazemos X”
- Líderes devem modelar esse comportamento publicamente — aceitar quando os dados contradizem sua intuição
3. Democratizar a experimentação
- Qualquer pessoa pode lançar um experimento, sem precisar de aprovação gerencial
- Ferramentas acessíveis, templates padronizados, automação de processos de suporte
- Repositório público de experimentos passados (sucessos e falhas) para todo o time
- Booking.com: 75% dos 1.800 funcionários de produto e tecnologia testam ativamente
4. Ser eticamente sensível
- Perguntar sempre se os participantes do experimento seriam prejudicados ou se considerariam o teste antiético
- Evitar comitês de revisão que criam gargalo — preferir comunidades auto-reguladoras
- Risco: Facebook/2014 — experimento de manipulação emocional gerou revolta pública
5. Abraçar um novo modelo de liderança
- Líderes definem o grand challenge (meta ambiciosa que orienta quais hipóteses testar)
- Montam a infraestrutura (ferramentas, dados, suporte) que torna experimentos possíveis
- São role models: submetem suas próprias ideias a teste, dizem “não sei” publicamente
- Soltam o controle: empoderar não é apenas dizer que podem testar — é não interferir nos resultados
Exemplo aplicado — IBM Marketing
2015: 1 especialista-gatekeeper → 97 testes/ano 2018: Ari Sheinkin democratizou (5.500 marketers, ferramentas gratuitas, training, contest trimestral, blitz de 30 testes em 30 dias) → 2.822 testes/ano
Mudança foi cultural (quem pode testar + o que fazer com os resultados), não tecnológica.
A Regra de Kohavi — por que volume importa mais que taxa de sucesso
Ron Kohavi (ex-head de experimentação na Microsoft):
“Apenas 1/3 das ideias testadas mostram melhoria. 1/3 é neutro. 1/3 piora as coisas. Mesmo os especialistas erram 2/3 das vezes quando tentam prever o que vai dar certo.”
O caso Bing (2012): dev mudou o formato de títulos de anúncios (juntou título + primeira linha da descrição com um hífen) — mudança ignorada por meses como “coisa de CSS”. Resultado: +12% de receita = +US$100M/ano. Nenhum gerente de produto teria previsto; o experimento revelou.
Implicação: aumentar volume de experimentos é mais inteligente do que tentar aumentar a taxa de sucesso individual. Com taxa de 1/3, fazer 3x mais experimentos = 3x mais melhorias.
Limitações
- Democratização sem treinamento gera experimentos mal desenhados (métricas erradas, amostras inadequadas)
- Ética em experimentação é genuinamente difícil — não existe regra universal fácil de aplicar
Conexões
- Contexto: Inovação, Cultura Organizacional
- Argumentos: O obstáculo à experimentação em escala é cultural, não técnico
- Conceito: HiPPO — Opinião do Mais Bem Pago
- História: Booking.com — 25 mil experimentos por ano
Fonte: Building a Culture of Experimentation - Thomke — Stefan Thomke