p-Hacking e falsas descobertas em testes A/B


(Christian S. Perone) #1

Artigo bem interessante sobre os perigos de p-hacking em A/B testing:

Título: p-Hacking and False Discovery in A/B Testing
Autores: Ron Berman, Leonid Pekelis, Aisling Scott, Christophe Van den Bulte

Problema bem comum que se via na academia, principalmente em pesquisa biomédica, agora também com forte evidência em A/B testing na indústria:

Specifically, about 57% of experimenters p-hack when the experiment reaches 90% confidence. Furthermore, approximately 70% of the effects are truly null, and p-hacking increases the false discovery rate (FDR) from 33% to 42% among experiments p-hacked at 90% confidence.


(Humberto Marchezi) #2

Faz sentido haver p-hacking em A/B testing. Existe uma pressao por resultados tanto na industria quanto na pesquisa. Muito poucas pessoas sabem realmente avaliar os resultados dai todos tem a impressao de que algo estsa acontecendo. No artigo o autor comenta sobre a utilizacao de um detector de p-hacking com regression discontinuity. Nao sabia que p-hacking poderia ser detectados com ML, achei isso interessante.

Uma forma de mitigar esse problema poderia ser aumentar o alpha level (e.g. 0.98). Dessa forma, o p-hacking ficaria mais dificil de funcionar ou seria mais evidente a sua utilizacao e portanto deteccao.