Existe uma grande confusão sobre o significado do valor de p na análise estatística. Infelizmente, muitos professores e pesquisadores, apesar de possuírem sólidos conhecimentos em suas áreas, apresentam algum grau de dificuldade em estatística, o que contribui para a disseminação de algumas dúvidas e até mesmo de certos equívocos.

Importância da análise estatística
Em primeiro lugar é preciso destacar a importância da estatística para as ciências empíricas. Neste tipo de pesquisa, ao invés de estudar uma população inteira, o que acarretaria em um gasto muito grande de dinheiro e tempo, o pesquisador seleciona uma parte desta população, que é chamada de amostra, e as conclusões do estudo desta amostra são extrapoladas para a população inteira.

Praticamos o método da amostragem em nosso cotidiano o tempo inteiro. Você, por exemplo, não toma toda a sopa de uma panela para descobrir se o tempero está bom. Você tira uma colher de sopa (amostra) para provar e pressupõe que o gosto da sopa toda estará igual ao da sopa na colher.

Entretanto, em ciência, ao trabalhar com amostras você corre alguns riscos. E se o tamanho da amostra não foi adequado? E se o método de avaliação apresentar falhas? E se tiver outros fatores influenciando os resultados encontrados?

Para diminuir esses riscos, os pesquisadores das ciências empíricas utilizam a estatística com o intuito de ter maior segurança em suas conclusões. E o valor de p está exatamente relacionado a essa confiança nas conclusões obtidas.

Esse tal “valor de p”
Não vou aqui discutir o valor de p em função das hipóteses H0 e H1, nem sobre fórmulas ou testes estatísticos. De um ponto de vista mais prático, podemos afirmar que o valor de p representa a chance ou a probabilidade do efeito (ou da diferença) observada entre os tratamentos/categorias ser devido ao acaso, e não aos fatores que estão sendo estudados.

Imagine que um pesquisador testou a eficiência de dois tratamentos e observou que a média do tratamento “A” foi maior que a média do tratamento “B”, e que após realizar as análises estatísticas adequadas, o pesquisador encontrou um valor de p=0,3. O que isso significa?

Significa que a chance dessa diferença entre as médias ser devido ao acaso (e não um efeito dos tratamentos) é de 30%. Ou seja, se o pesquisador afirmar que as diferenças entre as médias ocorreram por causa dos tratamentos, ele tem 30% de chances de estar enganado.

Analisando sobre outro ponto de vista, o da probabilidade, se o pesquisador realizar o mesmo experimento 100 vezes, ele irá encontrar resultados semelhantes em 70 experimentos.

Como toda probabilidade, o valor de p irá variar entre 0 e 1. Na grande maioria das áreas, admite-se um valor crítico de p menor ou igual a 0,05, ou seja, assume-se como margem de segurança 5% de chances de erro, ou olhando por outro ângulo, 95% de chances de estar certo.

Não caia nessa
A dificuldade na compreensão do significado do valor de p leva muitos pesquisadores a cometer alguns equívocos na hora de discutir os resultados ou mesmo nas conclusões do trabalho.

Voltemos ao exemplo do pesquisador que estudou dois tratamentos e observou uma média maior para o tratamento “A” em comparação ao tratamento “B”, com p=0,3. Suponhamos que na área deste pesquisador o valor de p aceitável também seja menor ou igual a 0,05, ou seja, admite-se uma margem de erro de até 5%.

Um erro muito comum nessa situação é realizar a seguinte discussão dos resultados:

“Embora a diferença estatística não seja significativa (p>0,05) a média do tratamento “A” foi 20% superior à média do tratamento “B”.”

Ora, no exemplo em questão o pesquisador tem 30% de chances de que essa diferença de 20% entre as médias não seja um efeito dos tratamentos e sim de outro fator que não está sendo estudado, sendo que o risco aceitável para essa área de estudo é de apenas 5%. Em resumo, o pesquisador nesse caso está atribuindo aos tratamentos uma diferença que tem grandes chances de ser obra do acaso, de ser um falso-positivo.

Nesse caso vale a pena conferir se a variação dos dados não foi muito grande, se o tamanho da amostra foi adequado, se houve algum problema com a metodologia, se delineamento experimental foi adequado, ou se não houve outros fatores além dos tratamentos estudados que influenciaram nos resultados.

Para saber mais: Não houve diferença estatística significativa. E agora?