É importante ressaltar que o texto a seguir contém opiniões pessoais. Feita a ressalva, então aí vai:
Se o seu estudo/experimento não consegue ser reproduzido por qualquer um que leia seu artigo, usando uma nova amostra, então ele não é um bom artigo.
Isso não é uma regra em revistas científicas, mas deveria ser parte do bom senso geral dos pesquisadores.
Como profissional de estatística, tenho o hábito de pesquisar a bibliografia em que o estudo no qual estou colaborando se baseou (já que quase nada é absolutamente inédito), pois é conveniente que estudos de uma mesma área sigam uma mesma linha de análise (de forma que sejam comparáveis), e com frequência encontro artigos que são verdadeiras caixas-pretas lacradas: há um extenso embasamento teórico, duas linhas (se muito) do método estatístico e um pulo para as conclusões, deixando um abismo que não permite que o leitor entenda o que foi aplicado.
A confiabilidade de um estudo não deveria vir apenas do nome da revista no qual ele está publicado, mas na transparência de seus procedimentos, pois sem essa explicação estamos confiando simplesmente na palavra do pesquisador, quanto aos seus resultados.
E sem o registro no artigo, a metodologia se perde, impedindo a continuidade e expansão do estudo.
Isto posto, qual seria o conselho para o pesquisador que está reportando seus procedimentos estatísticos num artigo?
Ponha-se no lugar do leitor e pense se ele conseguiria reproduzir o experimento com as informações fornecidas.
Peça para um colega de profissão fazer esse exercício mental, se necessário.
Coisas básicas como variável resposta, nome do teste estatístico, graus de liberdade e tamanho de amostra são quase obrigatórias.
Não considere a análise estatística um complemento do seu trabalho, pois ela é o suporte das suas conclusões.
Dessa forma, penso eu, a produção de artigos cumpre seu verdadeiro propósito: a construção de conhecimento por diversos estudiosos, cada um deles analisando e expandindo os resultados do outro.
Comece por você e torne suas análises claras e confiáveis.
Concordo plenamente! É triste saber que muitos estudos são completamente irreprodutíveis. Isso tem se tornado tão comum que parece até adequado. Uma pena.
Adorei o blog, riquíssimo e bem humorado de linguagem simples, favoritei. Acredito que usarei bastante.