Facebook e tamanhos de efeito

FB ethical unethical

Um estudo publicado há pouco tempo causou polêmica no meio científico e nas redes sociais. Kramer et al investigaram, no cenário de uma rede social na internet, o Facebook, se a exposição a emoções positivas ou negativas levaria as pessoas a publicarem mais postagens com conteúdo semelhante (maior exposição a postagens negativas de outros usuários à maior proporção de publicações negativas pelo sujeito da pesquisa; e vice-versa). Estudos anteriores já haviam se debruçado sobre questões relativas a “contágio emocional”, mas nenhum havia verificado, experimentalmente, se este fenômeno ocorre na ausência de interações diretas entre o sujeito de origem da emoção e o sujeito-alvo e na ausência de linguagem não-verbal.

O estudo

No estudo em questão, através de manipulação do News Feed dos usuários, foram montados dois grupos “intervenção”: I) omissão de 10% das postagens com conteúdo positivo; II) omissão de 10% das postagens com conteúdo negativo. Para cada um destes grupos, houve um grupo “controle”, para o qual 10% das postagens, aleatoriamente, independente do seu conteúdo emocional, foram omitidas. Assim, foram realizados dois estudos em paralelo, com um total de cerca de 155.000 usuários em cada um. A variável dependente, ou seja, a variável resposta de interesse, foi o percentual de palavras positivas ou negativas publicadas por cada sujeito da pesquisa no Facebook.

Dilemas éticos

Quase que imediatamente após a divulgação do estudo, seus autores e a revista foram alvejados por críticas acerca de princípios éticos que teriam sido violados, como os direitos de consentir ou não, esclarecidamente, pela participação na pesquisa e sair da mesma livremente. Outros princípios e requisições regulamentares também foram questionados. A H1 Estatística reconhece a relevância deste tema, mas os convida a uma discussão ainda pouco explorada: a veracidade e relevância prática sob a ótica da estatística.

Significância estatística e tamanho de efeito

Os resultados do estudo mostraram que, para aquele grupo de indivíduos para os quais houve redução de 10% das postagens positivas exibidas, em comparação com o grupo controle, houve uma redução de 0.1% de palavras positivas nas suas atualizações de status (p<0.001; d de Cohen = 0.02) e aumento de 0.04% em palavras negativas (p=0.007; d de Cohen = 0.001). Quando as postagens negativas exibidas foram reduzidas em 10%, observou-se redução de palavras negativas em 0.07% (p<0.001; d de Cohen = 0.02) e aumento das positivas em 0.06% (p<0.003; d de Cohen = 0.008).

FB Emotional Contagion Fig 1

Na análise da veracidade dos seus resultados, ou validade interna, identificamos que o estudo apresentou um desenho adequado, foi randomizado, cego (ao menos para os usuários; não identificamos no artigo informações sobre o cegamento ou não dos pesquisadores que analisaram os dados), um considerável tamanho amostral e foi consistente e coerente com a literatura especializada da área. Existem críticas ao uso do Linguistic Inquiry and Word Count software (LIWC2007) e sua correlação com os reais estados de humor das pessoas (que não foram diretamente avaliados), mas, em suma, as características acima falariam a favor da veracidade dos achados.

Entretanto, além da significância estatística, devemos analisar o tamanho do efeito. E este ponto específico enfraquece a possibilidade de uma relação de causalidade. O tamanho do efeito pode ser entendido como uma medida padronizada da força ou magnitude de uma associação. Existem diferentes métodos para medir o tamanho de um efeito de acordo com o o teste utilizado e o tipo de variável analisada (categórica, contínua, ordinal). Para variáveis dicotômicas, como mortalidade, por exemplo, o NNT (Number Needed to Treat) é uma medida bastante conhecida na área médica. O d de Cohen seria uma medida análoga para quando estamos lidando com variáveis dependentes contínuas, que, no caso deste estudo do Facebook, é o percentual de palavras positivas ou negativas em cada grupo. Seu cálculo é simples:

d de Cohen

É a diferença entre as médias de cada grupo (x1 – x2) dividida pelo desvio padrão (agrupado, pooled) (s) das mesmas. Ou seja, a diferença média em relação à variabilidade (dispersão) inerente esperada ao acaso nos sujeitos dos grupos. Classicamente, o efeito é interpretado como insignificante se entre 0 e 0,2; leve entre 0,2 e 0,5; moderado de 0,5 a 0,8; e importante a partir de 0,8 – pontos de corte algo subjetivos, definidos pelo próprio Cohen em 1988, mas que servem como parâmetros. O d de Cohen (relatado por iniciativa do autor ou recomendação dos revisores) no estudo variou de 0,001 a 0,02, valores extremamente baixos – diferença média de 0,001 a 0,02 desvios-padrão.

Para o valor d = 0,001 (no grupo que teve 10% de postagens positivas omitidas), isto implica que a média de palavras negativas no grupo intervenção correspondeu ao percentil 50,04 do grupo controle (o percentil 50 seria a hipótese nula). Em outros termos, a probabilidade de um sujeito do grupo intervenção, selecionado ao acaso, ter um percentual de palavras negativas maior que um sujeito do grupo controle, selecionado ao acaso, é de 50,03% (a hipótese nula seria 50.0%). Para o valor d = 0,02, corresponderia o percentil 50,8 e a probabilidade de superioridade de 50,56%, igualmente insignificantes.

O autor, de forma até inteligente, buscou defender seu resultado: “And after all, an effect size of d = 0.001 at Facebook’s scale is not negligible: In early 2013, this would have corresponded to hundreds of thousands of emotion expressions in status updates per day”. Entretanto, cada usuário individual não vê ou publica “hundreds of thousands” de status por dia. Considerando os números do estudo, um total de 122 milhões de palavras, das quais 1,8 milhão (1,6%) foram negativas, e o N total de 310 mil sujeitos, temos uma média de 393,5 palavras por usuário, das quais 5,8 negativas. Este tamanho de efeito (d=0,001) resultaria em 01 (uma) única palavra negativa adicional no grupo intervenção a cada 156.250 palavras em geral ou a cada 2500 palavras negativas postadas. Raciocínio semelhante pode ser aplicado às palavras positivas.

Como um efeito tão insignificante pôde ser estatisticamente significante?

É digno de nota que os autores não relataram um cálculo amostral formal. Por dispor de um imenso banco de dados de usuários do Facebook, utilizaram um grande tamanho amostral… tão grande a ponto de tornar qualquer mínima diferença como estatisticamente significante.

ResearchBlogging.orgKramer, A., Guillory, J., & Hancock, J. (2014). Experimental evidence of massive-scale emotional contagion through social networks Proceedings of the National Academy of Sciences, 111 (24), 8788-8790 DOI: 10.1073/pnas.1320040111

Por Davi J. Fontoura Solla

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s