Por que os moderadores não conseguem proteger as comunidades on-line por conta própria

As comunidades on-line costumam se anunciar como uma forma de unir as pessoas, mas muitas delas são caracterizadas por comportamentos tóxicos, desde assédio ostensivo, discurso de ódio, trollagem e doxing até comentários mais casuais (mas muitas vezes ainda bastante prejudiciais) que depreciam e excluem. Elas incluem plataformas bem conhecidas, como Reddit, Discord e 4chan, além de comunidades de marcas como Call of Duty. Os dados são preocupantes: De acordo com um relatório recente, quase um em cada três adolescentes já sofreu cyberbullying e cerca de 15% perpetuaram o cyberbullying contra outras pessoas. Outros relatórios descobriram que 40% de todos os usuários da Internet já enfrentaram alguma forma de assédio on-line, sendo que uma em cada cinco mulheres sofreu abuso misógino on-line. Por que essa toxicidade on-line é tão difundida? E o que será necessário para que os gerentes de plataforma possam controlá-la? Para explorar essas questões, analisamos 18 anos de dados de uma comunidade on-line para fãs de música eletrônica (EDM) no Reino Unido, totalizando mais de sete milhões de publicações de 20.000 membros. Em seguida, aumentamos esses dados com sete entrevistas aprofundadas com membros da comunidade, anotações de campo sobre a participação em 15 eventos off-line da comunidade e uma análise abrangente da literatura existente para identificar cinco equívocos comuns sobre como e por que a toxicidade surge em comunidades on-line. Neste artigo, desmascaramos cada um desses mitos e oferecemos estratégias baseadas em pesquisas para ajudar os gerentes e moderadores de plataformas a repensar sua abordagem para atenuar a toxicidade on-line. 1. Os membros não saem depois de sofrerem toxicidade Em primeiro lugar, uma suposição muito difundida é que os usuários que experimentam a toxicidade em uma comunidade on-line a abandonam porque ela não oferece mais o sentimento de pertencimento, confiança e intimidade que eles procuravam. E como a participação em comunidades on-line é voluntária, as pessoas geralmente optam por participar por diversão e é fácil entrar ou sair desses espaços virtuais, parece natural supor que os usuários sairiam se tivessem um comportamento desagradável e abusivo. No entanto, nossa pesquisa mostra que, ao contrário, os usuários geralmente permanecem ativos apesar de sofrerem danos contínuos - às vezes por anos. Por exemplo, um membro da comunidade que estudamos estava sujeito a ataques incessantes simplesmente porque outras pessoas não gostavam do conteúdo que ela compartilhava. Em uma série de postagens, ela foi agredida com insultos de cunho capacitista. Um membro disse a ela: "A senhora é a própria definição da frase ignorância/bem-aventurança, sua ignorante que vive em um lago. A senhora provoca tanta ira, mas parece não se importar com isso... Haveria muito menos negatividade se a senhora não estivesse aqui." Outro postou: "Uma pergunta/sugestão séria para os mods/devs. Podemos fazer uma rodada de chicote e pagar para que as mãos da senhora sejam amputadas? Isso não a impedirá de postar, mas a deixará um pouco mais lenta." Apesar de ter sido vítima dessa torrente de abusos, a usuária permaneceu ativa no fórum, publicando cerca de 2.000 mensagens e iniciando 500 novos tópicos no ano seguinte. Da mesma forma, outro membro foi vítima de uma campanha contínua de assédio, na qual os usuários insultaram sua aparência e até lhe enviaram ameaças de morte. Mas, em vez de deixar a plataforma, ela reuniu seus amigos para se engajar em um esforço de um ano para silenciar os assediadores. Mesmo nos casos em que um alvo de abuso decide deixar a comunidade em protesto, não é incomum que ele retorne. Esse fenômeno é conhecido como "flouncing", ou seja, sair drasticamente de uma plataforma para voltar logo em seguida. TI era bastante comum entre os usuários de nosso estudo, muitos dos quais anunciavam que estavam saindo da comunidade, mas acabavam ficando ou retornando após um breve hiato, apenas para voltar a receber o mesmo abuso. Então, por que as pessoas simplesmente não abandonam esses ambientes tóxicos? Descobrimos que as pessoas relutam em sair definitivamente dessas comunidades porque os vínculos profundos e duradouros que elas geralmente criam ao longo dos anos fazem delas espaços sociais muito importantes para seus usuários. Apesar de sofrerem abusos, os membros também ganham reconhecimento e um senso de pertencimento. As comunidades também se tornam fontes primárias de informações, tanto de especialistas quanto de pessoas que pensam da mesma forma; sair delas interrompe o acesso dos usuários às informações. Sair também pode gerar disrupção no acesso ao apoio social com o qual os usuários contam para responder aos seus desafios pessoais, especialmente para aqueles para os quais a comunidade serve como escape e saída para processar e desabafar a frustração. À luz dessa realidade, os gerentes e moderadores de plataformas não podem presumir que os usuários simplesmente deixarão as comunidades que lhes causam danos, pois os usuários on-line não são consumidores puramente racionais - eles são membros da comunidade que valorizam os relacionamentos e a lealdade aos amigos. Em vez disso, as plataformas devem tomar medidas ativas para lidar com essas formas de toxicidade. Afinal, se não forem controladas, é provável que as pessoas continuem a sofrer danos por meses ou até mesmo anos, essencialmente presas em uma dinâmica abusiva, porque não estão dispostas a abrir mão dos relacionamentos positivos que a comunidade oferece. Isso acaba prejudicando tanto os membros individuais quanto a comunidade inteira, que provavelmente sofrerá e se tornará menos ativa a longo prazo. Há maneiras de evitar a toxicidade sem deixar a comunidade? Sim. Nossa pesquisa revela que as plataformas podem atenuar os comportamentos tóxicos por meio de três estratégias principais. Primeiro, as plataformas capacitam os usuários a gerenciar suas interações oferecendo ferramentas como silenciar, bloquear, denunciar e recursos de filtragem de conteúdo. Esses mecanismos permitem que os usuários interrompam efetivamente o assédio contínuo de indivíduos específicos. Em segundo lugar, as plataformas podem estabelecer "refúgios seguros" para usuários novos e vulneráveis: espaços com moderação rigorosa projetados para dar suporte àqueles que acabam de ingressar na plataforma ou pertencem a comunidades de nicho. Esses ambientes seguros permitem que os usuários controlem sua exposição a comportamentos tóxicos e, ao mesmo tempo, permitem que as plataformas equilibrem a tensão entre promover o discurso aberto e garantir a proteção. Por fim, os avanços nos modelos de linguagem ampla agora permitem a detecção em tempo real de conteúdo tóxico, oferecendo aos proprietários de plataformas oportunidades de intervenções rápidas e escaláveis. Desde recursos automatizados, como fechamento temporário de tópicos e "modos lentos" pós-limitação, até ações mais decisivas, como proibições, a IA está ampliando o espectro de ferramentas disponíveis para restringir interações prejudiciais. No entanto, embora essas estratégias ofereçam defesas valiosas, elas são insuficientes, isoladamente, para proteger totalmente os usuários que procuram se envolver nas mídias sociais. Para promover um ambiente on-line mais seguro e inclusivo, as plataformas também devem abordar a dinâmica coletiva da toxicidade, o que nos leva à próxima crença equivocada. 2. Os comportamentos tóxicos on-line não são incidentes isolados O segundo mito comum é que os comportamentos tóxicos são incidentes isolados que podem ser atenuados apenas com a abordagem de conflitos específicos em uma única ocasião. Portanto, muitas plataformas se concentram em difundir, mediar e arbitrar conflitos; censurar incidentes de comportamentos tóxicos; punir e excluir membros tóxicos individuais; e encerrar determinados tópicos para restaurar a paz. Na verdade, nossa pesquisa demonstrou que a toxicidade on-line costuma ser uma característica essencial das comunidades on-line, que os usuários reproduzem e amplificam de forma proativa. Por exemplo, um moderador entrevistado em nosso estudo descreveu como a eliminação de casos individuais de comportamento tóxico não resolvia o problema de raiz porque, quando um agressor é expulso, "um tipo de vácuo precisa ser preenchido e, na maioria das vezes, a pobre pessoa que estava sendo provocada é quem assume o lugar dos bad boys". A resolução de conflitos isolados não cura a toxicidade quando ela é reproduzida por mecanismos de recompensa, sistemas e práticas comunitárias que (muitas vezes não intencionalmente) permitem ou até incentivam o florescimento de comportamentos tóxicos. De fato, muitas vezes vimos hierarquias opressivas na comunidade incentivando um grupo da comunidade a marginalizar outros, consolidando ainda mais os padrões de comportamento tóxico. Por exemplo, alguns grupos da comunidade ofereceram prêmios para celebrar os agressivos "toreros" on-line que humilham os outros para o entretenimento de um público. Os designs e algoritmos da plataforma geralmente recompensam expressões intensas de raiva e ódio porque geram cliques e comentários no curto prazo, enquanto as práticas de moderação sem intervenção e laissez-faire levam muitos usuários ao vigilantismo como uma estratégia pragmática para defender sua comunidade - muitas vezes aumentando ainda mais o conflito. Para lidar com essa toxicidade sistêmica, é necessária uma transformação estrutural. As plataformas devem identificar as estruturas tóxicas da comunidade e substituí-las por alternativas mais saudáveis, seja desafiando as hierarquias de membros existentes, alterando os algoritmos de recomendação, repensando as práticas de moderação de conteúdo ou fazendo outras mudanças estruturais. Como exemplo, os jornalistas relataram que a exclusão do subreddit "incel" (celibatário involuntário), com 40.000 membros, mostrou-se ineficaz para suprimir essa comunidade frequentemente tóxica, pois os membros simplesmente se mudaram para outras plataformas. No entanto, a criação de um espaço alternativo no Reddit chamado "IncelExit" provou ser mais eficaz na desradicalização dos membros. Com 20.000 membros, a comunidade IncelExit prioriza a vulnerabilidade, o crescimento e a abertura em detrimento da experiência sexual e da atratividade, de modo que as curtidas e não curtidas das postagens trazem à tona um conteúdo saudável. Os incels reformados dessa comunidade agora desradicalizam ativamente os recém-chegados, enquanto a moderação rigorosa impõe regras contra a vergonha do corpo, a misoginia e a retórica violenta. Isso demonstra que a mudança sistêmica é mais eficaz do que punir apenas os comportamentos mais graves ou excluir infratores individuais 3. A toxicidade tem origem na cultura, não em algumas "maçãs podres" Um terceiro equívoco relacionado é que a toxicidade on-line decorre de indivíduos problemáticos movidos pelo desejo de causar danos. Nessa visão, alguns usuários irritados, possivelmente até patologicamente sádicos (ou "maçãs podres"), invadem deliberadamente as comunidades on-line para provocar os membros, provocar brigas e rir por trás de suas telas enquanto as comunidades se incendeiam. Na verdade, nossa pesquisa mostra que quase qualquer pessoa pode se tornar um membro tóxico em um ambiente on-line. Encontramos casos após casos em que membros aparentemente inofensivos publicaram mensagens incrivelmente cruéis. Esses membros não fizeram isso porque eram pessoas ruins. Em vez disso, seu comportamento foi motivado por uma cultura comunitária que sugeria que ferir os outros on-line era uma forma aceitável de entretenimento. Na comunidade que estudamos, as pessoas internalizaram a ideia de que prejudicar os outros é uma forma de "brincadeira inofensiva"; que se isso acontece on-line, "não é real, é apenas um drama encenado". A boa notícia é que é possível reconectar a cultura de uma comunidade para incentivar o jogo responsável e substituir a ideia tóxica de que a única maneira de se divertir é causar danos. Por exemplo, na comunidade que estudamos, os moderadores organizaram um jogo no qual os membros eram incentivados a inventar insultos criativos, mas não pessoais, uns para os outros. Isso redirecionou com sucesso o desejo dos usuários de se divertir, mobilizando suas "habilidades de trollagem" para realizar brincadeiras altamente divertidas e inofensivas durante encontros esportivos. Para lidar com a toxicidade, é necessário que os moderadores reconheçam que os perpetradores individuais talvez nem reconheçam que estão machucando alguém e, portanto, que uma melhoria duradoura só é possível por meio de uma mudança cultural. Em última análise, os gerentes de plataforma ou as marcas proprietárias de uma comunidade são responsáveis pelo comportamento nela. Se a toxicidade sair do controle e a violência puder ser atribuída à sua plataforma, eles poderão ser responsabilizados (legalmente ou em termos de reputação). Portanto, os gerentes de plataforma e as marcas devem criar políticas de conteúdo que proíbam claramente o conteúdo violento e designar moderadores (pagos ou voluntários) com poderes para lidar com a toxicidade. 4. As rivalidades não impulsionam as comunidades - elas as destroem De divisões políticas a rivalidades esportivas, passando por novatos e jogadores experientes, muitas comunidades on-line apresentam uma forte dinâmica de "nós contra eles". O quarto mito que descobrimos pressupõe que as comunidades prosperam com essas formas de polarização, pois elas podem promover o senso de identidade e de pertencimento dos usuários ao seu próprio grupo, bem como imbuir suas comunidades de um revigorante senso de drama. No entanto, nossa pesquisa mostra que esses tipos de rivalidades têm a mesma probabilidade de destruir as comunidades, dispersando os membros em espaços sociais on-line menores e fragmentados ou até mesmo dissolvendo a comunidade por completo. Isso ocorre porque as rivalidades geralmente estão enraizadas nas ansiedades profundas das pessoas sobre a sobrevivência da comunidade. Dentro dessa mentalidade, os grupos oponentes são vistos como uma ameaça à preservação e à perpetuação da comunidade, criando limites entre os membros "reais" da comunidade que sintetizam os "verdadeiros" valores e comportamentos da comunidade e os perigosos "intrusos" e "dogmáticos". Tanto nossa própria pesquisa quanto trabalhos anteriores mostram que transformar e aproveitar as rivalidades internas tóxicas entre grupos comunitários exige que as plataformas e seus moderadores orquestrem um diálogo saudável e adotem uma abordagem democrática para administrar os desacordos de forma a apresentar as diferenças e a diversidade como valiosas para a comunidade (e não como algo a ser temido). Por exemplo, os moderadores podem promover o respeito à diversidade reprimindo o discurso que menospreza os membros com base em suas identidades sociais ou afiliações a determinados grupos da comunidade; oferecendo subfóruns seguros e estritamente moderados para grupos populares da comunidade; promovendo o respeito à diversidade por meio de postagens, etiqueta da comunidade, termos e condições formais e diretrizes; formando uma equipe de moderação que seja representativa dos diferentes grupos; e, de modo geral, criando estruturas sociais igualitárias e participativas. Dentro da comunidade on-line de editores da Wikipédia, por exemplo, estudos identificaram rivalidades entre dois campos comuns: os eliminacionistas, que se empenham em manter diretrizes rígidas sobre os tópicos que devem constar dos verbetes enciclopédicos, e os inclusivistas, que se empenham em incluir o máximo possível de informações. O site rapidamente se tornou atormentado por conflitos entre os dois grupos, e essas discussões podiam ser acompanhadas por uma linguagem altamente agressiva e tóxica. A plataforma enfrentou esse desafio instituindo um sistema de governança descentralizado, no qual diferentes grupos receberam autoridade explícita sobre diferentes artigos e assuntos, e no qual um comitê de arbitragem, munido de diretrizes e políticas claras, foi capacitado para supervisionar as divergências. 5. A automoderação não é suficiente para manter a toxicidade sob controle O quinto equívoco muito difundido entre os proprietários e usuários de plataformas é que as comunidades on-line bem-sucedidas são gerenciadas de forma frouxa e, em grande parte, automoderadas. Esse mito sugere que o policiamento excessivo pode sufocar o envolvimento e que os membros responsáveis da comunidade devem ser capazes de resolver conflitos sem supervisão. Embora certamente haja um lugar para a automoderação, nossa pesquisa demonstra que essa crença excessiva na automoderação pode contribuir para que as comunidades on-line se tornem tóxicas. Isso ocorre porque, quando inevitavelmente surgem conflitos, os membros não podem confiar em nenhuma autoridade legítima e, portanto, sentem que precisam recorrer ao vigilantismo, assumindo a responsabilidade de punir os supostos infratores em nome da justiça. Na comunidade que estudamos, esse fenômeno muitas vezes provocou um ciclo vicioso de toxicidade. Para reduzir a percepção da necessidade de punição por parte dos vigilantes, as plataformas podem aprimorar suas capacidades de policiamento comunitário de várias maneiras. Por um lado, elas podem desenvolver e treinar uma equipe de moderação maior, ou até mesmo inscrever "moderadores secretos" (para que os membros não possam ver se os moderadores estão on-line - uma prática real na comunidade que estudamos). Por outro lado, eles também podem treinar os moderadores existentes nos princípios da justiça restaurativa para ajudá-los a transformar as narrativas comunitárias de retribuição e punição em narrativas de justiça que priorizem a cura, a responsabilidade e a reparação de danos. Sem dúvida, esse pode ser um equilíbrio difícil de encontrar. Em um estudo, uma rede de varejo convidou 2.500 designers para participar de uma comunidade on-line centrada em um concurso para o design de uma nova bolsa. O objetivo da plataforma era estimular a inovação e, portanto, fazia sentido dar liberdade aos membros para discutir e compartilhar ideias. No entanto, os conflitos surgiram rapidamente, pois os membros ficaram frustrados com o resultado do concurso e uns com os outros, chegando a criar várias contas de pseudônimo para causar estragos e insultar outros designers. Para resolver isso, a empresa combinou sua abordagem limitada de moderação com algumas políticas proativas criadas para manter a toxicidade sob controle. A TI adotou uma certa quantidade de governança própria ou liderada pela comunidade e, ao mesmo tempo, criou estruturas como espaços dedicados para desabafos e políticas claras que definem os tipos de publicações que não seriam toleradas na plataforma. Esses tipos de princípios ou grades de proteção devem ser aplicados de forma criativa, dependendo das circunstâncias de cada comunidade. Por exemplo, outro estudo constatou que uma plataforma de mídia teve dificuldades para integrar novos membros, pois esses novatos não estavam familiarizados com as normas de comunicação estabelecidas e, portanto, provocaram involuntariamente guerras de fogo, trollagem e outros conflitos punitivos. Como a plataforma tinha recursos limitados de moderação paga, ela instituiu um sofisticado sistema de moderação distribuída, no qual uma grande base de usuários foi capacitada para moderar o conteúdo da comunidade dentro de parâmetros e diretrizes definidos, ajudando os recém-chegados a aprender as formas aceitáveis e valorizadas de se comunicar na plataforma de forma oportuna e pacífica. . . . As comunidades on-line têm o potencial de ser uma força incrível para o bem. Elas podem reunir pessoas de todo o mundo e ajudar seus membros a construir relacionamentos duradouros e solidários com base em interesses e experiências compartilhados. No entanto, se não forem controladas, essas plataformas também podem se tornar repletas de toxicidade e, embora esse comportamento tóxico possa ser virtual, seu impacto geralmente é muito real. Dessa forma, é responsabilidade dos gerentes de plataforma repensar seus conceitos errôneos e tomar medidas proativas para garantir que suas comunidades realmente funcionem para todos.

Por que os moderadores não conseguem proteger as comunidades on-line por conta própria

Resumo.

Partner Center