Meio Bit » Arquivo » Internet » Algoritmo anti-trolls do Google ainda não sabe lidar com typos

Algoritmo anti-trolls do Google ainda não sabe lidar com typos

Embora o Perspective seja promissor, o algoritmo do Google desenvolvida para caçar trolls em comentários ainda têm problemas com typos e linguagem ambígua.

7 anos atrás

O Google apresentou o Perspective como uma ferramenta poderosa para sanitizar de vez os comentários dos blogs e portais de notícias. Similar ao já aplicado no YouTube, esta nova rede neural entende contexto e se alimenta das discussões realizadas na área de comentários, identifica linguagem abusiva e xingamentos e filtra tudo.

E embora ainda esteja em fase de testes e seu índice de acertos seja alto, o Perspective ainda possui dificuldades em lidar com linguagem ambígua e principalmente com typos.

O Perspective funciona atribuindo pontuações as mensagens compartilhadas; quanto mais alta, mais tóxica. A frase "isso é estúpido e idiota", por exemplo foi classificada como altamente ofensiva, batendo a marca de 89 pontos. Conforme o tempo passa a proposta é fazer com que a rede neural se torne cada vez melhor em identificar nuances de linguagem, perceber o contexto e não marcar como nocivas frases ou palavras ditas de outras formas que não estejam agredindo ninguém.

No entanto, como é de se esperar de qualquer software em fase de testes não é o que acontece HOJE (é bom frisar). De acordo com um estudo (cuidado, PDF) realizado pelo Laboratório de Segurança da Internet da Universidade de Washington, alguns pequenos truques podem ser empregados para baixar a pontuação das frases e passar pelo algoritmo sem que elas sejam marcadas como nocivas.

Por exemplo, palavras escritas erradas de propósito (como "iidiota" por exemplo) ou inserir pontos ou espaços entre as letras confundem o algoritmo, que deixa as mensagens passarem. Da mesma forma ele ainda não é muito bom com linguagem ambígua: a frase "isso não é estúpido e idiota", por exemplo recebeu 83 pontos.

Isso evidencia duas coisas: primeiro, a rede neural ainda não está pronta para entender as possíveis artimanhas que os trolls empregarão para driblar as restrições (vale lembrar que quando o YouTube começou a expurgar comentários, os mesmos fizeram uso massivo de mensagens em ASCII); segundo o algoritmo do Perspective ainda entende qualquer uso de uma palavra supostamente negativa como um ataque, não importando o contexto.

CJ Adams, Gerente de Produtos da Google Jigsaw veio a público e lembrou a todos que o Perspective ainda está em seus estágios iniciais, logo não é nem de longe um produto minimamente comercial e vai demorar para que seja largamente utilizado em sites, blogs e portais. É certo que com o tempo a rede neural se torne uma ferramenta bem útil, mas até lá ainda teremos que lidar com os trolls.

Fonte: Ars Technica.

relacionados


Comentários