A busca do Twitter agora indexa todos os tweets, até os mais antigos

Todos os seus tweets estão lá, devidamente vinculados ao seu perfil. Mas encontrar mensagens antigas sempre foi um desafio: a busca do Twitter só lista publicações mais recentes. Mas, graças a uma atualização interna, este problema ficou no passado.

O Twitter é uma rede social que prioriza o presente. Se você entrar no perfil de qualquer pessoa para ler as suas mensagens, muitas delas lhe parecerão perfeitamente compreensíveis, mas tantas outras soarão vagas porque o seu contexto está atrelado ao momento da publicação.

É por isso que, originalmente, o motor de pesquisa do Twitter foi preparado para exibir apenas tweets mais recentes. É bastante provável que restrições técnicas também tenham limitado o alcance das buscas: sistemas do tipo são complexos e, não raramente, exigem uma infraestrutura parruda para funcionar.

Não demorou muito para usuários precisarem consultar tweets menos recentes. Esta necessidade levou à criação de serviços especializados no assunto, com destaque para o Topsy.

Apesar disso, o Twitter só começou a dar mais atenção ao assunto em 2011, após a chegada do engenheiro de software Paul Burstein que, por sua vez, se juntou a uma equipe recém-montada para criar justamente um sistema de busca melhor.

Burstein teve uma boa razão para abraçar a causa. Em seu emprego anterior, na Salesforce.com, ele havia tentado localizar um tweet que o ajudaria a resolver um problema sério em um sistema da empresa. Não conseguiu. Esta é uma das razões que o levaram a aceitar um cargo no Twitter.

A equipe de Burstein tentou várias soluções para o problema. Uma delas, um sistema que deixava os tweets armazenados em uma espécie de “rede de cache”, funcionou bem, mas só no início: havia dificuldades para incluir tweets recentes em tempo hábil.

Depois de outros testes, os engenheiros se focaram, por fim, em um sistema de Big Data baseado no Hadoop. Com ele, é possível incluir e extrair dados da base praticamente em tempo real.

É por esta razão que, agora, o Twitter consegue retornar ao usuário qualquer tweet, desde os mais recentes até aqueles publicados em 2006, ano de lançamento da rede social (mas a atualização acabou de ser implementada, assim, pode demorar dias para o sistema cobrir todos os perfis).

A história não termina aí. Burstein e equipe agora trabalham para deixar o mecanismo de busca mais rápido e, em uma fase posterior, oferecer mais parâmetros de pesquisa. Não deve demorar muito, afinal, a etapa mais desafiadora já foi superada.

Com informações: Wired

Receba mais notícias do Tecnoblog na sua caixa de entrada

E-mail:

* ao se inscrever você aceita a nossa política de privacidade