Início » Baú » Internet » Dropbox migra 500 PB de dados para servidores próprios

Dropbox migra 500 PB de dados para servidores próprios

Também conhecido como "500 mil terabytes" ou "uma quantidade pornográfica de HDs"

Paulo Higa Por

Nem todo mundo sabia, mas o Dropbox guardava os arquivos dos usuários na infraestrutura da Amazon. Guardava. Nesta segunda-feira (14), o serviço de armazenamento na nuvem anunciou que está terminando de migrar mais de 500 petabytes de dados (ou seja, mais de 500 mil terabytes) para servidores próprios, com o objetivo de aumentar o desempenho da plataforma.

A quantidade de dados no Dropbox cresceu 12 vezes nos últimos quatro anos: em 2012, apenas 40 petabytes de arquivos estavam nas mãos do serviço. O rápido aumento de usuários do Dropbox, que ultrapassou mais de 500 milhões de contas na semana passada, foi um dos incentivos para que a empresa passasse a investir numa infraestrutura própria.

O Dropbox diz que, ao manter seus próprios servidores, pode melhorar o desempenho, que é um dos “principais diferenciais do serviço” (eu concordo) — será possível otimizar cada máquina especificamente para o funcionamento do produto, aumentando a velocidade. Além disso, ao personalizar cada aspecto do hardware e software, a empresa pode reduzir seus custos de operação.

dropbox

Mas como o Dropbox conseguiu migrar uma quantidade tão grande de dados? Obviamente, a transição demorou bastante: os trabalhos se iniciaram em 2013, quando os primeiros protótipos do novo sistema de armazenamento de dados foram desenvolvidos. Os arquivos dos usuários só começaram a ser espelhados entre servidores em agosto de 2014, quando o sistema passou a ser considerado estável. Em 27 de fevereiro de 2015, pela primeira vez, o Dropbox serviu arquivos que estavam salvos apenas em seus servidores.

Para não estourar o cronograma da migração, o Dropbox montou uma rede de alta velocidade capaz de transferir dados a taxas acima de meio terabit por segundo (!). A meta era fornecer pelo menos 90% dos arquivos por meio dos servidores próprios até o final de outubro de 2015 — eles conseguiram atingir a marca quase um mês antes, no dia 7 de outubro.

Agora, o objetivo é manter a estrutura funcionando para expandir o armazenamento até a casa dos exabytes e oferecer disponibilidade de mais de 99,99%. Apesar de manter a maior parte dos dados em seus servidores, a empresa ainda continuará utilizando a Amazon para armazenar arquivos na Alemanha: os clientes corporativos europeus poderão solicitar ao Dropbox que os dados sejam guardados em servidores dentro do continente.

É difícil até imaginar a complexidade de uma estrutura dessas.

Comentários

Envie uma pergunta

Os mais notáveis

Comentários com a maior pontuação

Rodrigo Freijanes
Queria eram ao menos 15GB no iCloud sem mensalidade em dólar.
Rodrigo Freijanes
O Box tá de boa no mercado também?
chulungs
Coloca nessa conta o Spotify, que saiu da Amazon e foi pra Google.
corvolino
???
Thomaz Barros
A intenção do abraaocaldas foi deixar claro que o conteúdo no Brasil é entregue através de caches nos provedores e nos IXs do Rio, São Paulo e Fortaleza. Quando não vem dos caches, o conteúdo vem de fora (geralmente, Cogent, Level3 ou Akamai).
D' Carvalho
Netflix hospeda no BR. Se o servidor é da amazon, não sei. Mas o netflix BR, hospeda no BR.
Thiago Lopes
Você é o bichão mesmo... ein?!?!?!?!
abraaocaldas
Sim é seguro, ele é feito na base do rsync, ele faz hash dos arquivos e continua de onde parou. Já fiz backup de 4TB sem problemas.
Tácio Andrade
Exatamente, no caso os servidores principais estão na Amazon, porem eles possuem em diversos locais do mundo, por exemplo nos datacenter de provedores de acesso, ou no caso do Brasil, no POP-SP (ponto de troca de tráfego entre provedores de conteúdos e serviços), servidores de "cache" para seu conteúdo, de forma a entrega-los muito mais rapidamente para os clientes e não consumir tanta banda internacional desnecessária por exemplo. Por esse motivo um provedor consegue um desempenho muito superior na Netflix que outros, pois possuem um servidor de "cache" da Netflix dentro de seu datacenter, consumindo apenas tráfego da rede interna.
corvolino
Não lembro qual foi a última vez que usei serviço em nuvem, isso tanto faz para mim. E o que não está na AWS hoje né? Boa parte dos sites são dependentes da amazon.
PinPortal ??
Uma observação nisso tudo: Imagine se a Amazon, com todo seu conhecimento no setor de Data Center, por meio do AWS, se tornasse membro do Open Compute Project? Da mesma forma que outras empresas que já fazem parte, como: Facebook, Intel, Apple, Microsoft, Rackspace, Ericsson, Cisco, Juniper Networks, Goldman Sachs, Fidelity, Lenovo, Bank of America e centenas de outras. Além de é claro a novata no projeto: Google. A Amazon AWS teria muito à compartilhar com outras centenas de empresas sobre como ela consegue armazenar tanto espaço em servidores espalhados pelo mundo e ainda oferecer um preço acessível ao seu cliente.
PinPortal ??
Só para complementar o quê o Higa disse: O Netflix não precisa de tanto espaço, precisam de banda. E isso o AWS pode oferecer e provavelmente um Data Center próprio com essa finalidade não seria vantajoso. É o mesmo caso do Spotify que recentemente anunciou que vai migrar para o Google Cloud. Também precisa de banda, muita mais que armazenamento. Entenda que um filme X que eu assisto no Netflix ou uma música Y que eu ouço no Spotify, será assistida/ouvida por milhões de pessoas ao redor do mundo simultaneamente, mesmo que o mesmo arquivo localizado em um servidor específico. O quê eles precisam? Banda, muita banda. Agora o quê eu armazeno no Dropbox, não é o mesmo que você armazena. É fato que eles dividem os arquivos em milhares de partes e tentam encontrar pequenas partes iguais nos arquivos hospedados por milhões de usuários. Então na hora de armazenar, só armazenam uma vez essa parte e não milhões de vezes. Uma ou duas vezes (Contando com backup). No caso do Dropbox o foco, além de banda, é principalmente armazenamento.
Junior Santos
Não conheço esse rclone. Ele é seguro? Tipo... não posso perder um arquivo se quer.... rsrs
Junior Santos
Não tinha comparação no plano Empresarial não. Apenas optei por ele, por ter mais espaço de trabalho de dados. Como trabalho com fotografia e ainda tenho outros dados de videos que estão em outras contas, optei pelo plano Business para transportar os quase 2Tb de dados do GDrive e OneDrive. https://www.dropbox.com/business/pricing
Luciano Paranhos
O plano empresarial, comparado ao pro parece interessante. Neste post que você viu é feito algum tipo de comparação, lembra qual é?
Exibir mais comentários