Caminhão da Amazon vai transportar (literalmente) exabytes de dados para a nuvem

há 7 anos e 4 meses • Atualizado há 2 semanas

Clientes da Amazon que possuem uma quantidade surreal de dados podem agora contar com uma nova forma de armazenar seus arquivos na nuvem: um caminhão. Sim. Isso será possível por meio do Snowmobile.

Antes, uma história: certa vez, quando eu trabalhava no suporte técnico de uma universidade, a gente precisava instalar 10 novos laboratórios de informática, iguais aos que tínhamos em outro campus. E cada computador deveria receber uma quantidade enorme de softwares educacionais e de engenharia que já possuíamos, além de novos programas que teríamos que baixar da internet — que, naquela época, tinha uma velocidade sofrível.

Caso a gente decidisse fazer esses downloads, instalar todos os programas e criar a imagem do zero, o processo para ter o computador “master” (aquele usado como matriz para clonar em todos os outros do mesmo laboratório) iria demorar algumas semanas. Qual foi a solução que nossa equipe propôs? Fazer uma imagem do outro laboratório já existente e nos mandar o HD por Sedex. Assim, em quatro dias o primeiro laboratório estaria pronto.

Imagine agora uma empresa que possua uma quantidade gigantesca de dados. Na casa dos petabytes. Por exemplo, estúdios de filmes e seus catálogos enormes, coleções de imagens de satélite ou a quantidade de RAM utilizada pelo Google Chrome. Como subir isso para a nuvem sem que o processo demore anos? É aí que entra o Snowmobile.

tecnoblog_caminhao_amazon_snowmobile_evento

O caminhão da Amazon consegue levar até 100 petabytes em sua carroceria, utilizando um sistema de armazenamento móvel desenvolvido pela empresa. Depois de fazer a requisição, o caminhão é conectado aos servidores através de fibra ótica, os arquivos são copiados para caixas de 100 TB de capacidade cada, empilháveis, e o motorista pega a estrada em direção ao destino escolhido.

tecnoblog_caminhao_amazon_snowmobile_aws

tecnoblog_caminhao_amazon_snowmobile_seguranca

Para efeito de comparação, os dados do Internet Archive (um enorme backup de tudo o que existe e já existiu na internet) ocupam hoje cerca de 18,5 petabytes. Mas suponhamos que alguém, um dia, consiga chegar nos 100 petabytes suportados pelo Snowmobile: demoraria cerca de 28 anos para fazer o upload de tudo isso através de uma fibra ótica como a do Google Fiber, de 1 Gb/s.

Transportar isso num caminhão, com uma velocidade média de 100 km/h, significa que a Amazon pode levar quase 5.000 gigabits por segundo de São Francisco para Nova York — a viagem demora 45 horas. E tendo em vista que os data centers da Amazon são espalhados pelo país, isso significa que a viagem seria até mais curta que isso.

Faz todo sentido do ponto de vista de negócio.

Mas Toad, e se alguém roubar o caminhão?!

Foi a primeira pergunta que eu fiz também. Jeff Barr, evangelista do serviço de nuvem da Amazon, abordou esse tema: “Do ponto de vista de segurança, o Snowmobile incorpora várias camadas de proteção física e lógica, incluindo monitoramento de cadeia de custódia e vigilância em vídeo”. Em outras palavras, a Amazon possui criptografia dos dados em software nas maletas que armazenam os dados, tem processos internos de logística de onde esses dados estão passando e sistemas de vigilância com câmeras, além de blindagem contra adulterações.

Não ficou claro se o caminhão é blindado contra armas de fogo. Eu imagino que seja, mas na pior das hipóteses o seu frete vai demorar mais, e ninguém vai conseguir acessar seus dados.

E tem cliente para isso tudo?

Sim! O Snowmobile é um “upgrade” de outro serviço de transporte de dados da Amazon chamado Snowball, que permite o envio de até 80 TB de dados por meios convencionais. Os clientes preenchem o espaço disponível, enviam para a empresa, que então sobe para a nuvem. É bem prático. Mas como o Snowball se tornou pequeno (!) para alguns clientes, montar um serviço como o do caminhão se tornou necessário.

E a expectativa é que alguns desses clientes vão precisar de mais de um caminhão para seus backups em breve. Segundo o site oficial, eles podem dar conta de levar dados na escala dos exabytes (10 caminhões). E eu aqui feliz com pen drives de 128 GB.