Storage na Amazon e na Google

Como é que a Amazon e a Google armazenam suas absurdas demandas de persistência de informação?

Se você acha que é com grandes storages fiberchannel em RAID5, RAID6 ou RAID10 e instalações gigantescas de bancos de dados comerciais você estaria completamente enganado.

Tanto uma como a outra desenvolveu seus próprios mecanismos de armazenamento de informação em servidores convencionais usando simples discos ATAs.

A idéia é utilizar muitas máquinas com dados espalhados e com cópias redundandes em vários lugares, normalmente 3 cópias independentes.


A Amazon utiliza do serviço S3 internamente para implementar seus mecanismos de redundância. Este serviço permite o armazenamento e a recuperação de arquivos de até 2GB em uma estrutura de diretório, a remoção dos mesmos e a listagem destes diretórios.

Internamente o S3 implementa tudo o que é necessário para garantir a preservação dos dados e a acessibilidade dos mesmos. Os arquivos são copiados automaticamente para vários datacenters da Amazon.

O interessante deste serviço S3 é que a Amazon oferece este serviço para qualquer pessoa que tenha interesse de desenvolver aplicações com dados seguros por preços muito baixos: $0,15 centavos de dólar por GB armazenado, $0,10 por GB enviado à Amazon, até $0,18 por GB recebido da Amazon, e mais $0,01 por 1.000 envios ou listagens e $0,01 por 10.000 recebimentos.

Este é o caso da SmugMug, que se utiliza da estrutura da S3 para armazenar mais de 100 TB de fotos dos clientes deles.



Já a Google se utiliza da tecnologia do Google File System, que implementa de forma semelhante um mecanismo robusto de armazenamento dos dados.

A Google não oferece acesso por terceiros a este sistema, mas seu funcionamento é documentado neste paper.

O Google File System (GFS) implementa um mecanismo de quebrar os arquivos a serem preservados em chunks de 64MB por default, chunks estes que são replicados em 3 servidores ou mais.

As leituras são distribuidas entre as cópias permitindo multiplicar o throughput, já as escritas são feitas em seqüência entre os servidores e sempre na mesma ordem para que situações de corrida não façam as cópias ficarem diferentes. As escritas só são confirmadas para a aplicação se todas as cópias estão com o dado gravado corretamente.

Tanto a solução da Google como da Amazon não implementam mecanismos esperados em sistemas de arquivos convencionais, como a alteração no meio de um arquivo já gravado. A solução da Google entretanto permite a leitura a partir de um endereço aleatório e pelo menos anexar dados no final de arquivos previamente guardados.

E como é possível usar isso para substituir um banco de dados convencional?

Não é simples, mas com esta base funcional as duas empresas implementaram abstrações, tipo o BigTable (paper) do Google, que permitem hoje fazer ambas as empresas operar os seus negócios em escalas impensáveis para bancos convencionais.

Integração fixo-móvel para voz e dados na Vodafone Italia

Vodafone Italia está anunciando o oferecimento de uma solução de integração Fixo-Móvel para voz e dados.

É um roteador com Wi-Fi, Ethernet e FXS para uso interno e ADSL2+ e 3G para conexão à operadora.

O adaptador 3g é um adaptador USB que fica conectado a uma porta USB do gateway, e que pode ser desacoplado para permitir acesso a Internet móvel a um notebook.

Um ponto interessante é que dentro da sua residência o chaveamento entre ADSL2+ e 3G é automático, permitindo que a operadora provisione serviço antes mesmo que o ADSL2+ esteja instalado na casa do cliente.

É uma solução interessante que permite que a operadora atenda a conectividade fixa e móvel num serviço único, e que promove uma fidelização do cliente para voz e dados.

O equipamento, segundo Dean Bubley, foi desenvolvido em conjunto com a Huawei.

92% do tráfego de dados 3G vem de PCs na Finlândia

Esta informação é bastante surpreendente...

O 3G nasceu com o objetivo de oferecer comunicação multimídia de alta velocidade para terminais telefônicos inteligentes.

Mas o que acabou acontecendo praticamente de imediato? Virou mecanismo de acesso fixo e/ou nômade de acesso simples a Internet!

Dean Bubley comenta aqui sobre a apresentação que discute como está sendo usado o 3G na Finlândia, aonde num dos slides (slide 17) observa-se que 92% do uso da rede veio dos PCs no ano de 2007.

Será que terminais como o futuro iPhone 3G da Apple serão capazes de significantemente afetarem como o 3G será usado? Parece improvável...


Atualização: Brough também está analisando este dado, e ele argumenta que isto prova que 3G está sendo usado como "dump pipe" (cano burro) e que investimentos de IMS são de retorno duvidosos, no mínimo.

Wi-Fi Mesh para cidades não dá certo

Vários relatos estão dando conta que cidades pioneiras em instalação de redes Mesh Wi-Fi estão desistindo de suas redes.

A tecnologia Wi-Fi se está mostrando inviável pela dificuldade de cobertura interna e em andares altos, exigindo em geral o uso de gateways externos às edificações.

Além disso a dificuldade de rentabilizar a rede e o desinteresse das operadoras convencionais em estimular esta tecnologia contribuíram para que estas iniciativas acabassem em descrédito.

Nômades Digitais e A Nova Força de Trabalho

A revista "The Economist" publicou um artigo interessante sobre o processo de mudança que está em curso nos ambientes de trabalho das pessoas e seus novos modos de vida.

O ponto chave é que o trabalho até recentemente estava ligado diretamente a um espaço físico, como por exemplo o local aonde seu telefone ou fax, sua máquina de escrever, os arquivos ou mesmo outras ferramentas de trabalho estavam localizados.

Dada a esta limitação, os locais de trabalho foram desenhados para otimizar o uso funcional do espaço. Pessoas com atividades afins tinham que trabalhar em um espaço específico desenhado especificamente para a atividade fim.

O computador está mudando tudo. Hoje qualquer trabalho intelectual pode, em grande parte, ser executado a partir de um computador.

Nos últimos 10 anos isto já estava ficando claro, e os computadores passaram a ser colocados nos espaços funcionais desenhados no passado. Como os computadores eram grandes e precisavam de alimentação e conectividade, basicamente o computador foi colocado exatamente na escrivaninha de trabalho dos profissionais.

Nos últimos anos o computador ganhou alforria... Notebooks se tornaram cada vez mais leves, baratos e poderosos, e a conectividade está literalmente "no ar" através do Wi-Fi e, mais recentemente, através da tecnologia 3G dos celulares.

Para que agora manter os ambientes de trabalho organizado pelas atividades funcionais? E por que o trabalho tem que ser executado sempre no mesmo local? Se nós observarmos, em grande parte por causa do celular e do e-mail já passamos grande parte do nosso tempo do trabalho longe de nossas mesas normais de trabalho.

Estas mesas vazias mostram a ineficiência do uso do espaço no modelo antigo. Tanto que várias empresas visionárias já estão montando espaços multifuncionais, misturando estímulo a criatividade através de obras de arte, alimentação frugal disponível de forma livre e sofás organizados em círculos para o estímulo ao trabalho social multidisciplinar.

O artigo comenta também sobre as mudanças que estão acontecendo também com as cidades, onde as separações centro/subúrbio começam a desaparecer e espaços sociais de trabalho e lazer surgem nas imediações das residências.

Será que uma utopia aonde os escritórios dilbertianos não existem mais poderá se tornar uma realidade?

Brough: propriedade coletiva da rede de distribuição ótica

Foi disponibilizada a apresentação de Brough na eComm2008 sobre sua proposta de política de construção de uma rede de fibra escura de uso coletivo como a melhor maneira de oferecer conectividade a sociedade.

Computadores Ultraportáveis: a nova fronteira

Até agora estávamos brigando entre a interface e a performance limitada dos telefones celulares e o preço, o tamanho e baterias dos notebooks para as atividades de processamento de documentos e acesso a Internet.

Entramos agora na nova fronteira, que é exatamente este espaço entre o seu celular e o seu notebook ou desktop.

Como conseguir um dispositivo de baixo consumo, leve, pequeno o suficiente para carregar no lugar de uma agenda de papel?

A ASUS inaugurou o mercado com seu produto eeePC, um subnotebook de 900g baseado num Celerom da Intel, com memória flash de 4GB e sem disco rígido, com WiFi e bateria de mais de 3 horas. Preço de $350 dólares nos EUA e algo acima de R$1.100,00 aqui no Brasil.

A tela é limitada, apenas 7" e resolução de 800x600 e que obriga a rotação horizontal da tela em muitos sites na Internet. Como alternativa, um - reduz a fonte da página para algo quase impossível de ler. Além disso o teclado também é minúsculo, tornando impossível a digitação rápida sem catar-milho.

Aceitando estas limitações, você tem um equipamento extremamente portável com microfone e câmera de vídeo embutida para fazer as conferências de vídeo pelo Skype, acessar os documentos do GoogleDocs ou internamente pelo OpenOffice, e acessar o Firefox para acessar sua caixa de e-mail do GMail.

Este é apenas o prenúncio deste mercado, pois a Intel está prevendo lançar em junho seu processador Atom de baixo consumo e alta performance e ainda compatível com os PCs convencionais.

Saindo dos PCs, ainda existirão outros concorrentes correndo com arquiteturas diferentes, como o Qualcomm Snapdragon e processadores da VIA e da Freescale.

Comprei um eeePC azul bebê algumas semanas atrás e posso dizer que seu tamanho impressiona qualquer um. É um equipamento razoável para edição rápida de documentos e acesso a Internet que está operacional em 15 segundos.

Você pode carregar para qualquer lugar sem sofrimento e sem grandes riscos, já que você não vai poder mesmo usar ele como repositório central de suas mídias ou como equipamento principal de trabalho...