Apache Storm é um sistema livre e open-source (código-fonte aberto) utilizado na computação distribuída em tempo real. Ele torna fácil e confiável processar fluxos ilimitados de dados, fazendo para processamento em tempo real o que Hadoop fez para processamento em lote.
A Apache Software Foundation (ASF) afirma que o Storm é capaz de processar mais de 1 milhão de tuplas (registros) por segundo em cada nó. Faz isso porque trabalha com streaming de dados em paralelo com um cluster, ao contrário do MapReduce, que faz trabalhos em lote.
Se você estava esperando que o Storm se tornasse um projeto de alto nível (Top-Level Project / TLP) antes de usá-lo, agora não terá mais essa desculpa, pois ele se tornou um TLP em 29 de setembro.
O Storm está sendo utilizado por empresas top que procuram velocidades mais rápidas para seus projetos de Big Data, incluindo o Yahoo, Twitter, Groupon e Alibaba, dentre outras.
Tipicamente o Storm está sendo utilizado em conjunto com o Hadoop, mas não está limitado a isso. A Microsoft, por exemplo, parece estar querendo incorporar o Storm em seu serviço de Big Data, o Azure Data Factory.
Este anúncio representa um marco importante na evolução contínua do Storm. Estamos orgulhosos de que nossas contribuições levaram o amadurecimento da segurança, multi-tenancy e maior escalabilidade. Hoje o Apache Storm é amplamente utilizado no Yahoo para as necessidades de processamento de dados em tempo real, incluindo a personalização do conteúdo, publicidade e desenvolvimento móvel. É emocionante ver que o ecossistema do Hadoop e da comunidade estão se expandindo com a adoção contínua do Storm.
Então, se você está procurando a resposta ideal para o processamento em tempo de real de seus Workloads, então você deve dar uma olhada no Storm. Para mais informações acesse o site do projeto.