Afinal, O Que é Big Data?

Olá Pessoal.

No último ano foram publicadas muitas notícias sobre o chamado Big Data, mas as dúvidas sobre o que esse termo realmente quer dizer ainda continuam em alta, incomodando aqueles que lêem essa palavra o tempo todo sem conseguir compreender sua magnitude. Um dos motivos dessa dúvida é que a informação sobre esse assunto está muito pulverizada na própria Internet e diferentes autores têm sua interpretação pessoal, o que é normal e diria até que desejável, sobre as principais características que definem melhor esse termo.

Nesse artigo trago um esforço para ajudar a organizar alguns dos principais conceitos diretamente relacionados ao assunto, por isso fui buscar algumas definições na essência da origem do termo Big Data! Sempre digo que é a partir da compreensão da origem das coisas que o processo de aprendizado fica mais natural. Aliás, não existe uma definição universal aceita pela academia e indústria, motivo pelo qual esse artigo se torna ainda mais importante para ajudá-lo a formular sua própria interpretação do assunto!

Fonte: Internet

A figura acima já é um clichê na Internet e nas revistas no que diz respeito a esse assunto. E não é para menos, afinal no entorno do termo Big Data podemos encontrar várias palavras que representam ferramentas/tecnologias de suporte ao "misterioso" Big Data, a exemplo de: Internet, redes, informação, compartilhamento, busca, geranciamento, análise, software, negócios, armazenamento, registro, sistemas e várias outras. O interessante é que, dependendo do perfil de cada pessoa, é comum observarmos mais rapidamente aquelas palavras que têm relação direta com o nosso cotidiano.

É claro que em um único artigo seria impossível definir detalhadamente todas essas ferramentas e tecnologias que suportam o Big Data e, na realidade, nem é esse o objetivo. Então vamos tentar organizar melhor as idéias...

Em primeira análise, temos que destacar que Big Data está diretamente relacionado com a Internet moldada pelo uso que fazemos dela atualmente e, é por isso que, em síntese, são as tecnologias de computação em nuvem que suportam o Big Data, seja no contexto técnico da infraestrutura ou na visão de negócios. Essa é uma primeira correlação importante para caminharmos adiante porque mostra que Big Data ultrapassa os limites de uma única organização...

Em segunda análise, temos que entender o motivo pelo qual as empresas têm demonstrado tanto interesse no Big Data. Essa é uma questão mais fácil de responder, afinal informação é crucial para subsidiar a estratégia de qualquer negócio! Até que haja algum critério para definir qual informação é relevante para um negócio, ou seja, aquela que pode agregar valor de alguma forma, então assumimos que toda informação pode ser útil. De forma bastante objetiva podemos afirmar que Big Data é INFORMAÇÃO! Mas reparem que não estamos falando de qualquer informação, estamos falando de muita informação gerada e consumida rapidamente!

Essa análise ainda está superficial, então nesse tocante surge outro conceito importante relacionado ao Big Data, a mineração de dados (ou data mining). Esse é um conceito clássico na Ciência da Computação que consiste, de maneira superficial, em métodos para realizar a extração de informação útil em grandes volumes de dados! Uma analogia que está se consolidando e que pode ajudar nesse entendimento é a seguinte:

1) Pense no Big Data como um telescópio, afinal quando você observa através dele passa a ter a possibilidade de enxergar uma infinidade de coisas e tudo parece estar ali ao seu alcance, mas como saber para onde olhar diante da imensidão do universo?

2) Pense no Data Mining como um microscópio, afinal quando você observa através dele passa a focalizar sua visão nos detalhes de algo específico, ou seja, é esperado que você já saiba qual informação quer obter!

Na realidade o data mining não é assim tão simples como a mera busca de dados, o conceito de mineração envolve complexos algoritmos para auxiliar no processo de identificação de padrões para obtenção de informação útil que possa agregar valor à parte interessada. Há toda uma linha de pesquisa na academia que envolve cientistas engajados no desenvolvimento dessas técnicas, sejamos justos!

Observação: Enquanto que data mining faz referência às técnicas para extração de dados, o termo de negócios mais popular é Bussiness Inteligence (BI). O termo BI compreende, inclusive, outras ferramentas além do data mining.

Estamos evoluindo bem, mas antes de dar seguimento à nossa caminhada no entendimento do Big Data, temos que fazer uma observação. É por envolver técnicas de mineração de dados que muitas vezes o Big Data é confundido com outro elemento clássico da computação: o Data Warehouse (DW).

O Data Warehouse (cuja tradução literal seria armazém de dados) é um repositório consolidado de uma organização e que armazena grande volume de dados (principalmente histórico) originados por fontes no contexto da própria organização. É agora que essa definição pode atrapalhar, afinal ela é muita similar ao conceito de Big Data visto até aqui! Então que tal apontar as diferenças entre as duas coisas? 

A "novidade" do Big Data é que o comportamento do usuário no uso cotidiano que ele faz da Internet irá refletir na geração de informações sobre o seu perfil! E essas informações também serão armazenadas, mesmo que temporariamente, para "posterior" (quase imediata, observe as aspas) consulta! Então repare que você, sem nenhum relacionamento direto com a orgnização, também passa a ser fonte de informação a partir da Internet, por exemplo através da sua interação nas redes sociais! 

Outra forma de enxergar as diferenças é pensar que o Data Warehouse existe no contexto de uma organização e foi devidamente projetado para atender seu propósito, enquanto que o Big Data é um conceito mais amplo e abstrato que simplesmente acontece espontaneamente, afinal ele está aí crescendo desenfreadamente e não pode ser contido! As soluções de Big Data encontradas no mercado são desenvolvidas para fazer a extração em volumes de dados aleatórios sem orgnização estruturada (coletados da Internet), enquanto que o Data Warehouse é previamente projetado para otimizar as posteriores buscas.

Seria ousadia minha, então, pensar que o Big Data poderia ser interpretado como o Data Warehouse da "organização" Internet??? Na realidade eu mesmo discordo dessa afirmação, mas esse é um bom exercício de reflexão! ;-) No final do exercício, qualquer que tenha sido sua resposta, tenho certeza que o processo de reflexão foi de grande valia! 

Como sugestão da material complementar, o vídeo abaixo foi produzido pela EMC², uma empresa líder no mercado de Big Data e soluções de computação em nuvem. Achei conveniente trazê-lo como apoio para essa discussão porque sua abordagem contribui com a proposta desse artigo.

Por fim, é importante destacar que a simples leitura desse artigo não é suficiente para esgotar o assunto e nem tenho essa pretensão. A leitura de outros materiais é recomendada, até mesmo porque a interpretação de outros autores pode apontar para uma direção diferente da minha abordagem e que, de alguma forma, seja mais adequada para alguns leitores do blog.

Abraço.

Samuel.