Big Data

História

Com a criação do World Wide Web, em 1989, pelo cientista britânico Tim Berners-Lee, passou a ser gerado uma grande quantidade de dados e novos tipos de dados também foram surgindo ao longo dos anos. Em 1997 foi criado o termo Big Data (megadados ou grandes dados), porém este termo só passou a ser utilizado oficialmente a partir de 2005 com a publicação de um artigo de Roger Magoulas, da O’Reilly Media.

Mesmo o termo Big Data tendo surgido apenas em 1989, quando olhamos para a história do mundo, podemos datar diversos momentos em que uma enorme quantidade de dados foram processados. Por exemplo, em 1663, John Graunt quando estudou a epidemia da peste bubônica, utilizou uma grande quantidade de informações de diferentes fontes, do ponto de vista de Graunt isto pode ser considerado big data. 

O que é?

  Big Data é o termo usado para se referir a grande quantidade de dados multivariados e de grande dimensão, gerados muitas vezes em tempo real e que possuem um crescimento exponencial. A área que estuda o big data procura formas de tratar, analisar, obter informações, soluções para problemas a partir de conjuntos de dados. 

Com os avanços tecnológicos e novos estudos, os dados estão cada vez mais tendo uma variedade e uma maior quantidade de informações, então para lidar com toda esta quantidade de dados é necessário o desenvolvimento de novas ferramentas e métodos de análises, para isto o conceito de big data foi representado em 5 conceitos (5’V), que são: 

• Volume: relacionado à grande quantidade de dados gerados;
• Variedade: as fontes de dados são muito variadas, o que aumenta a complexidade das análises;
• Velocidade: Devido ao grande volume e variedade de dados, todo o processamento deve ser ágil para gerar as informações necessárias;
• Veracidade: A veracidade está ligada diretamente ao quanto uma informação é verdadeira;
• Valor: Este conceito está relacionado com o valor obtido desses dados, ou seja, com a “informação útil”.

Tipos de dados

Os dados da era de Big Data, pode ser separado em 3 tipos:

Dados estruturados: são dados que possuem estruturas definidas e rígidas, sendo estas estruturas são planejadas para receber tipos específicos de dados, sendo assim não é possível carregar diferentes tipos de dados para os quais elas foram projetadas. Sendo encontrados em bancos de dados relacionais, são muito eficientes quanto à recuperação e processamento.

Dados semi estruturados: este tipo de dado não possui uma estrutura definida e rígida, desta forma eles possuem características consistentes e definidas, geralmente são gerados da Web nos formatos XML e JSON. Por causa da organização dos dados é necessário fazer uma análise prévia dos dados para gerar uma estrutura adequada para carregar o dado.

Dados não estruturados: ao contrário dos dados estruturados, os dados não estruturados não possuem estrutura bem definida e não tem um padrão pré-estabelecido. São dados de vídeo, áudio, e-mails, documentos  de textos em geral, entre outros. Estes dados requerem um pré-processamento para análise.

Aplicações

Diversas empresas vêm investindo no estudo do Big Data para achar novas aplicações, muitas já constataram grande sucesso no estudo e aplicação das informações geradas de estudos realizados. Listamos abaixo alguns exemplos de aplicações:

Hollywood: Com o surgimento de empresas de streaming, como por exemplo a Netflix, Hollywood tem perdido acesso a grande quantidade de informações sobre os hábitos de consumo de seus usuários, desta forma dificultando o desenvolvimento de novos conteúdos. Para ter acesso a estes dados e não perder espaço para as empresas de streaming, Hollywood tem criado seus próprios serviços de streaming.

Governo: Por meio da análise dos dados de censos e outros estudos realizados, o governo desenvolve novas medidas a serem tomadas para melhorar o desenvolvimento do país.

Esportes: Alguns times montam bancos de dados contendo informações sobre o desempenho de atletas, então eles analisam estes dados para desenvolver planos de estratégias para melhorar a performance do time.

Danone: utilizando o Big Data a empresa analisou os hábitos de seus consumidores de forma a produzir e realizar entregas mais eficiente para as lojas, com isso eles evitam perdas com produtos com a validade vencida.

Nike:  por meio de aplicativos a empresa estuda o comportamento de seu público, então ela estuda os dados gerados por estes aplicativos para desenvolver produtos que atendam melhor às necessidades e expectativas de seus consumidores.

Energia: uma empresa dinamarquesa analisou dados climáticos de diversas áreas levando em consideração vários fatores para a instalação de turbinas eólicas, com isto um processo que duraria semanas, foi desenvolvido em horas.

Por Rodrigo Lúcio.

Gostou do conteúdo? Compartilhe com seus amigos.

Fontes: Wikipedia, Medium, Tecmundo, Ibe