Big data no Azure

Otimize o “ROI” com Data Science usando ferramentas como o Azure Data Explorer

Para obter resultados com análise de dados, além de gente dedicada, é importante que ferramentas e técnicas certas sejam empregadas, reduzindo investimentos e acelerando a geração de resultados. Uma excelente ferramenta, que destaca-se por sua facilidade e rapidez, é o Azure Data Explorer: serviço que viabiliza a realização de análises em dados estruturados, semiestruturados e não estruturados.

O serviço da Microsoft integra com outras soluções de storage do Azure, como o Azure Data Lake Gen2, de maneira ágil, já no setup inicial. Sua configuração pode ser feita usando o portal do Azure, começando com a criação de um cluster onde serão vinculadas bases de dados de outros serviços ou pelo upload de arquivos locais.

Combinando velocidade, eficiência e a expressividade da linguagem KQL, que conta com várias funcionalidades integradas para realizar operações da área de data science, é possível consultar TBs de dados em instantes, via browser. Também é possível realizar consultas usando o SDK disponível para a linguagem Python.

KQL (Kusto Query Language)

Uma consulta Kusto é uma requisição somente leitura para processamento de dados e retorno de resultados. A consulta é feita em texto puro, usando um modelo de fluxo de dados projetado para fazer a sintaxe fácil de ler, produzir e automatizar. A consulta utiliza entidades do esquema que estão organizadas em uma hierarquia semelhante a SQL, com bancos de dados, tabelas e colunas.

Nos exemplos que seguem, exploramos dados de uma base de dados de repositórios do Github, contendo registros dos eventos que ocorrem em repositórios e seu detalhamento – como pull requests, a abertura de issues e comentários em pull requests, tipo de evento, payload, etc. Essa base de dados contém por volta de um bilhão de registros, totalizando 3 TBs.

Mesmo consultas complexas são completadas em pouco tempo (a consulta do exemplo tomou menos de dois segundos para ser concluída). Esta boa performance, em grande parte, é dada pela organização – compressão e indexação – dos dados que o serviço realiza em seu cluster de processamento.

O serviço também facilita a geração de visualizações gráficas. É possível criar o gráficos complexos, envovlendo agrupamentos e intervalos de tempo (muito comuns em bases contendo informações provenientes de dispositivos IoT).

Na próxima figura, uma consulta simples para detectar anomalias na base de dados.

O processo de exploração de dados para obtenção de valor pode custar caro se não for realizado de forma adequada. Com o Azure Data Explorer é possível analisar dados de maneira rápida, eficiente e com baixo custo, além integrar facilmente com o ecossistema de Big Data do Azure.

Em Resumo
  • O fato

    O processo de análise dos dados é essencial para qualquer organização que deseja extrair valor e insights das informações, revelando oportunidades de otimização do negócio ao mesmo tempo em que oferece maior compreensão sobre os dados.
  • O insight

    A utilização de uma tecnologia ou serviço que não é adequado pode prejudicar o negócio, tanto em termos de custo quanto de prazos para a extração das informações. O Azure Data Explorer possibilita que o processo seja feito de maneira ágil, eficiente e com baixo custo.
  • Os benefícios

    Por meio da utilização do serviço, é possível analisar em poucos segundos grandes conjuntos de dados estruturados, semi-estruturados e não estruturados com a linguagem KQL, por meio do browser, ou utilizando Python. Sua infraestrutura é gerenciada pelo Azure e integra facilmente com outros serviços de storage da nuvem da Microsoft.

Thiago Gaglietti de Candido

Atuo na área de tecnologia e desenvolvimento de software com foco nas áreas de liderança técnica, arquitetura de software, aplicações de alto desempenho e inteligência artificial. No decorrer de minha carreira, trabalhei com organizações de diversos segmentos e liderei equipes em projetos de sucesso. 

Talvez você goste também

Carregando posts…

Mais posts da série Big data no Azure

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *