IGTI Blog
bancos de dados

O papel do especialista em Bancos de Dados na ciência de dados

Vivemos na era da informação, a todo o momento estamos consumindo e gerando dados. Utilizamos dados para traçar as melhores rotas no trânsito, para comunicar com os nossos amigos, para fazer previsões na bolsa de valores, para identificar tendências de mercado, entre outras aplicações.

Um estudo realizado pela EMC* aponta que de 2006 a 2010, o volume de dados digitais gerados cresceu de 166 Exabytes para 988 Exabytes. Na figura 1, está apresentada uma projeção de crescimento do volume de dados para o ano de 2020, algo em torno de 40 Zettabytes (ou 40 trilhões de Gigabytes).

bancos de dadosFigura 1: Projeção crescimento volume de dados no mundo

O estudo realizado pela EMC indica ainda que juntamente com o crescimento da volumetria de dados armazenados existe uma projeção de crescimento de investimentos na área de ciência de dados em torno de 40%.

Para grande parte das empresas a informação é o bem mais precioso, sendo contabilizada como parte do patrimônio empresarial. E realmente, informação vale muito dinheiro, é a partir de dados brutos que obtemos informações e é a partir de informações que obtemos conhecimento.

O que fazer com todos estes dados?

Coletar e armazenar dados relevantes que podem ser usados no futuro próximo, é um investimento muito atrativo. Muitas empresas oferecem serviços gratuitos com o único intuito de coletar e armazenar dados relevantes que poderão ser utilizados como repositórios para criação de novos produtos.

No campo governamental o estudo de dados pode trazer benefícios significativos para melhorar a eficiência da gestão pública e a qualidade das políticas públicas. Além disso, decisões governamentais podem ser justificadas a partir de informações conclusivas retiradas de grandes massas de dados. Não há dúvidas que tudo isso implicará na promoção do crescimento econômico e melhoria dos serviços do governo prestados à população. A geração, captação e armazenamento de dados, em volume cada vez maior (Big Data) é a chave de direcionamento estratégico de qualquer negócio.

Aproveitando essas oportunidades, novas empresas surgiram dedicadas ao minucioso trabalho de estudar os dados a fim de transformá-los em informação e posteriormente em conhecimento. As empresas que trabalham com Ciência de Dados, extraem conhecimento ou insights para possíveis tomadas de decisões empresariais na busca por melhores resultados.

Onde os dados estão sendo armazenados?

Um banco de dados pode ser definido como qualquer arquivo onde fiquem armazenados dados, seja um arquivo de texto, uma planilha ou qualquer outra estrutura. Contudo, como os dados atualmente têm fundamental importância, as empresas buscam estruturas avançadas que permitem a manipulação de dados de forma segura, com agilidade e integridade. Essas estruturas recebem o nome de SGBD’s (Sistemas Gerenciadores de Banco de Dados).

Além das empresas que utilizam os SGBD’s para armazenar dados dos seus processos, existem ainda as empresas fornecedoras de tecnologia de Big Data que trabalham integralmente com manipulação de dados na formação de conhecimento através de bancos NoSQL, sendo as principais responsáveis pela contratação dos cientistas de dados e especialistas de banco de dados.

Nunca foi tão fácil armazenar grandes volumes de dados. Possuímos tecnologias acessíveis, de bom desempenho e baixo custo, e arquiteturas que facilitam a manipulação de grandes massas de dados como os bancos NoSQL. Bancos de dados NoSQL foram construídos para serem robustos e escaláveis e são excelentes ferramentas para armazenamento de grandes volumes de dados. Possuem uma arquitetura voltada para ambientes distribuídos, o que torna a escalabilidade uma tarefa relativamente simples para bancos NoSQL, ao contrário dos bancos relacionais cuja escalabilidade é normalmente complexa.

Por esses motivos os bancos NoSQL têm se tornado populares entre grandes empresas e representam uma ferramenta importante para trabalhar com Big Data. Grande parte dos bancos NoSQL utilizados no mundo estão exibidos na Figura 2, entre eles podemos destacar o MongoDB, o Cassandra e o Neo4j. Com o grande crescimento de utilização dos bancos NoSQL o mercado de trabalho sofre dificuldades para encontrar profissionais especialistas em banco de dados qualificados para dar manutenção neste tipo de arquitetura.

bancos de dados

Figura 2: Bancos de dados NoSQL

O papel do especialista em Bancos de Dados

De fato, em curto ou médio prazo, haverá uma escassez de talentos para atender a demanda das empresas e do governo por profissionais que dominam habilidades inerentes à manutenção e manipulação de grandes bases de dados. Segundo a IBM** cerca de 80% dos dados produzidos nas empresas estão armazenados de forma desestruturada, o que dificulta a análise e extração de conhecimento a partir desses dados. Logo, para aproveitar todos estes dados para extração de conhecimento, muitos profissionais precisarão ser alocados.

Neste cenário promissor o papel do especialista em Banco de Dados é fundamental. Ocorre que mesmo que a empresa utilize uma estrutura avançada para armazenar seus dados, como um SGBD, por exemplo, ainda é necessário que a empresa possua profissionais especializados na manutenção e gerenciamento dos SGBD’s. Esses profissionais especialistas deverão estar sempre prontos para ajustar o SGBD às metas pré-determinadas da empresa.

O especialista em Banco de Dados conhece a fundo a estrutura de um SGBD, e sabe como construir os melhores mecanismos para garantir que as informações gravadas na base de dados estejam sempre íntegras, promovendo o rápido acesso dos atores envolvidos aos dados dos processos empresariais.

A perda de dados do cadastro dos itens de um supermercado, assim como a perda de dados de uma multinacional causam danos financeiros significativos para as corporações, logo a presença do profissional especialista em Banco de Dados é extremamente importante para garantir o bom funcionamento do SGBD e o backup dos dados.

Algumas empresas possuem vários especialistas em Banco de Dados, isso pode variar de acordo com a complexidade e a volumetria da demanda de alterações no funcionamento do SGBD instalado na empresa. Contudo podemos dizer que as principais funções de um especialista em banco de dados podem ser dividas em três grandes vertentes: existem os DBA’s (administradores de banco de dados), os AD’s (administradores de dados) e os DB’s (desenvolvedores de banco de dados). Existem empresas que possuem um especialista alocado em cada função, outras, possuem um único profissional especializado em banco de dados exercendo as três funções.

Professor autor: Bruno Fernandes de Sousa

Referências:

*Gantz, John andReinsel. David. The Digital Universe In 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East. EMC Corporation, 2012. Disponível em: http://www.emc.com/collateral/analyst-reports/idc-the-digital-universe-in-2020.pdf

**Manyika, James; et al. Big data: The Next Frontier For Innovation, Competition, And Productivity. McKinsey Global Institute, 2011. Disponível em: http://www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation