Nos últimos anos temos visto enormes investimentos na área de infraestrutura de Tecnologia da Informação das empresas, aumentando consideravelmente a sua capacidade de coletar dados.
Segundo o Gartner, maior instituto de pesquisa em TI do mundo, no ano passado 64% das empresas planejavam investimentos em Big Data.
Atualmente, quase todos os aspectos de um negócio podem ser avaliados e melhorados, desde a produção de manufaturas e gerenciamento de logística até a experiência dos usuários.
Somados a isso, os dados gerados fora dos ambientes empresariais, como mídias sociais e notícias sobre os concorrentes, ajudam as empresas a obterem mais informações sobre o seu mercado. Essa explosão de dados criou um grande desafio para a área de negócios: como explora-los para criar vantagem competitiva?
Para explorar esses dados e retirar boas ideias para os negócios, a empresa precisa de um processo definido. Para isso, muitas companhias recorrem ao chamado CRISP-DM (Cross Industry Standard Process for Data Mining), um ciclo de mineração de dados, composto por seis etapas: entendimento do negócio, entendimento dos dados, preparação dos dados, modelagem, avaliação e implantação.
Na primeira fase, o foco é entender os requisitos e objetivos do projeto, sempre buscando uma perspectiva de negócio. Na etapa de entendimento dos dados, as fontes necessárias de informação, sejam internas quanto externas, devem ser localizadas, como por exemplo, posts do Facebook que tenham referências importantes para a companhia.
Nessa fase, a qualidade dos dados selecionados é relevante para o trabalho – o executivo deve se perguntar: essa informação é importante para o meu negócio? Esse dado realmente será utilizado para avaliar o mercado que desejo?
Já a terceira fase, preparação de dados, é responsável por padronizar todos esses dados vindos de diversas fontes em formato único, facilitando a visualização dos mesmos pelo profissional. Na modelagem, são aplicadas técnicas estatísticas para avaliar, por exemplo, a propensão à compra de determinado produto por um consumidor.
Dessa forma, a empresa poderá utilizar informações históricas de compras do indivíduo para saber qual é a probabilidade dele efetuar uma nova aquisição. Na fase de avaliação, os modelos gerados na fase anterior são comparados e avaliados. Na implantação, os resultados gerados são disponibilizados para área de negócios para ajudar a companhia a alinhar e desenvolver suas estratégias de negócios.
A pergunta que fica é: o que o processo CRISP-DM tem a ver com ciclo de Big Data? Na maioria dos casos, as tecnologias de Big Data são utilizadas para apoiar o processo de mineração de dados.
Elas não constituem por si só tecnologia de ciência de dados, mas sim, ferramentas sofisticadas para o processamento de dados. Já o processo CRISP-DM constituí uma metodologia para organização do pensamento analítico, que pode e deve ser utilizada no contexto de Big Data. Assim, o ciclo de Big Data é construído em cima dos alicerces do CRISP-DM, utilizando tecnologias de Big Data em suas etapas.
Dado que temos tecnologia capaz de processar grandes volumes de dados, a pergunta que devemos nos fazer é: “O que posso fazer agora que não poderia fazer antes, ou o que posso fazer melhor do que fazia antes?”.
O grande desafio ainda está na primeira etapa do processo, o entendimento do negócio, do problema. Talvez esteja faltando um pouco de criatividade para as empresas de todos os setores.
*Pedro Magalhães é coordenador de equipes de desenvolvimento de produtos da Stone Age