QUANDO O BIG DATA FALHA

QUANDO O BIG DATA FALHA

Caros,
Esse mês de outubro, tive a oportunidade de debater os desafios do Business Intelligence na conferência Sul do E-commerce Brasil e publicar um artigo na respectiva revista, compartilhado a seguir.

Big Data foi o fenômeno nos anos de 2012 e 2013. Provavelmente, toda importante publicação de negócios trouxe uma notícia de como a revolução dessa enorme quantidade de dados está ajudando indústrias de diversos setores a se tornarem mais eficientes e produtivas.

A última campanha eleitoral americana utilizou-se de grandes quantidades de dados para realizar micro segmentações, analisar padrões e entender quais fatores eram mais relevantes para o eleitor. Softwares de uso livre estão ajudando agricultores do Quênia a serem mais produtivos, reduzindo custos com aditivos químicos e gerando oportunidades para o combate à fome no mundo. Na área da saúde, supercomputadores estão reduzindo o tempo de diagnóstico de doenças e indicando tratamentos mais eficientes – vide Watson da IBM. Exemplos de aplicações reais não faltam.

Tenho percebido médias e grandes corporações fazerem importantes investimentos em infraestrutura de dados e buscarem pelo mais sexy e raro dos profissionais da atualidade: o cientista de dados.

Mas por que então, inclusive em nosso mercado onde a tecnologia da informação está no DNA, ainda encontramos dificuldades em trazer as grandes melhorias e conseguirmos os resultados tão almejados?

Nos últimos anos, diversos artigos têm questionado o uso correto do Big Data e discutido porque a sua aplicação isolada falha.

Ter muitos dados não resulta em qualidade de informação

Em diversas ocasiões, verifiquei que essa infinidade de bytes era relativa a poucas variáveis, muitas delas apenas combinações das anteriores. Ter variabilidade e qualidade é tão importante quanto quantidade.

O artigo “Big Data Doesn’t Work if You Ignore the Small Things that Matter” publicado por Robert Plant – Professor de sistemas da informação na Universidade de Negócios de Miami – na revista Harvard Business Review em 2012, afirma que as empresas seriam melhores na satisfação e retenção de seus clientes se gastassem menos tempo no uso do Big Data e mais tempo fazendo o bom uso do “small data” – informações já existentes em tecnologias simples.

Em 2009, a pesquisadora etnográfica Tricia Wang reportou seus estudos a Nokia, então uma das maiores fabricantes de celular do mundo, sobre a necessidade de reposicionar seus produtos dado uma crescente inclusão dos aparelhos nas populações de baixa renda. Porém, a quantidade de indivíduos representados nas pesquisas de Tricia era insignificante perante os enormes registros nos bancos de dados da empresa e acabou sendo menosprezado. Tricia definiu seus valiosos dados como “thick data”. Passados oito anos, sabemos que as previsões baseadas em um modelo com foco quantitativo não trouxeram o resultado esperado.

Principalmente quando falamos de compreensão humana, prever comportamento é algo desafiador. Num processo de decisão de compra, milhares são os fatores de influência: históricos, genéticos, externos e internos. Nem o mais avançado dos sistemas Big Data ainda é capaz de internalizar essa quantidade de variáveis.

Temos dificuldades em criar bons modelos preditivos

Na tentativa de fazer previsões e modelar um novo cenário, as vezes esquecemos que nossos dados são gerados a partir de acontecimentos passados. Acontece que na atual dinâmica dos negócios, as principais decisões precisam ser tomadas com base em um contexto futuro nunca verificados em sistema antes.

Há ainda o fato de todo cenário preditivo ser um modelo. Existem condições de contorno, diriam os engenheiros. Há limitações claras sobre quais são as variáveis que compõe esse modelo, desprezando outras por facilidade ou porque nem temos ciência da sua influência sobre os resultados futuros. Adoramos a falsa sensação de controle quando todos as fórmulas e algoritmos dos sistemas e planilhas rodam sem erro.

Para muitos, o processo analítico é uma caixa preta

Por mais que tenhamos ferramentas estatísticas e algoritmos potentes, a complexidade de cálculo ainda gera insegurança nos líderes. Quantas vezes recebemos uma informação que temos dificuldade em contextualizar?

Em 2011, integrei o time de planejamento de demanda da Natura Cosméticos S.A. cuidando da principal categoria da empresa – a perfumaria. Em reuniões semanais, recebia informações sobre ações promocionais, metas de venda, investimento em mídia e inserções na TV, dados de pesquisa com consumidores e o auxílio de profissionais com décadas de experiência no mercado. Cabia a nós pegar todos esses dados e – utilizando estatística descritiva, análise de correlações, regressões lineares e tudo mais que fosse de nosso conhecimento – projetar a venda de um período com meses de antecedência para aprovação dos altos executivos.

O objetivo era atingir metas rígidas e controladas de erros de estimativa, dado que o número afeta toda a cadeira produtiva da empresa. E, embora estávamos investindo cada vez mais em cálculos complexos, percebia que o processo era uma caixa preta para a maioria dos decisores. Para a maioria, entravam vários fatores e um número saia como mágica.

Fiz o caminho inverso, tentei tornar o processo analítico mais compreensível para pessoas menos analíticas. Assim, todos que estavam envolvidos no processo saberiam como cada variável contribuía no resultado final e o motivo. Foi esperar que o ciclo de vendas se encerrasse para que os resultados começassem a aparecer.

Adote diferentes métodos para criar uma cultura analítica

Não abandone os métodos tradicionais de análise. Com o foco na quantidade de dados, esquecemos das metodologias de data mining e funções estatísticas. Deixamos de ter o bom senso ao olhar os limitantes do nosso negócio esperando que resposta seja produzida apenas por algoritmos. Ainda é válida a Teoria das Restrições – apresentada por Eliyahu Goldratt no livro “A Meta” em 1984 – enfatizando que um número pequeno de limitações é responsável pela baixa performance de um todo.

Reconheço a importância do Big Data e seu impacto na sociedade. Basta olhar a mudança cultural provocada pelas redes sociais, que não seria possível sem essa tecnologia. Dr. Edward Deming, pai do PDCA e dos modelos de produção enxuta, deve estar vibrando com a abundância de informação impactando diretamente os ciclos de melhoria contínua. Mas quando a mensuração é ruim, outros métodos têm se mostrado mais eficientes.

A Dra. Jeanne Liedtka, escritora do livro “The Designing for Growth” afirma que, quando o grau de incerteza e complexidade são grandes (principalmente os centrados no ser humano), os dados necessários são escassos ou de baixa qualidade, métodos como o Design Thinking se sobressaem aos tradicionais modelos de análise linear (ciclo de Deming e DMAIC, por exemplo).

O Big Data não terá sucesso se antes não houver uma transformação cultural. Os principais desafios em sua adoção não estão na tecnologia, mas nas pessoas. Garanta sua compreensão, acesso à informação e uso correto dos dados. A tecnologia deve simplificar a compreensão do processo analítica e produzir informação.

Adaptando a citação do guitarrista Frank Zappa ao contexto atual,

“Dados não são informação,
Informação não é conhecimento,
Conhecimento não é sabedoria,
Sabedoria não é a verdade…”

 

Erich Yoneyama

Diretor de negócios da Selia E-commerce Engineering