BI e tomada de decisão (2/2)
Esse artigo é a parte final de um artigo introdutório sobre a importância da ‘Inteligência de Negócios’ (Business Intelligence ou BI) na tomada de decisão em organizações modernas. Se você não leu o primeiro artigo, visite https://bit.ly/3ioj0WU.
No artigo anterior, falamos bastante sobre os conceitos relacionados à infraestrutura de dados que estão na base das soluções de BI tradicionais. Essa camada é extremamente importante nas arquiteturas de tais soluções, mas não é ela que efetivamente entrega valor aos usuários de negócios. Esse é obtido por meio do que se conhece genericamente como Dashboards, interfaces de visualização de dados que exibem e facilitam a manipulação das informações geradas a partir dos dados armazenados no DW.
Eventualmente chamados de Cockpits, especialmente quando trazem dados mais tático-operacionais, os Dashboards importam para o mundo dos negócios uma ideia que surgiu na engenharia. Todo automóvel possui um Painel (outro termo empregado para se referir aos Dashboards) onde podem ser lidas informações como quilometragem, velocidade atual, rotação do motor, nível de óleo, etc. Um Dashboard funciona como um painel de automóvel permitindo ao executivo ter acesso rápido a informações que o auxiliem, tal qual um painel de automóvel a um motorista, a “dirigir” a organização. Assim como não seria eficiente ter um painel de controle repleto de detalhes confusos, os Dashboards devem idealmente exibir somente informações relevantes para o gestor, pois o seu propósito é possibilitar que este tenha uma visão geral das informações mais importantes para a sua atividade principal: tomar decisões. Entre essas informações podemos citar indicadores chaves do negócio como volume de vendas, índices de satisfação do cliente, liquidez e rentabilidade, entre outros. Tudo isso com atualizações que podem ser ad-hoc ou automáticas com distintas periodicidades, inclusive tempo real.
Na figura abaixo vemos um exemplo de um Dashboard implementado em Power BI, uma solução da Microsoft (falaremos dela mais adiante):
Similares aos Dashboards, temos os Scorecards. Estes são muitas vezes confundidos com os primeiros, mas não tem exatamente o mesmo propósito. A diferença reside no fato de que os Scorecards se situam no contexto de acompanhamento da execução de estratégias. Enquanto os Dashboards se destinam a fornecer ao executivo uma visão geral da organização ou de um pedaço dela, os Scorecards são construídos para monitorar o desempenho da empresa no atingimento de objetivos estratégicos definidos para um dado período de tempo. Por isso mesmo, é muito comum que sejam utilizados para acompanhar a execução de um Balanced Scorecard. Assim como os dashboards, os Scorecards costumam estar disponíveis para seus usuários em páginas web dinâmicas acessíveis a partir da rede corporativa ou através de VPNs. No cotidiano, destacamos que Dashboards e Scorecards são termos usados de forma intercambiável e, honestamente, isso não chega a ser um problema.
Segundo o Gartner Group, o mercado de soluções de visualização de dados é atualmente dominado, no sentido da habilidade de entregar uma visão de produto mais completa, pela companhias norte-americanas Microsoft, com seu Power BI, e Tableau, com o software de mesmo nome. A empresa sueca Qlik, outrora líder, vem numa distante terceira posição.
As duas mencionadas plataformas, Power BI e Tableau, vão além da visualização de dados, sendo elas mesmas exemplos dos “pacotes” que mencionamos no primeiro artigo. De uma forma geral, é comum que as plataformas líderes de mercado possibilitem:
- criação de visualizações interativas sofisticadas envolvendo todo tipo de tabelas e gráficos, além de controles e outros recursos visuais. Praticamente qualquer aspecto visual das visualizações pode ser customizado;
- leitura, manipulação e modelagem de dados estruturados e não-estruturados de diferentes origens (locais e remotas) e formatos (texto, Excel, banco de dados, streaming, XML, JSON, etc.);
- entendimento inteligente e automático do relacionamento existente entre dados de diversas fontes;
- análise preditiva de dados através de algoritmos de Machine Learning embarcados como parte da solução, acessíveis a partir de serviços em nuvem ou desenvolvidos à medida em linguagens como R e Python;
- programação de regras de negócio e comportamentos da visualização por meio de linguagem própria;
- configuração de critérios diversos de atualização dos dados;
- exportação, publicação e compartilhamento de visualizações para diversos formatos e meios, incluindo smartphones e tablets;
- controle de acesso (autenticação e autorização) por meio de perfis de usuário e regras de negócio;
- integração com serviços em nuvem.
Um outro parêntese. Embora tenhamos destacado os dashboards de natureza estratégica, devido a sua importância na tomada de decisão, motivação do artigo, nada impede que as soluções de BI também sejam utilizadas para auxiliar na tomada de decisões mais táticas e operacionais. É algo meio óbvio, mas, como dizia um antigo cliente, hoje amigo, “o óbvio precisa ser ressaltado”.
Geralmente dashboards tático-operacionais são focados em (1) revelar se a execução dos processos está em conformidade com parâmetros de desempenho e qualidade estabelecidos e (2) nos possibilitar o entendimento da volumetria de eventos manejada pelo processo. Ou seja, eles nos ajudam a responder perguntas como:
- nosso tempo de atendimento está dentro do SLA acordado com o cliente?
- estamos produzindo conforme a programação estabelecida?
- qual o percentual de tickets abertos são de alta criticidade?
- quantas ordens de serviços foram abertas na semana pasada?
Retomando a discussão das funcionalidades, podemos dizer que entre as mais novas, relativamente falando, desse tipo de solução estão as capacidades preditivas providas por algoritmos de Machine Learning componentizados e prontos para uso. Além disso, tais soluções também costumam ser parte da arquitetura de projetos de Inteligência Artificial / Machine Learning como componentes de visualização de dados gerados por pipelines de análise de dados desenvolvidos com outras tecnologias.
Como exemplo dessas funcionalidades mais avançadas, vamos falar um pouco sobre Data Mining. Podemos dizer que o Data Mining foi desenvolvido para que seja possível saber aquilo que precisamos saber, mas não sabemos que precisamos. As ferramentas mais tradicionais de suporte a decisão são excelentes para responder questões e examinar problemas sobre os quais os executivos têm interesse consciente. O problema é que a dinâmica de um mercado pode criar riscos ou padrões de comportamento muito sutis para serem detectados antes de se tornarem problemas. Com o Data Mining tentamos trazer à luz aquilo que está oculto, imperceptível a olho nu. Não apenas para antecipação de problemas, mas também para explorar oportunidades que nem desconfiamos existir. Suas técnicas ajudam a responder questões mais abertas como:
- Existe algum padrão de comportamento em nossos clientes homens solteiros com idade entre 25 e 35 anos que podemos tirar proveito para aumentar a fidelidade desse público aos nossos serviços?
- Quais dos nossos produtos podemos oferecer em um “combo” na próxima promoção de aniversário da empresa de maneira a aumentar as vendas?
- Existe alguma relação entre o nosso processo de atendimento a clientes e a redução de 5% no nosso Market Share nos últimos 6 meses?
Essas são questões mais especulativas, mais difíceis de serem respondidas através de abordagens puramente baseadas em visualização de dados. As capacidades de cálculo de estatísticas, correlação, associação, detecção de ausência e presença de ciclos e pareto de uma solução de Data Mining se adaptam melhor a esse tipo de desafio.
As técnicas de Mineração de Dados podem ser aplicadas de forma semiautomática ou inteiramente automatizada, dependendo da sua natureza. O diagrama abaixo mostra como essas técnicas se encaixam em uma hierarquia que pondera o esforço de cada uma das partes envolvidas na sua utilização:
Um case clássico da aplicação de técnicas de Data Mining é o website da empresa de comércio eletrônico Amazon.com. Pioneira e líder deste segmento, a Amazon monitora toda a atividade realizada em seu portal com o objetivo de correlacionar o comportamento e interesses de um visitante, manifestados através de cliques, buscas realizadas, tempos de navegação em cada página, etc., com padrões identificados por seus algoritmos de mineração de dados. Dessa forma, a Amazon consegue personalizar todas as páginas exibidas para cada um de seus milhões de clientes com ofertas que objetivam aumentar a satisfação do cliente e, é claro, a probabilidade e o volume de compras de cada visita.
Como um exemplo do que acabamos de dizer, vejamos como se comporta o portal da Amazon quando buscamos por um livro clássico de DW, The Data Warehouse Toolkit de Ralph Kimball.
Na página do livro, em uma seção intitulada “Frequentemente comprados juntos”, a Amazon oferece um pacote contendo o livro que se buscou mais outro que seus algoritmos de mineração de dados calcularam como sendo relacionado àquele que o visitante manifestou interesse. Naturalmente, a opção de adicionar os 2 livros ao carrinho de compras está logo ali, ao alcance de um clique.
A Amazon consegue fazer isso porque seus algoritmos:
1- Localizaram que existem outros livros do mesmo autor sobre o mesmo tema e…
2- … “garimparam” o histórico de compras do livro identificando que outros clientes que o compraram também compraram pelo menos uma das outras opções oferecidas no pacote, tenham essas compras ocorrido na mesma data ou não,
de maneira que são grandes as chances que o visitante também se interesse por elas. É óbvio que a Amazon também avalia a aceitação desse pacote pelo volume de vendas conseguido com ele.
Mais, isso não é o mais interessante. Em versões mais antigas do website da Amazon, mais próximo do rodapé da página, encontrávamos duas seções chamadas respectivamente de “Look for Similar Items by Category” e “Look for Items by Subject”. Essas seções objetivavam oferecer ao visitante a opção de navegar pelas ofertas de livros de assuntos relacionados àqueles expostos no livro de Kimball. Na figura abaixo vemos a lista desses assuntos:
Analisando essa lista, vemos, pelos assuntos e categorias propostas, que a Amazon classificou o visitante como alguém com interesses em: computação de uma maneira geral, modelagem e administração de banco de dados, análise e projeto de sistemas, negócios, finanças e computação gráfica, além de Data Warehousing, é claro. O que estamos vendo é uma generalização sobre o perfil do visitante conseguida a partir de uma única informação: o interesse pelo livro The Data Warehouse Toolkit. Correlacionando essa informação com os padrões de busca, navegação e compras de milhares de pessoas que se interessaram por esse livro, a Amazon classificou o visitante como um provável profissional de tecnologia ou negócios e sugeriu um conjunto de temas mais restrito, segundo o contexto da visita, para que o cliente aumente a sua compra incluindo livros de outros assuntos ligados à sua provável profissão. Hoje essa funcionalidade foi substituída por uma lista de itens que clientes similares também visualizaram e compraram, mas o princípio é o mesmo.
Por fim, as técnicas de Análise Preditiva (Predictive Analysis). Elas constituem a fronteira atual de desenvolvimento das plataformas de BI junto com a disponibilização de tais soluções na nuvem. Falaremos um pouco mais sobre essas capacidades na sessão a seguir.
Futuro do BI: UX, Colaboração, Big Data, IA e Cloud
As empresas modernas estão se tornando “Data-Driven” e as plataformas de BI estão evoluindo para suportar essa transformação.
Conforme mencionamos no primeiro artigo, mais e mais empregados estão sendo empoderados para a tomada de decisão. Isso requer que soluções de dados estejam disponíveis para mais pessoas, não somente para gestores e analistas especializados. Por isso, as grandes empresas do ramo investem pesado no aprimoramento da Experiência de Usuário (UX). O objetivo é que as ferramentas se tornem ainda mais simples, permitindo que o conceito de Self-service BI, que advoga para que o próprio usuário final desenvolva seus dashboards, seja cada vez mais adotado. Aliás, esse é um dos motivos pelos quais a Microsoft se tornou líder do quadrante mágico do Gartner. Sua solução Power BI oferece aos usuários uma experiência de uso extremamente similar à encontrada nas aplicações do Microsoft Office. A curva suave de aprendizado e o preço mais acessível fez com que essa ferramenta caísse no gosto das empresas, impulsionando o seu crescimento.
Outra aspecto da UX, esse mais orientado aos usuários dos dashboards e já bastante desenvolvido nos pacotes líderes do mercado, é o suporte ao emprego da técnica de “contar histórias com dados”, conhecida como Data Storytelling. Ferramentas como o Tableau possibilitam a construção de verdadeiras apresentações, sem o uso do Power Point ou do Keynote, que facilitam a comunicação dos insights obtidos com as análises.
Essa capacidade de contar histórias com dados atraiu o interesse até mesmo dos jornais. O assim chamado “jornalismo de dados” é a evolução das famosas estatísticas mencionadas nas reportagens. Abaixo vemos uma reportagem do argentino “La Nación Data”, um autêntico dashboard construído com técnicas de Data Storytelling.
Outra frente em que as empresas estão investindo pesadamente é nas capacidades de colaboração providas pelas suas ferramentas. O objetivo é criar um ecossistema aberto que potencialize o compartilhamento de informações entre os usuários. Esta ideia alcança, inclusive, parceiros e fornecedores de uma organização. Para habilitar essa visão, as soluções tem aperfeiçoado continuamente as suas funcionalidades de integração com fontes de dados externas (APIs, por exemplo) e segurança. Ainda falando de colaboração e integração, vale destacar que quando o BI é combinado com o Gerenciamento de Conhecimento (Knowledge Management, KM), os insights conseguidos com a ferramenta de BI podem ser registrados na base de conhecimento da empresa, permitindo assim a sua recuperação em instantes posteriores por qualquer um que necessite e possa ter acesso a eles. Isso permite a difusão do conhecimento conseguido com as análises de BI entre vários membros da organização e a manutenção de um histórico do aprendizado que a organização conseguiu com os dados. Por sua vez, as ferramentas de BI podem ser integradas às plataformas de colaboração de uma companhia (Microsoft Teams, IBM Cognos Workspace, etc.) de modo a facilitar a criação de verdadeiras comunidades de intercâmbio de informação (veja um exemplo em https://bit.ly/39JyWPx). No sentido inverso, o BI pode se beneficiar das capacidades de registro de informações desestruturadas que as ferramentas de KM possuem. Através do pré-processamento por algoritmos de NLP (Natural Language Processing) e visão computacional, notas de reunião, e-mails e até mesmo imagens e vídeos podem ser utilizados como fontes de dados para a extração de insights.
Em paralelo a isso, as empresas tem procurado se manter alinhadas à evolução das tecnologias de Big Data. Desde conectores para plataformas de armazenamento de dados em clusters, como é o caso do Hadoop, até a integração com serviços em nuvem que forneçam as capacidades computacionais necessárias para o processamento de volumes massivos de dados, as funcionalidades que permitem a extração de insights de fontes de dados Big Data não param de ser adicionadas e aprimoradas. A Microsoft, por exemplo, tem o que chama de “Big Data Analytics” como um dos eixos do roadmap de desenvolvimento do seu Power BI.
Ainda no contexto do “Big Data Analytics”, ganha importância as capacidades de “Análise Preditiva” providas por algoritmos de IA / Machine Learning que mencionamos no final da sessão anterior e em outros trechos desse artigo. Algoritmos de regressão, classificação e clusterização estão disponíveis nessas plataformas por meio de funcionalidades embarcadas ou por integração com serviços em nuvem. O Power BI, por exemplo, é facilmente integrado com a família de soluções analíticas Azure Data Services da Microsoft (https://bit.ly/39AlLQS). Do lado do Tableau, somente para não ir além dos dois líderes de mercado, existe o TabPy, uma extensão que permite a codificação de scripts Python e o uso de suas bibliotecas de Machine Learning para criar campos calculados. Além disso, o Tableau também permite a integração com serviços externos como o Algorithmia e o próprio Azure Data Services, entre outras opções. Por fim, componentes de terceiros disponíveis para download desde “app stores” também expandem as funcionalidades de Análise Preditiva das soluções mencionadas.
E finalmente, o Cloud. Já mencionamos a integração crescente das plataformas existentes com serviços em nuvem, mas aqui nos referimos ao que é conhecido como Cloud BI. O conceito de Cloud BI é bastante simples e faz referência às soluções de BI oferecidas como serviços na nuvem. Soluções como Tableau Online, Power BI Pro e Qlik Sense Enterprise SaaS, por exemplo, permitem que dashboards sejam completamente desenvolvidos através de aplicações web. Como boa parte dos dados de hoje já está na nuvem, muitas vezes o upload de dados de repositórios locais não é nem mesmo necessário. As vantagens desse tipo de BI são as mesmas dos SaaS em geral: eliminação dos custos de aquisição e overhead de instalação, configuração e manutenção de hardware e software, alta disponibilidade e escalabilidade, segurança e, principalmente, custos recorrentes mais baixos. Devido a esses benefícios e à tendência geral de migração de dados e aplicações para a nuvem, este tipo modalidade de BI vem se popularizando aceleradamente e é provável que venha a ser o padrão num futuro próximo. Para uma lista de soluções de Cloud BI, visite https://bit.ly/3qzZxW9.
BI nas pequenas e médias empresas
Utilizar soluções de BI em pequenas e médias empresas (PME) é viável?
Para responder essa questão, é preciso considerar uma série de fatores. O primeiro e mais evidente de todos é o custo das soluções. Com o crescimento do Cloud BI, várias alternativas efetivas em custo passaram a existir. O Power BI Pro, por exemplo, tem um custo mensal de cerca de 10 dólares por usuário, algo que pode ser perfeitamente acomodado no orçamento de praticamente qualquer empresa, exceto, talvez, das micro empresas e dos empreendedores individuais. Se dinheiro é um problema, a boa notícia é que isso não impede que as organizações utilizem o BI para dinamizar os seus negócios e aumentar a qualidade das decisões tomadas. Afinal de contas, atualmente existe uma coleção de softwares de BI inteiramente Open Source. Podemos citar como exemplos o Jasper Reports (exclusivamente para reporting), SpagoBI / Knowage (bastante completo), Pentaho BI Suite (reporting, dashboard, data mining, workflow e ETL) e o Google Data Studio (bastante limitado em funcionalidades no presente momento), só para ficar em alguns. Outra opção é a utilização de ferramentas já existentes na empresa como o Microsoft Excel. Sim, com uma boa dose de criatividade e conhecimento é possível fazer BI no Excel. O resultado não é exatamente a mesma coisa, mas é uma alternativa.
Outro fator que não podemos deixar de mencionar é a necessidade de pessoal especializado. Implantar uma solução de BI exige o esforço coordenado de profissionais com expertise em negócios, processos e tecnologia. Mesmo as empresas grandes, com grandes quadros de profissionais, costumam optar por contratar consultorias especializadas no assunto para suportá-las na implantação do BI. Uma solução alternativa para as PMEs é buscar parcerias com universidades que desenvolvem pesquisas no tema, oferecendo-se como uma oportunidade para estudo de caso, ou contratar consultorias especializadas em empresas de menor porte. Em última análise, se o empresário se sente confortável com tecnologia, alguns tutoriais da Internet podem ser tudo de que ele precisa para começar.
Se manter as informações da empresa em uma nuvem não for uma opção, surge a questão: e os custos com Hardware (HW)? Podemos afirmar, neste caso, que o menor porte dessas organizações joga a favor. Normalmente, as PMEs manejam um volume muito mais reduzido de dados do que as grandes companhias. Além disso, o número de usuários potenciais da solução é comparativamente menor. Somada essa menor carga de informações com o custo decrescente das plataformas computacionais de mercado, o HW necessário não será de grande porte e não chega a ser uma preocupação. É muito comum que micro empresas rodem suas soluções de BI em computadores pessoais.
Ainda falando das empresas que não podem ou não querem usar soluções em nuvem, mais preocupante é o custo de operação. Manter o ambiente de suporte a decisão funcionando e com desempenho adequado à demanda da organização obriga que a empresa tenha acesso a uma equipe de TI com habilidades em administração de sistemas operacionais, banco de dados e da própria solução. Normalmente, as empresas possuem uma equipe técnica própria ou mantém contratos de outsourcing para a gestão e manutenção da sua infra-estrutura de TI. Para as duas situações listadas, é preciso considerar se o incremento de custos (treinamentos, aditivos de contrato, etc) não supera os benefícios que se espera obter da solução.
Se o problema não está na inexistência de opções economicamente viáveis, por que somente umas poucas PMEs usam soluções de BI? Descontado que muitas dessas empresas desconhecem totalmente os benefícios do BI, um possível motivo está na imaturidade dos sistemas de gestão empregados por essas companhias. Passados mais de 80 anos da criação do controle estatístico de processos e cerca de 20 anos da reengenharia, existem empresas grandes engatinhando no tema de desenho e melhoria de processos, o que dizer então das PMEs?
Sem um prévio mapeamento de processos e definição de indicadores, os sistemas transacionais podem ser implantados ou operar de maneiras que criam obstáculos à adoção de uma solução de BI. Nesses casos, é comum descobrir tardiamente que as informações que se deseja conseguir com o BI não podem ser obtidas através dos sistemas de operação existentes, pois estes foram escolhidos e/ou implantados sem nenhuma preocupação com o registro de todos os fatos necessários a um sistema de suporte a decisão.
Para contornar essa limitação, muitas PMEs precisam promover uma profunda revisão de suas operações com foco especial nos processos que executam. Revisão dos sistemas de informação pode também ser necessária. O ideal é que as transações cotidianas estejam suportadas por sistemas que armazenem as informações de uma maneira estruturada em bancos de dados, pois planilhas Excel, e-mails e outras abordagens “quebra-galho” dificultam a criação de um ambiente de suporte à decisão. Vencido esse desafio, as PMEs podem prosseguir com a adoção de uma solução de BI sem muitas dificuldades. Uma consultoria durante esse processo é muito bem-vinda.
Enfim, não se pode mais dizer que o BI é uma ambição acessível exclusivamente às grandes organizações. Adotando soluções mais simples, mas que atendem as suas necessidades, as PMEs também podem usufruir dos benefícios significativos gerados pelo BI.
Conclusão
Mais do que nunca precisaremos de tecnologias que suportem a tomada de decisão. Num mundo sem fronteiras em que, graças a Internet, boa parte das empresas concorre globalmente, as estratégias de negócios precisam ser ajustadas continuamente. Esse processo exige que os gestores tenham habilidade de construir cenários e identificar tendências usando dados muitas vezes incompletos.
Como vimos ao longo desse artigo, as soluções de Business Intelligence possibilitam a construção de ambientes de suporte a decisão que contribuem para uma maior chance de sucesso nas difíceis escolhas que enfrentam os gestores de hoje. Todavia não existem “soluções mágicas”. Implantar e utilizar uma solução de BI que realmente aumente a inteligência competitiva da organização não é uma tarefa trivial. À parte dos desafios técnicos enfrentados, esses processos exigem um conhecimento profundo do negócio gerido e do mercado em que este se insere. Além disso, os usuários dessas ferramentas devem permanentemente investir na sua formação como tomadores de decisão. Só assim saberão combinar as metodologias de análise e solução de problemas com as capacidades oferecidas pelas soluções de BI para maximizar as chances de efetividade de suas decisões.