Sicoob adota IA generativa da DeepSeek

O Sicoob, sistema formado por cooperativas de crédito, adicionou a solução da DeepSeek, startup chinesa que derrubou as ações de empresas de tecnologia norte-americanas no último mês, à sua estratégia de modelos de linguagem de grande escala (LLMs). 

De acordo com a instituição, o modelo DeepSeek-R1 foi utilizado para aprimorar a funcionalidade de Interação com Documentos do Sisbr, sua plataforma de core bancário, com o uso de stream nas respostas.

Na prática, o sistema entende a demanda do funcionário e facilita as análises de documentos internos, poupando aproximadamente duas horas de trabalho para os profissionais.

O Sicoob já vinha apostando em LLMs open source, em um ambiente de nuvem privada da Amazon Web Services (AWS) gerenciado pelo seu time de TI, para desenvolver projetos de inteligência artificial generativa.

Até o fim do ano passado, os LLMs escolhidos tinham sido o Llama, o Mistral e o PHY3, além de mais dois que ainda estavam sendo testados.

Todos os três modelos são muito recentes e têm grandes empresas de tecnologia por trás. O mais conhecido é o Llama, criado pela Meta, dona do Facebook, WhatsApp e Instagram. 

Já o Mistral tem origem europeia, tendo sido fundada por ex-funcionários de empresas de ponta, como Google DeepMind e OpenAI, e o PHY3 é a aposta da Huawei no segmento. 

Utilizando a IA tradicional desde 2017, o Sicoob começou as entregas e ações voltadas para IA generativa em 2024, logo depois de migrar 100% do seu ambiente analítico para a nuvem.

“A gente tinha um objetivo maior, que era colocar a IA generativa na mão de todos os nossos funcionários. Foi então que pegamos esses modelos, configuramos uma infraestrutura na nuvem e gerenciamos todo o poder computacional que tem ali, porque essa parte de IA generativa requer processamento específico de GPU”, contou Edson Rodrigues Lisboa, superintendente de TI do Sicoob, ao Baguete.

O time desenvolveu, então, um módulo interno no Sisbr, chamado Assistente Inteligente, que faz toda a interação com os LLMs. Esse trabalho começou em maio e, desde setembro, os mais de 60 mil funcionários da companhia têm acesso à ferramenta. 

Na solução, os colaboradores, podem fazer o upload de documentos e interagir de forma conversacional, pedindo resumos, insights e tirando dúvidas.

No início de novembro, o time subiu a funcionalidade ligada aos normativos da empresa, manuais de produtos e serviços, resoluções, comunicações internas sobre lançamentos de novos produtos, novas funcionalidades e novas regras para melhorar essa comunicação com os funcionários.

O próximo passo, já em andamento, é colocar o assistente na esteira de crédito. Para a concessão de crédito nas agências, existe uma etapa de análise em cima dos documentos exigidos, que podem ser muitos dependendo da linha de crédito, e exigem um parecer do analista.

A ideia é colocar a IA generativa para gerar insights em cima dos documentos da proposta de crédito e fazer sugestões de parecer ao analista. 

“É claro que a nossa proposição, como todo mercado tem feito, ainda é sempre na linha do assistente, do copiloto mesmo, tendo em vista que muitas coisas na IA generativa ainda estão sendo endereçadas, Dependendo do tipo de modelo que você usa, tem que ter muito cuidado com a alucinação”, pondera Lisboa.

Para treinar os modelos no contexto do seu negócio, o Sicoob está utilizando a técnica de Retrieval-Augmented Generation (RAG), estabelecendo os limites de assuntos para os modelos responderem dentro da estratégia da instituição.

“Aqui não é um modelo aberto como o ChatGPT, que responde a qualquer coisa. Eu não quero que o nosso funcionário comece a interagir com o Assistente Inteligente e pergunte qual é o melhor candidato para ganhar as eleições”, exemplifica Lisboa.

No Sicoob, esse direcionamento dos modelos foca em aspectos como mercado financeiro, relacionamento com o cooperado e com o cliente, mercado bancário e mercado cooperativista.

A PERGUNTA QUE NÃO QUER CALAR

Mas por que não utilizar uma ferramenta de mercado, com o ChatGPT, Gemini ou Anthropic? O primeiro motivo apontado pelo superintendente é o custo. 

Se a instituição fosse licenciar, por exemplo, o Copilot, da Microsoft, com um custo de US$ 30 por mês por usuário, o valor aproximado anual seria de R$ 100 milhões considerando os 60 mil funcionários. Com a infraestrutura que o Sicoob montou, as despesas ficam em torno de R$ 300 mil ao ano. 

Isso acontece porque a empresa só fica com o custo de processamento, sem ter despesas por tokenização, como os modelos licenciados. 

“É uma diferença brutal. Custo é, sim, uma das nossas grandes preocupações. Porque o mercado tem questionado bastante sobre o ROI (retorno sobre o investimento) da adoção de IA generativa. Tem muito case legal, mas existe um investimento muito alto para rodar aquilo. Então o negócio vai exigir resultado porque, caso contrário, pode matar aquela iniciativa”, destaca Lisboa.

Outra preocupação do Sicoob está relacionada com a segurança dos dados.

“Essas companhias asseguram na cláusula contratual que não estão misturando os dados de uma empresa com a outra. Mas tem que entrar muito na confiança porque você não sabe o que está acontecendo ali. Já o modelo que nós adotamos está em um ambiente em nuvem que é gerenciado por nós, nenhum terceiro entra”, explica Lisboa.

Um terceiro ponto observado pela cooperativa é a possibilidade dos modelos de LLM se tornarem cada vez mais uma commodity, com um modelo superando o outro a cada 15 dias.

“A gente tentou ter também essa baixa acoplação a um modelo LLM específico. É por isso que adotamos já de largada três modelos. Nossa plataforma está construída de uma forma que eu consigo desplugar um modelo e plugar outro sem desenvolvimento adicional”, detalha Lisboa. 

Outra vantagem que o Sicoob viu na sua escolha foi o fato de poder colocar o assistente dentro da sua plataforma financeira, sem precisar integrar com as APIs de um copiloto externo.

“O Copilot está integrado com Word, Excel, PowerPoint, Teams, mas ele não está integrado com a minha solução de concessão de crédito. A nossa estratégia é colocar o assistente inteligente plugado com cada entrega que formos fazendo e evoluindo”, conta Lisboa.

No total, o Sicoob tem mais de 30 iniciativas de IA generativa em andamento com um time dedicado de 10 pessoas. A área de TI como um todo tem em torno de 2 mil colaboradores.

Entre as funcionalidades desenvolvidas na instituição, está a realização de resumos de atendimentos feitos por atendentes, com destaques para os compromissos que foram assumidos com o cooperado na conversa. A tecnologia também analisa sentimentos nos áudios.

Além disso, a empresa está usando a IA generativa para gerar insights de oportunidades de negócio com base nas informações fornecidas via open finance e para analisar as avaliações nos seus aplicativos em lojas virtuais, por exemplo.

Em atuação desde 1996, o Sicoob conta com mais de 8,5 milhões de cooperados amparados por mais de 4,6 mil pontos de atendimento em 2.396 municípios espalhados por todos os estados brasileiros. Em mais de 400 municípios, é a única instituição financeira presente.

No total, são 329 cooperativas singulares, 14 cooperativas centrais e o Centro Cooperativo Sicoob (CCS), que é composto por uma confederação e um banco cooperativo, além de uma processadora e bandeira de cartões, administradora de consórcios, entidade de previdência complementar, seguradora e um instituto voltado para o investimento social.