Como se mede o consumo nas tecnologias generativas da Botmaker?

As tecnologias generativas na Botmaker são utilizadas para analisar e gerar palavras. A plataforma usa como unidade de medida os tokens. Uma palavra pode representar entre 1 e 5 tokens, dependendo da quantidade de sílabas e do idioma.

Como estimar o consumo de tokens?

Os tokens são as unidades básicas que os modelos de linguagem utilizam para processar texto. Seu tamanho e composição variam de acordo com vários fatores:

• O idioma utilizado;
• O contexto das palavras ao redor;
• Os caracteres especiais e sinais de pontuação;
• O modelo específico de IA que está sendo utilizado.

Por exemplo, na frase "Olá, como você está?!" que contém 21 caracteres, o modelo consome 6 tokens. Isso ocorre porque o modelo pode:

• Separar palavras inteiras como "Olá" em um único token;
• Agrupar sinais de pontuação como "?!" em um único token;
• Dividir palavras mais longas em múltiplos tokens conforme padrões comuns do idioma.

É importante entender que não existe uma regra fixa para calcular tokens, pois cada modelo de linguagem (LLM) tem seu próprio sistema de tokenização, baseado em como aprende a dar significado às palavras e seus componentes (n-gramas).

A Botmaker utiliza diferentes modelos LLM, soma a quantidade de tokens e tem um preço fixo por cada bloco de 10.000 tokens consumidos, o qual pode ser consultado nesta seção.

Quais produtos consomem tokens na IA generativa?

Dentro da plataforma, as seguintes funcionalidades consomem tokens:

• Copilot: consome tokens das mensagens anteriores da conversa para contexto (aproximadamente as 20 últimas mensagens), das instruções dadas e das mensagens geradas como sugestões para o agente.

• Agentes de IA: consomem tokens das mensagens anteriores da conversa para contexto (aproximadamente as 20 últimas mensagens), das instruções dadas, das consultas às bases de conteúdo (de acordo com os parágrafos de conteúdo relevante encontrado) e do resultado gerado pela IA generativa.
• Respostas de texto generativas: consomem tokens das mensagens anteriores da conversa para contexto (aproximadamente as 20 últimas mensagens), das instruções dadas, das consultas às bases de conteúdo (de acordo com os parágrafos de conteúdo relevante encontrado) e do resultado gerado pela IA generativa.
• Resposta com base de conteúdos: consomem tokens das mensagens anteriores da conversa para contexto (aproximadamente as 20 últimas mensagens), das instruções dadas, das consultas às bases de conteúdo (de acordo com os parágrafos de conteúdo relevante encontrado) e do resultado gerado pela IA generativa. Além disso, são adicionados os botões recomendados que consultam as bases de conteúdo.
• Linguagens naturais generativas: cada mensagem recebida por um bot que conta com linguagens naturais generativas consome tokens para verificar se a mensagem do usuário atende a alguma das instruções das linguagens naturais configuradas.
• Treinamento de bases de conteúdo: as bases de conteúdo de arquivos ou sites consomem tokens para a extração de conteúdo relevante dos mesmos.

O consumo de tokens pode ser estimado como entre 2,5 e 5 vezes o tamanho do texto (ou código HTML) processado em tokens.

O custo do token varia de acordo com o modelo de linguagem utilizado.