Você tem a possibilidade de selecionar um modelo de IA Generativa que se adapte às suas necessidades conversacionais. O bot (chatbot, mailbot ou callbot) poderá ter um modelo de IA definido por padrão para todas as suas funcionalidades generativas (uso de respostas de texto generativo, respostas de áudio generativo e agentes de IA).

Para acessar a seleção de modelos disponíveis por bot, você deve ir até a barra de ferramentas à esquerda, dentro do botdesigner, e selecionar “Modelo generativo”.

Uma vez dentro, você tem os modelos para escolher. Lembre-se de que a variedade de modelos é constantemente atualizada, por isso atualizaremos periodicamente os modelos para escolher.

Qual é a diferença entre um modelo e outro?

Os modelos de IA diferem em custo, velocidade e nível de inteligência nas respostas. Essas informações estão visíveis em cada cartão do modelo. Você também pode adicionar informações da página dos LLMs, como OpenIA, Gemini ou Llama.

Ao escolher um modelo, recomendamos levar em consideração essas três variáveis e a finalidade conversacional que você busca em seu bot.

Caso não selecione nenhum modelo em particular, o GPT-4 Mini será usado por padrão.

Pode ser necessário modificar os prompts para que funcionem após a alteração de um modelo. Nem todos os modelos funcionam da mesma maneira. Pode ser necessário alterar as instruções.

Um modelo mais inteligente não garante um melhor funcionamento do bot. É necessário testar o bot ao fazer essas alterações e modificar as instruções necessárias.

O que são tokens e como são cobrados?

Os tokens são as unidades básicas que os modelos de linguagem utilizam para processar texto. Seu tamanho e composição variam de acordo com vários fatores:

• A língua utilizada
• O contexto das palavras circundantes
• Os caracteres especiais e sinais de pontuação
• O modelo específico de IA que está sendo utilizado

Por exemplo, na frase “Olá, como você está?”, que contém 19 caracteres, o modelo consome 6 tokens. Isso ocorre porque o modelo pode:

• Separar palavras completas como “Olá” em um token
• Agrupar sinais de pontuação como “?!” em um único token
• Dividir palavras mais longas em vários tokens de acordo com padrões comuns da linguagem

É importante entender que não existe uma regra fixa para calcular tokens, pois cada modelo de linguagem (LLM) tem seu próprio sistema de tokenização baseado em como aprende a dar significado às palavras e seus componentes (n-gramas).

Você pode encontrar os detalhes dos tokens por modelo e onde foi esse consumo (Co-pilot, treinamento de base de conteúdo, resposta de texto generativo ou linguagem natural generativa) na seção “Configuração” > “Conta” > “Produtos e consumos”.  

https://go.botmaker.com/#/account/products

Como selecionar um modelo de IA generativa em um bloco de agente de IA?

No bloco “Agente de IA”, você pode escolher um modelo de IA generativa que melhor se adapte às necessidades específicas de um agente.

Dentro do bloco do agente de IA, vá até a última etapa, “Modelo generativo”. Por padrão, a opção “Utilizar o modelo configurado na identidade do bot” está selecionada. Você pode selecionar “Utilizar um modelo diferente” e escolher outro.

A Botmaker recomenda usar com moderação a mudança de modelos por bloco do Agente de IA, para garantir o melhor funcionamento do bot.