Tienes la  posibilidad de seleccionar un modelo de IA Generativa que se ajuste a tus necesidades conversacionales. El bot (chatbot, mailbot o callbot) podrá tener un modelo de IA definido por defecto para todas sus funcionalidades generativas (uso de respuestas de texto generativo, respuestas de audio generativo y agentes de IA).

Para acceder a la selección de modelos que hay disponibles por bot, debes dirigirte a la barra de herramientas de la izquierda, dentro del botdesigner y seleccionar “Modelo generativo”.

Una vez dentro, tienes los modelos para elegir. Ten en cuenta que la variedad de modelos está en constante actualización, por lo que periódicamente actualizaremos los modelos para elegir.

¿Qué diferencia hay entre un modelo y otro?

Los modelos de IA se diferencian en costo, velocidad y nivel de inteligencia en sus respuestas. Esa información se encuentra visible dentro de cada card del modelo. Puedes también sumar información desde la página de los LLMs, cómo OpenIA, Gemini o Llama.

A la hora de elegir un modelo recomendamos tener en cuenta esas tres variables y la finalidad conversacional que buscan en su bot. 

En caso de no seleccionar ningún modelo en particular, por default se utilizará el GPT-4 Mini.

Puede ser necesario modificar los prompts para que funcionen luego de haber cambiado un modelo. No todos los modelos funcionan de la misma manera. Pueden necesitar cambios en las instrucciones.Un modelo más inteligente no asegura un mejor funcionamiento del bot. Se debe probar el bot al hacer estos cambios y modificar las instrucciones necesarias.

¿Qué son los tokens y cómo se cobra?

Los tokens son las unidades básicas que utilizan los modelos de lenguaje para procesar texto. Su tamaño y composición varían según múltiples factores:

• El idioma utilizado
• El contexto de las palabras circundantes
• Los caracteres especiales y signos de puntuación
• El modelo específico de IA que se esté usando

Por ejemplo, en la frase "Hola, ¿cómo estás?!" que contiene 19 caracteres, el modelo consume 6 tokens. Esto ocurre porque el modelo puede:

• Separar palabras completas como "Hola" en un token
• Agrupar signos de puntuación como "?!" en un único token
• Dividir palabras más largas en múltiples tokens según patrones comunes del lenguaje

Es importante entender que no existe una regla fija para calcular tokens, ya que cada modelo de lenguaje (LLM) tiene su propio sistema de tokenización basado en cómo aprende a dar significado a las palabras y sus componentes (n-gramas).

Puedes encontrar el detalle de tokens por modelo y por dónde fue ese consumo (Co-pilot, entrenamiento de base de contenido, respuesta de texto generativo o lenguaje natural generativo), en la sección “Configuración” > “Cuenta” > “Productos y consumos”.  https://go.botmaker.com/#/account/products

¿Cómo seleccionar un modelo de IA generativa en un bloque de agente de IA?

Desde el bloque de “Agente de IA” puedes elegir un modelo de IA generativa que se adecúe mejor a la necesidad específica de un agente.

Dentro del bloque de agente de IA, dirígete al último paso “Modelo generativo”. Dentro por default está seleccionada la opción “Utilizar el modelo configurado en identidad del bot”. Puedes seleccionar “Utilizar un modelo diferente” y elegir uno distinto.

Desde Botmaker recomendamos utilizar con moderación el cambio de modelos por bloque de Agente de IA, para garantizar el mejor funcionamiento del bot.