¿Cómo se mide el consumo en las tecnologías generativas de Botmaker?

Las tecnologías generativas en la plataforma Botmaker se utilizan para analizar y generar palabras.
Una palabra puede representar entre 1 y hasta 5 tokens según las sílabas y el idioma.
La plataforma de Botmaker tiene como unidad de medida los tokens.

¿Cómo estimar el consumo de tokens?

Los tokens son las unidades básicas que utilizan los modelos de lenguaje para procesar texto. Su tamaño y composición varían según múltiples factores:

• El idioma utilizado
• El contexto de las palabras circundantes
• Los caracteres especiales y signos de puntuación
• El modelo específico de IA que se esté usando
  

Por ejemplo, en la frase "Hola, ¿cómo estás?!" que contiene 19 caracteres, el modelo consume 6 tokens. Esto ocurre porque el modelo puede:

• Separar palabras completas como "Hola" en un token
• Agrupar signos de puntuación como "?!" en un único token
• Dividir palabras más largas en múltiples tokens según patrones comunes del lenguaje
  
  
  

Es importante entender que no existe una regla fija para calcular tokens, ya que cada modelo de lenguaje (LLM) tiene su propio sistema de tokenización basado en cómo aprende a dar significado a las palabras y sus componentes (n-gramas).

Botmaker utiliza diferentes modelos LLM, suma la cantidad de tokens y tiene un precio fijo por cada bloque de 10.000 tokens consumidos, que se puede ver en esta sección.

¿Qué productos consumen tokens en la IA generativa?

Dentro de la plataforma de Botmaker, las siguientes funcionalidades consumen tokens:

• Copilot: consumen tokens de los mensajes anteriores de la conversación para contexto (aproximadamente 20 últimos mensajes), de las instrucciones dadas y de los mensajes generados como sugerencias para el agente.
  

• Agentes de IA: consumen tokens de los mensajes anteriores de la conversación para contexto (aproximadamente 20 últimos mensajes), de las instrucciones dadas, las consultas a las bases de contenido (de acuerdo a los párrafos de contenido relevante encontrado) y del resultado generado por la IA generativa.
  
• Respuestas de texto generativas: consumen tokens de los mensajes anteriores de la conversación para contexto (aproximadamente 20 últimos mensajes), de las instrucciones dadas, las consultas a las bases de contenido (de acuerdo a los párrafos de contenido relevante encontrado) y del resultado generado por la IA generativa.
  
• Respuesta con base de contenidos: consumen tokens de los mensajes anteriores de la conversación para contexto (aproximadamente 20 últimos mensajes), de las instrucciones dadas, las consultas a las bases de contenido (de acuerdo a los párrafos de contenido relevante encontrado) y del resultado generado por la IA generativa. Además, se adicionan los botones recomendados que consultan las bases de contenido.
  
• Lenguajes naturales generativos: cada mensaje recibido por un bot que cuenta con lenguajes naturales generativos, consume tokens para verificar si el mensaje del usuario cumple con alguno de las instrucciones de los lenguajes naturales configurados.
  
• Entrenamiento de bases de contenido: las bases de contenido de archivos o sitios web consume tokens para la extracción de contenido relevante de los mismos.
  El consumo de tokens se puede estimar como entre 2.5 y 5 veces el tamaño del texto (o código HTML) procesado en tokens.