Los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés Large Language Models) procesan texto utilizando tokens, que son secuencias comunes de caracteres encontradas en un conjunto de texto. Estos modelos aprenden a comprender las relaciones estadísticas entre estos tokens y destacan en la tarea de predecir el siguiente token en una secuencia.

¿Qué es un token?

Un token no necesariamente coincide con una palabra completa. Dependiendo del modelo, un token puede representar una letra, una sílaba, una palabra completa o incluso un espacio en blanco. Por ejemplo, en inglés, palabras como “fantástico” pueden dividirse en varios tokens dependiendo del modelo.

Diferentes modelos pueden tener distintas formas de contar los tokens. Cada modelo usa un sistema de identificadores de tokens (token IDs) para representar cada token de manera numérica en su vocabulario interno. Esto permite a los modelos operar con texto de manera eficiente en su estructura computacional.

Ejemplos de tokens

Para ilustrarlo, veamos cómo un modelo llm como GPT-4o y su versión más ligera, GPT-4o mini, tokenizan la siguiente frase:

Los Chatbots son herramientas IA disruptivas.

Ejemplo de tokenización:

["Los", " Chat", "bots", " son", " herramientas", " IA", " disrupt", "ivas", "."]

A cada token le corresponde un identificador (ID):

[16593, 17554, 91601, 2391, 59031, 59199, 44258, 19319, 13]

Optimizar uso de tokens para que obtener un menor coste

La cantidad de tokens utilizados en una interacción con un LLM influye directamente en el coste y en el tiempo de procesamiento. Muchas plataformas de IA, como OpenAI, cobran por uso en función de la cantidad de tokens procesados. Un mensaje largo o una conversación extensa implica un mayor número de tokens, lo que aumenta el coste del servicio.

Por esta razón, optimizar el uso de tokens es crucial en aplicaciones que requieren eficiencia en costes y rendimiento. Algunas estrategias incluyen la compresión del texto, el resumen de información y la eliminación de redundancias innecesarias.

Herramientas para contar tokens

Existen varias herramientas y bibliotecas que permiten contar y visualizar los tokens que un modelo utilizaría.

• Biblioteca en JavaScript: js-tiktoken permite contar tokens con JavaScript de forma programática.
• Herramienta en línea: OpenAI ofrece un contador de tokens que se puede probar aquí: Tokenizador de OpenAI.

Conclusión

Los modelos de lenguaje funcionan procesando texto en forma de tokens, lo que les permite predecir y generar contenido. La cantidad de tokens utilizados impacta directamente en el rendimiento y coste de uso de estos modelos. Comprender cómo funcionan los tokens y cómo contarlos puede ayudar a optimizar su uso en aplicaciones reales, mejorando la eficiencia y reduciendo el coste en la interacción con estos sistemas de IA.