Si has usado un asistente de IA o has visto el precio de una API, seguro te topaste con la palabra token: «200 mil tokens de contexto», «tres dólares por millón de tokens». Parece jerga, pero es la unidad que explica cuánto cabe en una conversación, cuánto tarda una respuesta y cuánto cuesta. Esta nota la explica en pocos minutos.
Un token es un pedazo de texto
Un modelo de lenguaje no lee letras ni palabras completas: lee tokens, fragmentos de texto. Una palabra corta y común, como «casa», suele ser un solo token. Una palabra larga o rara se parte en varios: «desarrollo» puede quedar como «desarro» + «llo», y un nombre propio o un código de producto, en cuatro o cinco piezas. También cuentan como tokens los signos de puntuación, los espacios y los saltos de línea.
Los fragmentos no los decide una persona. Un proceso llamado tokenización (casi siempre una variante de byte pair encoding) recorre una enorme cantidad de texto y va juntando las combinaciones de caracteres que más se repiten, hasta armar un vocabulario fijo de decenas o cientos de miles de piezas. Cada pieza tiene un número de identificación, y ese número es lo único que el modelo ve.
Cuánto es un token
Depende del idioma y del modelo, pero como regla de dedo, en inglés un token equivale a unos cuatro caracteres, más o menos tres cuartos de palabra. En español suele salir un poco más caro: las palabras son más largas, hay acentos y conjugaciones, y los vocabularios se armaron con más texto en inglés. El mismo contenido puede usar bastantes más tokens en español que en inglés. Con código y tablas pasa algo parecido, porque los símbolos y la indentación también suman.
Por eso nunca debes contar palabras para estimar: lo correcto es medir. Casi todos los proveedores publican un tokenizador en línea donde pegas un texto y ves cómo se parte, y cada respuesta de una API informa cuántos tokens de entrada y de salida usó.
Por qué importa
- Contexto: la ventana de contexto es el máximo de tokens que el modelo ve a la vez, sumando tus instrucciones, los documentos que le pasas, el historial de la conversación y su propia respuesta. Si te pasas, se pierde información.
- Costo: las APIs cobran por token, y casi siempre más caro el de salida (lo que el modelo escribe) que el de entrada (lo que le mandas). Una conversación larga cuesta más en cada mensaje, porque el historial se vuelve a enviar completo.
- Velocidad: el modelo genera un token a la vez, así que una respuesta de mil tokens tarda más que una de cien.
- Calidad: más contexto no siempre es mejor. Meter diez documentos cuando solo hacía falta uno gasta dinero y puede distraer al modelo.
Rarezas que se explican con tokens
Como el modelo ve fragmentos y no letras, le cuesta contar cuántas «r» tiene una palabra o invertirla letra por letra: nunca vio las letras sueltas. Algo similar ocurre con números largos, que se parten en trozos arbitrarios y vuelven más frágil la aritmética. Y un texto con nombres raros o en un idioma poco representado se «descompone» en muchas piezas pequeñas, así que cuesta más y se entiende peor.
En proyectos Odoo
Cuando conectas un modelo de IA a Odoo (para resumir correos, clasificar tickets o responder preguntas sobre pedidos), los tokens se convierten en una decisión de diseño:
- Manda solo los campos que hacen falta. Un pedido con cincuenta líneas, serializado completo, puede gastar miles de tokens para una pregunta que se resolvía con el total y el estado.
- Recorta el historial y los chatter largos antes de enviarlos.
- Registra el consumo por llamada, igual que registrarías cualquier otro costo, para saber qué proceso se está comiendo el presupuesto.
Una aclaración para no confundirse: en Odoo también existen los tokens de acceso, esas cadenas secretas que identifican a un usuario o a una integración. Comparten el nombre, pero no tienen nada que ver con los tokens de un modelo de lenguaje.
La idea en una línea
Un token es el pedazo de texto con el que un modelo piensa, y también la moneda con la que te cobra: entender cuántos gastas es tan importante como saber qué le pides.