Tecnología

QUÉ SON LOS TOKENS Y POR QUÉ IMPORTAN?

Para entender el coste real de la IA, es necesario conocer un concepto clave: los…

Cecilio R.F.

Para entender el coste real de la IA, es necesario conocer un concepto clave: los tokens.

Los modelos de inteligencia artificial no procesan el texto palabra por palabra como lo hacemos los humanos. Dividen el texto en unidades más pequeñas llamadas tokens. Una palabra corta puede ser un token, mientras que una palabra larga o técnica puede dividirse en varios. Los signos de puntuación también cuentan.

Tanto la pregunta que escribimos como la respuesta que recibimos consumen tokens. Este es el recurso que realmente utilizan los modelos de IA para funcionar.

El coste oculto de la cortesía

Sam Altman, CEO de OpenAI, ha comentado en varias ocasiones que las expresiones de cortesía (“gracias”, “por favor”, “buenos días”) generan un coste significativo para la compañía. Aunque para un usuario individual el impacto es mínimo, cuando cientos de millones de personas usan estos sistemas a diario, esas palabras adicionales representan decenas de millones de dólares anuales en computación.

Este dato sirve para entender una realidad que normalmente no vemos:

cada respuesta que recibimos tiene un coste en recursos.

Lo que hay realmente detrás de cada respuesta

Cuando hacemos una consulta a un chatbot de IA, la respuesta parece aparecer de forma instantánea. Sin embargo, detrás de esa aparente simplicidad hay una enorme infraestructura.

Los centros de datos que ejecutan estos modelos consumen grandes cantidades de electricidad. Además, los procesadores generan mucho calor, por lo que es necesario refrigerarlos. En muchos casos, esta refrigeración se realiza con agua.

los centros de datos consumen grandes cantidades de electricidad…

los procesadores generan mucho calor, hay que refrigerarlos

Según un estudio de la Universidad de California en Riverside (2023), generar entre 10 y 50 respuestas con ChatGPT puede consumir aproximadamente medio litro de agua. Microsoft, por su parte, informó que en 2022 el consumo de agua de sus centros de datos aumentó un 34 % respecto al año anterior, en gran parte debido al entrenamiento y uso de modelos de IA.

El entrenamiento de modelos grandes también tiene un impacto considerable. Se estima que entrenar GPT-3 consumió alrededor de 700.000 litros de agua, aunque este consumo se produce una sola vez.

Una tecnología con dos caras

La inteligencia artificial puede aumentar la productividad, acelerar la investigación y facilitar el acceso al conocimiento. Al mismo tiempo, plantea preguntas importantes sobre consumo energético, uso del agua y sostenibilidad a largo plazo.

la IA ya no es una tecnología del futuro: está en nuestros bolsillos y forma parte de nuestra vida diaria

Comprender estos costes no significa rechazar la tecnología, sino usarla de forma más consciente. Igual que sabemos que enviar un email tiene un pequeño impacto ambiental, entender que cada interacción con la IA también lo tiene puede ayudarnos a utilizarla de manera más responsable.

La IA ya no es una tecnología del futuro. Está en nuestros bolsillos y forma parte de nuestra vida diaria.

Saber cómo usarla bien y entender qué hay detrás de cada respuesta es el primer paso para aprovecharla de forma inteligente.

Compartir es ayudar:

Etiquetas del artículo