Un token es una pieza de texto que el modelo procesa. Puede ser una
palabra completa, parte de una palabra, un signo de puntuacion o un espacio.
Los modelos no leen letras como una persona. Primero convierten el texto
en tokens, luego usan esos tokens para predecir la respuesta.
La ventana de contexto es la cantidad maxima de tokens que caben en una
conversacion: instrucciones, historial, pregunta y respuesta.
Esta medicion es una aproximacion didactica. Cada modelo usa su propio
tokenizador, por eso el conteo real puede variar.