Tokenizacion aproximada
Total: 0 tokens
Esta demo simplifica el proceso. Los tokenizadores reales pueden dividir
por frecuencia, espacios, signos y fragmentos internos de palabras.
Tokens y Embeddings
Los modelos convierten texto en piezas llamadas tokens y luego representan significados como vectores numericos llamados embeddings.
Embeddings semanticos
Palabras con significado parecido suelen quedar cerca en el espacio vectorial.
rey
-
hombre
+
mujer
=
reina
Una relacion vectorial clasica para explicar analogias.
Prueba con feliz, triste, rapido, grande o computadora.