Breve base de datos terminológica del área de la lingüística, en inglés y castellano, íntegramente generada con gemma3 y llama3.
Lengua: Castellano
Equivalente: no encontrado
Variantes: No encontradas
| gemma3 | En lingüística , un " token " es una unidad mínima de texto que se considera una unidad individual para el análisis , como una palabra , un símbolo de puntuación o un carácter . |
| gemma3-bis | En lingüística , un token es una unidad de texto individual que resulta de la segmentación de un flujo de texto , distinguiéndose de otros elementos como palabras o morfemas por estar delimitados por signos de puntuación u otros separadores . |
| llama3 | En lingüística , un token es una unidad básica de texto o discurso que se define como el menor elemento significativo que puede ser identificado en un corpus ( conjunto de textos ) y que puede ser analizado individualmente para fines de estudio o procesamiento . |
| llama3-bis | Unidad léxica elemental que constituye la base para la análisis lingüístico , correspondiendo a un conjunto de signos gráficos o fonéticos que se consideran indivisibles desde el punto de vista sintáctico y semántico . |