Aller au contenu
Chroniques
Menu

anglais

tokenize

Parser un texte composé de tokens.

Donnée du Wiktionnaire, non revue

Histoire

vieil anglais tācen anglais token › tokenize 500 1000 1500 2000
Périodes des langues : convention du site, sources sur la page Méthode.

Ascendance

Reconstituée depuis les relations enregistrées, sans reformuler le texte du Wiktionnaire

tokenizeanglaistokenanglaisSymbole, signe.,tācenvieil anglais,

lien vérifiéconfirmé par deux sources indépendantesune seule source
L’ascendance en liste
  • token « Symbole, signe. » (anglais) → tokenize (anglais) : formé ; une seule source
  • tācen (vieil anglais) → token (anglais) : hérité ; une seule source
  • anglais token — d’après le Wiktionnaire

Cognats

Mots d’autres langues issus du même étymon

Familles

Tous les mots qui descendent des mêmes étymons que tokenize

Le Wiktionnaire

Texte de l’article du Wiktionnaire, cité tel quel

Dérivé de token, avec le suffixe -ize.

Wiktionnaire, article « tokenize » — CC BY-SA

Résumé

Composé à partir des relations enregistrées, sans reformuler le texte du Wiktionnaire

Dérivé de token, « Symbole, signe », du vieil anglais tācen.

Descendance

Mots formés à partir de tokenize

  • tokeniserfrançaislu automatiquement dans le Wiktionnaire, non vérifiéDécouper automatiquement un texte en unités lexicales grâce à une analyse lexicale.
  • tokéniserfrançaislu automatiquement dans le Wiktionnaire, non vérifiéDécouper automatiquement un texte en unités lexicales grâce à une analyse lexicale.

Sources