français

tokeniser

Découper automatiquement un texte en unités lexicales grâce à une analyse lexicale.

Donnée du Wiktionnaire, non revue

Ascendance

Reconstituée depuis les relations enregistrées, sans reformuler le texte du Wiktionnaire

lien vérifiéconfirmé par deux sources indépendantesune seule sourcelu automatiquement dans le Wiktionnaire, non vérifié

L’ascendance en liste

tokenize « Parser un texte composé de tokens. » (anglais) → tokeniser (français) : emprunté ; lu automatiquement dans le Wiktionnaire, non vérifié
token « Symbole, signe. » (anglais) → tokenize (anglais) : formé ; une seule source
tācen (vieil anglais) → token (anglais) : hérité ; une seule source

Texte de l’article du Wiktionnaire, cité tel quel

Francisation du verbe anglais tokenize.

2 Associer un jeton NFT dans une blockchain à un bien réel.
3 En IA générative, remplacer une séquence de motifs par une séquence de tokens.
4 Utiliser le discours des personnes issues des minorités sociales dominées comme caution

Mots formés à partir de tokeniser

détokeniserfrançaisCesser d’associer un jeton NFT dans une blockchain à un bien réel.
détokéniserfrançaisCesser d’associer un jeton NFT dans une blockchain à un bien réel.
retokeniserfrançaisDécouper à nouveau un texte en unités lexicales grâce à une analyse lexicale.

Chercher dans : TLFi · FEW · Académie française (nouvel onglet) (Source : www.dictionnaire-academie.fr)