tokenize
Anglais modifier
Étymologie modifier
Verbe modifier
| Temps | Forme |
|---|---|
| Infinitif | to tokenize \toʊ.kə.naɪz\ |
| Présent simple, 3e pers. sing. |
tokenizes \toʊ.kə.naɪz.ɪz\ |
| Prétérit | tokenized \toʊ.kə.naɪzd\ |
| Participe passé | tokenized \toʊ.kə.naɪzd\ |
| Participe présent | tokenizing \toʊ.kə.naɪz.ɪŋ\ |
| voir conjugaison anglaise | |
tokenize
- (Informatique) Parser un texte composé de tokens.
- Tokenizing is the process of converting a string into a list of substrings, known as tokens. — (Ben Stephenson, The Python Workbook (2nde édition), Springer, 2019, p. 90)