Merkitys
- (Language Technology)Juokseva teksti saneistetaan jakamalla se sanakirjahakua taimorfologista analyysia varten soveltuviksi saneksi, jotka on normalisoitu ja puhdistettu taierotettu välimerkeistä. Saneistus voi antaa välimerkit omina saneidenkaltaisina yksiköinään jatkokäsittelylle.
Käännökset
- engl.tokenise, tokenize
- ruotsitokenisera, ordsegmentera
Englanninkieliset vastineet
- tokenise
- tokenize
Lähteet
- FinnWordNet 2.0, Lindén et al. (2012)· CC BY 3.0
- Tieteen termipankki· CC BY-SA 3.0