en

tokenization

1

Erialasõnastikud

Humanitaaria ja kunstid

Korpuslingvistika terminibaas

ID 1127321 Viimati muudetud 12.01.2025
Vaata sõnakogu
Vaata sõnakogu
  • tekstijada jagamine sobivateks terviklikeks üksusteks, sõnedeks
Seotud
sõnestamine
tokenization

Informatsiooni- ja kommunikatsioonitehnoloogiad

Kooliinformaatika terminibaas

ID 1186446 Viimati muudetud 11.08.2026
Vaata sõnakogu
Vaata sõnakogu
  • tekstitöötluse algetapp ja protsess, mille käigus sisendtekst lammutatakse või viilutatakse väiksemateks matemaatilisteks baasüksusteks (tokeniteks), võimaldades mudelil teisendada inimkeelne tekst arvutile arusaadavaks numbriliseks andmejadaks

Sõnavormid puuduvad

Päritolu andmed puuduvad

Sõna seosed puuduvad

Sama sõna

ELi terminibaasis IATE

Lisanäited

Veebilehelt SkELL saad vaadata sõna kasutusnäiteid, naabersõnu ja sarnase tähendusega sõnu. Need on automaatselt valitud ning võivad sisaldada vigu.
Skell logo