Tokenization (Tokenizasyon)
Metni modelin işleyebileceği token'lara bölme işlemi.
Neden Önemli?
“Her model farklı tokenizer kullanır; aynı metin farklı token sayısına dönüşebilir.”
MENÜ
Dijital Simya MektebiDijital Simya MektebiMetni modelin işleyebileceği token'lara bölme işlemi.
“Her model farklı tokenizer kullanır; aynı metin farklı token sayısına dönüşebilir.”