TÜRKÇE BPE TOKENİZER

Anadili Türkçe Bir LLM'e Doğru: Aşama 1 — Tokenizasyon

Şubat 2026 • Bağımsız Araştırma • TAMAMLANDI

1. SORUN: DİL VERGİSİ

Türkçe metin büyük bir LLM'de işlendiğinde, İngilizce için tasarlanmış bir tokenizer'dan geçer. Türkçenin sondan eklemeli yapısı — anlamın eklerde yoğunlaştığı — bu tokenizer'lara yabancıdır.

Aynı cümle, farklı maliyet

Test cümlesi: “Türkiye Cumhuriyeti'nin başkenti Ankara'dır.”

Yani her Türkçe API çağrısı kabaca 2× daha fazla token tüketebilir. Bağlam pencereleri orantılı olarak daha az Türkçe metin tutar; eğitim çalıştırmaları parti başına daha az cümle işler. Bu vergi metin uzadıkça katlanır.

2. İLGİLİ ÇALIŞMALAR

Birçok Türkçe dil modeli ve tokenizer mevcuttur. Hamza (Acıkgöz, “Bridging the Bosphorus”) 124M ile 1,3B parametre aralığında Türkçe LLM'ler sunar; GPT-2 ve Mistral'dan uyarlanmış modeller dahil. Hamza tokenizer'ının kelime hacmi 50.257'dir (GPT-2 ile aynı) ve Türkçe biçimbilimi için optimize edilmemiştir. TabiBERT (Boğaziçi Üniversitesi TabiLab) Türkçe NLP için 1T token üzerinde eğitilmiş ModernBERT tabanlı bir kodlayıcıdır; kelime hacmi 50.176. Kumru-2B, 50.176 kelimelik BPE tokenizer kullanır. LlamaTurk (ODTÜ NLP) Türkçe OSCAR üzerinde eğitilmiş 28K BPE tokenizer ile LLaMA'yı uyarlar.

Tutarlı bir örüntü, mevcut Türkçe çözücü LLM'lerin ~50K kelime hacminde buluşmasıdır: taban model GPT-2 olduğunda 50.257 (GPT-2 boyutu), diğerlerinde 50.176. Bu, Türkçe için sistematik kelime hacmi deneylerinden çok, İngilizce tabanlı tokenizer'ların uyarlanmasından kaynaklanıyor gibi görünür. Yazarın bildiği kadarıyla (1) GPT-2 ön-tokenizasyon regex'inin Türkçe kesme işareti eklerini bozduğunu, (2) tokenizer eğitiminde kelime doyumu ile veri doyumunu ya da (3) aynı derlemde 16K–64K kelime hacminin sistematik karşılaştırmasını raporlayan önceki bir çalışma yoktur.

3. YENİ BULGU: GPT-2 REGEX TÜRKÇEYİ BOZUYOR

Geliştirme sırasında GPT-2 ön-tokenizasyon regex'inin — GPT-4, GPT-4o, Llama 3 ve Mistral tarafından kullanılan aynı kalıbın — İngilizce kısaltma kalıplarını ('s|'t|'re|'ve|'m|'ll|'d) içerdiği ve bunun Türkçe tokenizasyonuna zarar verdiği tespit edildi.

GPT-4 Türkçe kesme işareti eklerini nasıl tokenize ediyor

Çözüm: temizlenmiş Türkçe regex

4. MİMARİ KARARLAR

Özel tokenlar

5. EĞİTİM DERLEMİ: 3 YİNELEME

Tokenizer üç yinelemeli turda eğitildi; her turda yeni veri alanları eklendi. Bu süreç derlem çeşitliliği ile tokenizer kalitesi arasındaki ilişkiye dair önemli sonuçlar ortaya çıkardı.

v1: Temel (1,7 GB, 14 dosya)

v2: Kalite Artışı (10 GB, 16 dosya) — seçkin edebi ve akademik veri eklendi

v3: Alan Kapsamı (22 GB, 27 dosya) — 7 yeni uzmanlık alanı

6. VERİ VE KELİME HACMİ ÖLÇEKLEME DENEYLERİ

İki sistematik deney yapıldı: (1) sabit 48K kelime hacminde eğitim verisini 1,7GB'dan 22GB'a ölçekleme, (2) tam 22GB derlemde kelime hacmini 48K'dan 64K'ya ölçekleme. Birlikte veri hacmi ile kelime kapasitesi arasındaki etkileşime dair kritik bir içgörü ortaya çıktı.

Deney A: 48K kelime hacminde veri ölçekleme

Yukarıdaki toplamlar kısaltılmış cümle setinden alınmıştır. Bölüm 7'de aynı tokenizer'lar tam cümleler üzerinde raporlanıyor (192 / 199 / 224).

v1→v2 (1,7GB → 10GB): +%10,0 iyileşme. v2→v3 (10GB → 22GB): +%0,9 iyileşme — görünür azalan getiri.

Deney B: Kelime hacmi ölçekleme — dönüm noktası

48K'da v2→v3'te görülen neredeyse sıfır iyileşme başta veri doyumunu düşündürdü. Ancak aynı v3 derlemi üzerinde 64K tokenizer eğitmek temelden farklı bir sonuç verdi:

7. KARŞILAŞTIRMA: 64K v3 vs TÜRKÇE VE İNGİLİZCE TOKENİZERLAR

Günlük konuşma, resmi dil, sondan eklemeli yapı, kod ve altı uzmanlık alanını kapsayan 21 test cümlesi üzerinde tokenizer'lar karşılaştırıldı. Türkçe tokenizer'lar (bu çalışma, Kumru, TabiBERT, Hamza) aynı tam cümle setinde değerlendirildi; GPT-4/GPT-4o farklı tokenizer kullanır ve referans için dahil edildi.

Toplamlar benchmark_tokenizers.py ile 21 tam cümle üzerinden. Hamza GPT-2 tokenizer kullanır (50.257 kelime); Kumru ve TabiBERT ~50K BPE.

Gözlem: Kumru ve TabiBERT bu kıyaslamada her cümlede aynı token sayısını üretmektedir (aynı kelime hacmi 50.176; aynı toplam 224). 21 cümlenin tamamında birebir örtüşme, bağımsız eğitilmiş BPE tokenizer'ları için alışılmadıktır. Bulgu burada yorum eklenmeden raporlanmıştır.

Genişletilmiş kıyaslama: 104 cümle (21 çekirdek + 83 zor/kenar)

Aynı tokenizer'lar genişletilmiş sette de çalıştırıldı: yukarıdaki 21 çekirdek cümle artı 83 “zor” cümle (uzun birleştirmeler, hukuk/tıp/finans ifadeleri, günlük dil/argo, sayı ve tarihler, kod parçaları, noktalama ve kısaltmalar, alıntı sözcükler, büyük/küçük harf ve vurgu işareti kenar durumları). Tüm sayılar benchmark_tokenizers.py çıktısından.

64K genişletilmiş sette de en iyi kalır; Kumru ve TabiBERT yine birbiriyle aynı (1.198). Zor set örneğin Muvaffakiyetsizleştiricileştiriveremeyebileceklerimizdenmişsinizcesine, hukuk (HMK 353, tahkim), tıp (pankreatikoduodenektomi, kardiyovasküler), finans (BIST 100, SPK), argo (N'olcak, bişey), kod (return {'key': value}) ve alıntı sözcükler (Startup'lar, API endpoint'i) içerir.

8. ALANA ÖZEL ANALİZ

Alana yönelik eğitim verisi, uzmanlık alanı sözcük dağarcığında ölçülebilir iyileşmeler sağlar. Aşağıda her alan için token düzeyinde karşılaştırmalar yer alıyor.

Hukuk Türkçesi

başvuruyu (başvuru) ve oybirliğiyle (oybirliğiyle) 64K'da tek token. Kumru ve TabiBERT birincisini 2, ikincisini 3 parçaya böler. Sonuç: 6 vs 10 (Kumru/TabiBERT), 6 vs 23 (Hamza).

Tıbbi Türkçe

Hastanın (hastanın) tek tokendir. değerlendirilmelidir (değerlendirilmelidir) — 6 biçimbirimlik ek zinciri — yine tek tokendir. Kumru/TabiBERT 7; Hamza 30; GPT-4 26.

Finans Türkçesi

Haber/Gazetecilik Türkçesi

Cumhurbaşkanlığı (Cumhurbaşkanlığı) ve Sözcüsü (Sözcüsü) 64K'da tek token. Kumru ve TabiBERT Sözcüsü 2 parçaya böler; Hamza 39 token. Ek kelime kapasitesi 64K'nın bu yüksek frekanslı kurumsal terimleri atomik birimler olarak yakalamasını sağlar.

9. BİÇİMBİLİMSEL ANALİZ

Tokenizer Türkçe biçimbilimini salt istatistikten öğrendi — hiçbir dilbilimsel kural programlanmadı. BPE, 22GB metnin frekans analiziyle biçimbirim benzeri sınırları kendiliğinden keşfetti.

Fiil biçimbilimi (öğrenildi, kodlanmadı)

İsim hal ekleri

“Ev”in altı farklı dilbilgisel biçimi — hepsi tek token olarak kodlanır.

Ek zinciri işleme

10. DİYAKRİTİK DAYANIKLILIĞI

Türkçe kullanıcılar bazen vurgu işaretleri olmadan yazar (c yerine ç, s yerine ş, i yerine ı). Tokenizer her iki biçimi de işler; ancak doğru Türkçe, tasarım gereği belirgin biçimde daha az token tüketir.

11. BAĞLAM PENCERESİ: BİRİKEN AVANTAJ

Tokenizer verimliliği sabit bir tasarruf değildir — bağlam uzunluğu üzerinde bir çarpandır. Bağlam penceresi ne kadar uzunsa avantaj o kadar birikir. Bu hedef model için doğrudan mimari sonuçlar doğurur.

Etkin bağlam kapasitesi

Her bağlam uzunluğunda 64K tokenizer, rakiplerin aynı sayıda token yuvasına sığdırabileceğinden belirgin biçimde daha fazla Türkçe metin tutar:

“Kumru Eşdeğeri” = aynı miktarda Türkçe metni tutmak için kaç Kumru tokenı gerekir. Bölüm 7'de ölçülen verimlilik farklarından hesaplandı.

Mimari sonuç: küçük model, büyük bağlam

Verimlilik avantajı Türkçe için en uygun model mimarisini temelden değiştirir. İki strateji değerlendirildi:

12. PRATİK SONUÇLARI

İngilizce merkezli tokenizer'larda işlenen Türkçe metin, bağlam uzunluğu, hız, maliyet ve eğitim verimliliği açısından kabaca 2× token cezasına uğrar. Anadili Türkçe tokenizer bu vergiyi tamamen kaldırır.

Tokenizer 11 uzmanlık alanını kapsar (genel, akademik, hukuk, tıp, finans, eğitim, haber, kod, edebi, mantık, talimatlar); konu ne olursa olsun verimli tokenizasyon sağlanır.

13. PROJE DURUMU

14. YENİDEN ÜRETİLEBİLİRLİK

Kod, veri kaynakları ve eğitilmiş tokenizer'lar mevcuttur.

• Eğitim betiği: train_tokenizer.py
• Kıyaslama betiği: benchmark_tokenizers.py (104 cümle: 21 çekirdek + 83 zor/kenar)
• Eğitim verisi: 27 dosyada 22 GB, 11 alan
• Seçilen tokenizer: tokenizers/turkish_bpe_64k/tokenizer.json
• Saklanan sürümler: 16K, 32K, 48K, 64K × v1/v2/v3
• Referanslar: Kumru-2B (50.176), TabiBERT (50.176), Hamza (50.257, GPT-2 tokenizer), GPT-4 (cl100k_base), GPT-4o (o200k_base)

© 2026 • Bağımsız Araştırma