Token ve Bağlam Penceresi Nedir? Yapay Zeka Neden "Unutur"?

Uzun bir sohbetin sonunda yapay zekanın en baştaki talimatınızı unuttuğunu fark ettiniz mi? Ya da bir aracın "bu doküman çok uzun" diye itiraz ettiğini? Bu davranışların arkasında iki temel kavram var: token ve bağlam penceresi. İkisini anlayan, yapay zekayla çalışırken yaşadığı tuhaflıkların çoğunu çözer.

Token Nedir?

Yapay zeka modelleri metni bizim gibi kelime kelime okumaz; token adı verilen parçalara bölerek işler. Token bazen bir kelimedir, bazen kelimenin yarısı, bazen tek bir ek. Kabaca bir sezgi için: Türkçe bir metinde bir token ortalama birkaç harfe denk gelir; bir sayfa metin, yüzlerce token eder. Modellerin fiyatlandırması, hız sınırları ve kapasitesi hep bu birimle ölçülür — yapay zeka dünyasının kilovatsaati token'dır.

Bağlam Penceresi Nedir?

Bağlam penceresi (context window), modelin bir anda "aklında tutabildiği" toplam token miktarıdır: sistemin talimatları + sizin yazdıklarınız + eklediğiniz dokümanlar + modelin o sohbette ürettiği her şey, aynı pencerenin içine sığmak zorundadır.

En iyi benzetme çalışma masasıdır: model, ancak masanın üstünde duran belgelerle çalışabilir. Masa dolduğunda yeni belge koymak için eskiler kaldırılır — ve model, masadan kalkan hiçbir şeyi "hatırlamaz". Uzun sohbetin başındaki talimatın unutulması bir hafıza hatası değil, tam olarak budur: o talimat masadan kalkmıştır.

Pencere Büyüyor, Sorun Bitmiyor

Model geliştiricileri bu masayı her yıl büyütüyor; güncel modellerde pencereler yüz binlerce, hatta milyon token seviyesine ulaştı — yani yüzlerce sayfalık doküman tek seferde işlenebiliyor. Ancak iki incelik sürüyor: birincisi, pencere büyüse de dolabilir; ikincisi, çok dolu pencerede modelin ortalardaki bilgiye dikkati zayıflayabilir. "Sığıyor" ile "iyi kullanılıyor" aynı şey değildir. Bu yüzden modele neyin gösterileceğini seçme işi — kavram evrimi yazımızda anlattığımız bağlam mühendisliği — pencere büyüdükçe önemini koruyor.

Günlük Kullanım İçin Pratik Sonuçlar

• Uzun işlerde sohbeti bölün: Her büyük görev için temiz bir sohbet açmak, dolmuş bir pencerede debelenmekten iyidir.
• Kritik talimatı tazeleyin: Uzun çalışmalarda önemli kuralları ara ara yeniden yazın — masaya geri koyun.
• Özet ara istasyonları kurun: Uzun sohbetin ortasında "şu ana kadarki kararları özetle" deyip yeni sohbete bu özetle başlamak, en pratik hafıza tekniğidir.
• Dev dokümanlarda hedefli sorun: "Tümünü oku"dan daha iyi sonucu, "şu bölümdeki X'i değerlendir" verir.

Eğitimciler İçin Anlamı

Bu kavram ikilisi, kurumsal araç seçiminden günlük kullanıma kadar pek çok kararın arkasında durur: "Bu araç neden 20 sayfalık dokümanı kabul etmiyor?", "Neden uzun görüşmede asistan tutarsızlaştı?", "Bu hizmet neden kullanım bazlı fiyatlanıyor?" — üçünün de cevabı token ve penceredir. Yapay zeka okuryazarlığı eğitimi veriyorsanız, bu ikiliyi "yapay zekanın çalışma belleği" başlığıyla anlatmak, kullanıcı hatalarının önemli bir kısmını baştan önler.

Siz hiç "yapay zeka unuttu" anı yaşadınız mı? Deneyiminizi yorumlarda paylaşın — çözüm tekniklerini birlikte çoğaltalım.

Yapay Zeka Kavram Rehberi serisinden: Yapay zeka dünyasının kavramlarını sade bir dille, eğitim penceresinden anlatıyoruz. Serinin çıkış yazısı: Döngü Mühendisliği Nedir?