Yapay Zekada Transformer Mimarisi

Yapay Zekada Transformer Mimarisi, doğal dil işleme, bilgisayarlı görü ve üretken yapay zeka alanlarında devrim yaratan, veriler arasındaki ilişkileri "öz-dikkat" (self-attention) mekanizmasıyla paralel olarak işleyen bir derin öğrenme model mimarisidir. Google araştırmacıları tarafından 2017 yılında yayımlanan "Attention Is All You Need" başlıklı makaleyle literatüre kazandırılan bu mimari, geleneksel sıralı modellerin karşılaştığı donanım ve uzun vadeli bağımlılık sorunlarını ortadan kaldırmıştır. Günümüzde ChatGPT, Gemini ve LLaMA gibi gelişmiş büyük dil modellerinin (LLM) ve modern görsel üretim sistemlerinin temel yapı taşını oluşturmaktadır.

Transformer mimarisinden önce, metin gibi ardışık verilerin işlenmesinde Yinelemeli Sinir Ağları (RNN - Recurrent Neural Networks) ve bu mimarinin gelişmiş türevleri olan Uzun Kısa Vadeli Bellek (LSTM) ile Geçitli Yinelemeli Birim (GRU) yapıları kullanılmaktaydı. Ancak bu geleneksel mimariler iki temel yapısal problemle karşılaşmıştır:

RNN mimarileri veriyi kelime kelime, yani sıralı (sequential) olarak işler. Bir metindeki sonraki kelimeler işlenirken, model yapısı gereği cümlenin başındaki kelimelerin bağlamını ve ağırlığını kaybetmeye başlar. RNN tabanlı modellerde zaman adımları ilerledikçe geriye yayılım (backpropagation) esnasında türevlerin küçülerek sıfıra yaklaşması, literatürde "Kaybolan Gradyan Problemi" (Vanishing Gradient Problem) olarak adlandırılır. Bu durum modelin cümlenin sonundaki kelimelere ağırlık vermesine, cümlenin başını ise "unutmasına" yol açar. LSTM ve GRU mimarileri bünyelerindeki kapı (gate) mekanizmalarıyla bu sorunu çözmeye çalışsa da, çok uzun metinlerde unutkanlık probleminin önüne tam olarak geçememiştir.

RNN, LSTM ve GRU modellerinde veriler sırasıyla işlenmek zorunda olduğundan, bir sonraki kelimenin hesaplanması için bir önceki kelimenin işleminin tamamlanması gerekir. Bu ardışık çalışma prensibi, modern grafik işlem birimlerinin (GPU) sunduğu paralel işlem yeteneklerinden tam olarak yararlanılmasını engeller. İşlemler büyük oranda işlemci (CPU) mantığı gibi sıralı yürütüldüğünden, devasa veri setlerinin eğitilmesi çok uzun sürmekte ve modeller büyük ölçeklerde (scalable) genişletilememektedir.

Transformer mimarisi, tüm veriyi aynı anda ve paralel olarak işleyerek bu tıkanıklığı çözmüştür. Sıralı işlem zorunluluğunun ortadan kalkmasıyla GPU donanımları tam kapasiteyle tetiklenmiş, yapay zeka modellerinin milyarlarca parametreye kolayca ölçeklenebilmesinin önü açılmıştır.

Transformer mimarisi, veriyi konumsal olarak işaretleyen ve matematiksel matris projeksiyonlarına dayanan bir dizi yenilikçi katmandan oluşur.

Transformer mimarisinin kalbini oluşturan Öz-Dikkat (Self-Attention) mekanizması, bir metindeki her bir kelimenin (veya veri biriminin) cümledeki diğer tüm kelimelerle olan ilişkisini ve bağlamsal mesafesini aynı anda hesaplar. Bu süreç üç temel vektör üzerinden yürütülür:

• Sorgu (Query - Q): Hakkında bilgi aranan mevcut veri birimini temsil eder.
• Anahtar (Key - K): Metindeki diğer tüm veri birimlerinin niteliğini ve adresini temsil eder.
• Değer (Value- V): Anahtarla eşleşen verinin gerçek içerik bilgisini taşır.

Sorgu (Q) ve Anahtar (K) vektörlerinin matris çarpımı alınarak bir benzerlik skoru elde edilir. Bu skorlar ölçeklendirilip Softmax fonksiyonundan geçirilerek "dikkat ağırlıkları" (attention weights) belirlenir. Son olarak bu ağırlıklar Değer (V) vektörüyle çarpılarak her kelimenin tüm cümle bağlamındaki yeni anlam haritası çıkarılır.

_{Görsel: Transformer mimarisinin temelini oluşturan Ölçeklenmiş Nokta Çarpım Dikkati (Scaled Dot-Product Attention) mekanizmasının işlem akışı.}

Yapay sinir ağları metinleri doğrudan algılayamaz. Bu nedenle metinler öncelikle "Token" adı verilen ve yapay zeka ağlarının işleyebildiği en küçük anlamlı birimlere (kelime, hece veya karakter öbekleri) dönüştürülür. Dil yapıları ve karakter setleri gereği, Türkçe gibi eklemeli diller veya belirli özel karakter grupları işlenirken model girdi boyutuna bağlı olarak daha fazla token harcanabilmektedir.

Transformer mimarisi verileri paralel aldığı için kelimelerin cümledeki sıra bilgisi doğal olarak kaybolur. Bu sırayı modele yeniden öğretmek amacıyla, her bir token vektörünün üzerine sinüs ve kosinüs dalga fonksiyonlarından elde edilen "Konumsal Kodlama" (Positional Encoding) değerleri eklenir.

Transformer mimarisinin ölçeklenebilir yapısı, donanım kaynaklarının verimli kullanılmasını ve modellerin farklı cihazlarda çalıştırılabilmesini zorunlu kılmıştır.

Büyük dil modellerinin eğitimi ve yüksek performanslı çalıştırılması için paralel işlem yeteneği yüksek olan GPU birimlerine ihtiyaç duyulur. GPU'lar binlerce çekirdeğiyle aynı anda matris çarpımlarını yürütebilirken, CPU'lar daha çok sıralı ve karmaşık mantıksal işlemlerde yüksek hız sunar. Ancak GPU birimlerinin yoğun çalışması yüksek enerji tüketimine yol açmaktadır. Apple ekosistemi gibi birleşik bellek (Unified Memory) mimarisine sahip sistemlerde donanım entegrasyonu sayesinde küçük dil modelleri (SLM) yüksek verimlilikle çalışabilmektedir.

Milyarlarca parametreye sahip modellerin bilgisayarlarda çalışabilmesi için yüksek RAM ve GPU kapasitesi gerekir. Kuantizasyon (Quantization), modelin yüksek hassasiyetli matematiksel ağırlıklarını (örneğin FP32 veya FP16) daha küçük veri tiplerine (örneğin INT8 veya INT4) indirgeyerek model boyutunu ve bellek kullanımını küçültme sanatıdır.

Sıkıştırılan modeller genellikle GGUF formatında indirilir. GGUF formatındaki bu küçük dil modelleri; Ollama, LM Studio ve GPT4All gibi yerel yazılımlar aracılığıyla internet bağlantısına ihtiyaç duymadan (offline) kişisel bilgisayarlarda çalıştırılabilir. Kullanıcılar, AnythingLLM gibi arayüz araçlarını kullanarak bu yerel modellere kendi dokümanlarını bağlayabilir ve yerel RAG (Retrieval-Augmented Generation) sistemleri kurabilirler. Günümüzde açık kaynak topluluklarının Hugging Face platformu üzerinde paylaştığı Meta'nın LLaMA, Google'ın Gemma, Mistral, Qwen (Qwen-VL, Qwen 2.5 Coder) ve DeepSeek gibi modelleri bu ekosistemin en popüler örnekleridir.