Difüzyon Modelleri

Difüzyon modelleri, yapay zekâ alanında son yıllarda büyük başarı elde eden üretken modeller sınıfıdır. Bu modeller, veriye yavaş yavaş eklenen gürültüyü tersine mühendislik yoluyla kaldırarak yeni örnekler üretme prensibine dayanır. Özellikle görüntü, ses ve metin gibi yüksek boyutlu verilerde son derece gerçekçi çıktılar elde edebilen bu yaklaşım, 2020’li yılların başında dikkat çekmiş ve Stable Diffusion, DALL·E serisi gibi modellerle yaygınlaşmıştır.

Difüzyon modelleri, geleneksel üretken modellerden (GAN’lar veya VAE’ler) farklı olarak, olasılıksal bir süreç üzerinden çalışır ve eğitim ile örnekleme aşamalarında Markov zincirleri kullanır. Bu sayede modların çökmesi (mode collapse) gibi sorunlardan büyük ölçüde kurtulmuş, kararlı ve yüksek kaliteli üretim sağlamıştır.

Difüzyon modelleri iki temel süreçten oluşur: ileri difüzyon süreci (forward process) ve ters difüzyon süreci (reverse process).

İleri difüzyon süreci, orijinal veri örneğini $x_0$ olarak alıp, her adımda küçük miktarda Gauss gürültüsü ekleyerek veriyi giderek saf gürültüye dönüştürür:

$q(xt\mid xt-1)=N(xt;1-\beta txt-1,\beta tI)q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I)q(xt\mid xt-1)=N(xt;1-\beta txt-1,\beta tI)$

Burada βt , her adımda eklenen gürültü miktarını kontrol eden varyans zamanlamasıdır. Birçok adım sonunda (genellikle T=1000 civarı) $x_T$​ yaklaşık olarak standart normal dağılıma $\mathcal{N}(0,I)$ yaklaşır.

Ters süreç ise bu gürültüyü adım adım kaldırarak orijinal veriye geri dönmeyi öğrenir:

$p\theta (xt-1\mid xt)=N(xt-1;\mu \theta (xt,t),\Sigma \theta (xt,t))p_{\theta }(x_{t-1}|x_t)=\mathcal{N}(x_{t-1};{\mu }_{\theta }(x_t,t),{\Sigma }_{\theta }(x_t,t))p\theta (xt-1\mid xt)=N(xt-1;\mu \theta (xt,t),\Sigma \theta (xt,t))$

Model, genellikle bir U-Net mimarisi ile parametrelenir ve her adımda gürültüyü tahmin edecek şekilde eğitilir. Eğitim kaybı basitçe gürültü tahmin hatasıdır:

$L=E[\Vert ϵ-ϵ\theta (xt,t)\Vert 2]L=\mathbb{E}\left[\Vert ϵ-{ϵ}_{\theta }(x_t,t){\Vert }^2\right]L=E[\Vert ϵ-ϵ\theta (xt,t)\Vert 2]$

Ho ve arkadaşları tarafından 2020’de tanıtılan bu çalışma, difüzyon modellerinin modern temelini oluşturur. DDPM’ler, sabit bir varyans programı ile çalışır ve örnekleme sırasında yüzlerce adıma ihtiyaç duyar.

Song ve arkadaşlarının 2021’de önerdiği bu yöntem, ters süreci deterministik hale getirerek örnekleme süresini 10-50 adıma düşürmüştür. Bu hız artışı, difüzyon modellerinin pratik kullanımını büyük ölçüde artırmıştır.

Rombach ve ekibinin 2022’de geliştirdiği Latent Diffusion, difüzyon sürecini piksel uzayında değil, önceden eğitilmiş bir otoenkoderin (örneğin VQ-VAE veya VAE) gizli uzayında gerçekleştirir. Bu sayede hesaplama maliyeti dramatik şekilde azalır ve Stable Diffusion gibi modellerin temelini oluşturur.

Song ve Ermon’un daha erken çalışmalarında ortaya çıkan skor-eşleştirme (score matching) yaklaşımı, difüzyon modelleriyle matematiksel olarak eşdeğerdir. Bu bakış açısı, modellerin sürekli zamanlı formülasyonuna (SDE) geçişi sağlamış ve daha esnek tasarım imkânı sunmuştur.

Difüzyon sürecinin görselleştirilmesi: solda orijinal görüntü, ortada giderek gürültü eklenmiş halleri, sağda ters süreçle üretilen yeni örnekler.

Difüzyon modelleri başta görüntü üretimi olmak üzere şu alanlarda kullanılmaktadır:

• Metinden görüntü üretimi (text-to-image)
• Görüntüden görüntü üretimi (image-to-image), inpainting, outpainting
• Süper çözünürlük (super-resolution)
• Ses sentezi ve müzik üretimi
• Molekül tasarımı (ilaç keşfi)
• Video üretimi ve animasyon (yeni nesil modellerde)

Özellikle açık kaynaklı Stable Diffusion ekosistemi, binlerce fine-tune edilmiş modelin (LoRA, DreamBooth vb.) ortaya çıkmasını sağlamış ve yaratıcı endüstrilerde yaygın kullanım bulmuştur.