---
title: Adamax
slug: adamax-0ddfd
url: /detay/adamax-0ddfd
type: article
language: Türkçe
entity:
  primary: Adamax
  type: article
  disambiguation: Adamax optimizasyon algoritması: Adam'ın kararlı, çok boyutlu parametre güncellemeleri için geliştirilmiş versiyonu.
  categories:
    - name: Bilişim Ve İletişim Teknolojileri
      slug: bilisim-ve-iletisim-teknolojileri
      url: /kategori/bilisim-ve-iletisim-teknolojileri
    - name: Yazılım Ve Yapay Zekâ
      slug: yazilim-ve-yapay-zeka
      url: /kategori/yazilim-ve-yapay-zeka
  tags:
    - Sonsuz Norm
    - Adamax
    - gradyan inişi
    - Optimizasyon
    - Derin öğrenme
author: Kaan Gümele
created_at: 2025-04-27T03:13:02.740685+03:00
updated_at: 2025-04-29T12:00:16.575787+03:00
image: https://cdn.t3pedia.org/media/uploads/2025/04/27/4b9yDDzRQLKzSGrGptGqZuOINngazGMQ.png
---

# Adamax 

<!-- CONTEXT: KURE Information Cards for "Adamax " -->

## KURE Information Cards

![Adamax.png](https://cdn.t3pedia.org/media/uploads/2025/04/27/LXlRNVLBrUhZKJ8PlHhJ1ARhMSnPDTTJ.png)

| Field | Value |
|-------|-------|
| Yıl(Sayısal) | 2017 |
| Avantaj(lar) | Daha Az Hızlı Öğrenme Oranı İhtiyacı,Büyük Gradyanlar ile İyi Performans |

<!-- CONTEXT: Article Content for "Adamax " -->

## Article Content

[Adamax](/tr/detay/adamax-66b51/llms.txt), [Adam](/tr/detay/adamw-f15c0/llms.txt) algoritmasının bir genelleştirilmiş versiyonudur ve özellikle **sonsuz norm** (∞-norm) üzerinden çalışmasıyla öne çıkar. Kingma ve Ba tarafından 2015 yılında Adam ile birlikte tanıtılan bu algoritma, özellikle çok boyutlu parametre uzaylarında daha kararlı ve etkili bir güncelleme sağlamayı hedefler. Adamax, Adam algoritmasındaki kare norm yerine **sonsuz norm** kullanarak, büyük gradyanların etkisini kontrol altına alır ve daha kararlı bir öğrenme süreci sunar.

### **Adamax Optimizasyon Algoritması**

#### **Adam ve Adamax Arasındaki Temel Fark**

Adam algoritması, moment tahminleri ve adaptif öğrenme oranlarını birleştirerek gradyan inişini optimize eder. Ancak, ikinci moment (kare norm) tahminlerinin kararsızlık yaratabildiği durumlarda performansı düşebilir. Adamax bu sorunu, ikinci moment yerine **sonsuz norm (∞-norm)** kullanarak çözer.

Adam algoritmasında ikinci moment tahmini şöyle yapılır:

$v_t = \beta_2 \cdot v_{t-1} + (1 - \beta_2) \cdot g_t^2 $

Adamax ise bunu şu şekilde değiştirir:

$u_t = \max(\beta_2 \cdot u_{t-1}, |g_t|) $

Burada:

- $u_t$: Sonsuz norm tahmini (önceki adımın ağırlıklı maksimum değeri).
- $\beta_2$: İkinci moment için üstel azalma oranı.
- $g_t$: Gradyan değeri.

Bu şekilde, büyük gradyanlara sahip parametreler bile kontrol altına alınabilir.

#### **Güncelleme Adımları**

Adamax algoritması şu adımları izler:

1. **İlk moment tahmini** (ortalama gradyan):

$m_t = \beta_1 \cdot m_{t-1} + (1 - \beta_1) \cdot g_t $

1. **Sonsuz norm tahmini** (maksimum gradyan büyüklüğü):

$u_t = \max(\beta_2 \cdot u_{t-1}, |g_t|) $

1. **Önyargı düzeltmesi**:

$\hat{m}_t = \frac{m_t}{1 - \beta_1^t} $

1. **Parametre güncelleme**:

$\theta_t = \theta_{t-1} - \eta \cdot \frac{\hat{m}_t}{u_t} $

Burada:

- $\eta$: Öğrenme oranı.
- $\theta_t$: Güncellenen parametre.
- $g_t$​ : Gradyan değeri
- $m_t$​ : İlk moment tahmini (ortalama gradyan)
- $u_t$​ : Sonsuz norm tahmini (maksimum gradyan büyüklüğü)
- $\beta_1, \beta_2$ : Üstel azalma oranları

### **Avantajları**

- **Kararlılık**: Sonsuz norm, kare norm gibi büyük gradyanlardan aşırı etkilenmez.
- **Adam’a göre daha dayanıklı**: Sayısal kararsızlıkların yoğun olduğu ortamlarda Adam’a göre daha kararlı güncellemeler sağlar.
- **Parametre ayarlama gereksinimi düşüktür**: Öğrenme oranı ve moment sabitleri için Adam ile benzer varsayılan değerler kullanılır.

### **Dezavantajları**

- **Nispeten az kullanılır**: Yaygınlığı Adam veya AdamW kadar yüksek değildir.
- **Her zaman daha iyi değil**: Özellikle düşük boyutlu problemlerde Adam daha iyi performans verebilir.

### **Uygulama Alanları**

- **Derin sinir ağları**: CNN, RNN gibi modellerin eğitiminde kullanılır.
- **Doğal dil işleme**: Özellikle Transformer mimarilerinde denenmiştir.
- **Yüksek boyutlu optimizasyon**: Çok sayıda parametre içeren modellerde kararlılığıyla tercih edilir.

![Image](https://cdn.kureansiklopedi.com/media/uploads/2025/04/27/5uKgpcxBpAgUSfNTJPXVUUfH3YhIjiZF.gif)
*Adamax'in (4,4) noktası için adım adım optimizasyon süreci görselleştirildi. (*

Adamax algoritması, sonsuz norm kullanarak parametre güncellemelerini daha kararlı hâle getirir.

<!-- CONTEXT: Academic Sources and References for "Adamax " -->

## Academic Sources and References

1. Kingma, D., and J. Ba. 2014. “Adam: A Method for Stochastic Optimization.” Computer Science. https://doi.org/10.48550/arXiv.1412.6980.Ruder, Sebastian. 2017. “An Overview of Gradient Descent Optimization Algorithms.” ArXiv.org. June 15, 2017. https://doi.org/10.48550/arXiv.1609.04747.