`bellek-verimliligi` ile İlgili Madde Sonuçları

Adafactor, Google tarafından geliştirilen ve özellikle büyük ölçekli dil modelleri gibi hafıza tüketimi yüksek modeller için tasarlanmış, verimli ve düşük bellekli bir optimizasyon algoritmasıdır. İlk olarak 2018 yılında "Adafactor: Adaptive Learning Rates with Sublinear Memory Cost" başlıklı çalışmada tanıtılmıştır. Adafactor, Adam algoritmasına benzer şekilde moment temelli güncellemeler yapar ancak ikincil moment tahminlerini daha az bellek kullanarak hesaplar ve böylece büyük modellerin eğit