Softmax Fonksiyonu

1. Softmax Fonksiyonu Nedir?

Softmax fonksiyonu, makine öğrenmesinde ve derin öğrenmede çok sınıflı sınıflandırma problemlerinde yaygın olarak kullanılan bir fonksiyondur. Temel amacı, bir dizi reel sayıyı (genellikle bir sinir ağının çıktı katmanının değerleri) olasılık dağılımına dönüştürmektir.

Softmax, bir girdi vektörünün her elemanı için 0 ile 1 arasında bir değer üretir ve bu değerlerin toplamı 1'e eşittir. Bu özelliği, softmax çıktılarının doğrudan olasılık olarak yorumlanmasına olanak tanır.

2. Softmax Uygulaması

Burada 5 sınıflı bir sınıflandırma problemi için softmax hesaplamasını görelim. Bir sinir ağının ham çıktılarını (logits) girdi olarak kullanalım ve bunları olasılıklara dönüştürelim.

Vanilla JavaScript ile Softmax Fonksiyonu:

function softmax(logits, temperature = 1.0) {
    // Temperature uygulaması (T parametresi)
    const scaledLogits = logits.map(x => x / temperature);
    
    // En büyük değeri bulalım (sayısal stabilite için)
    const maxLogit = Math.max(...scaledLogits);
    
    // exp(x_i - max) hesaplaması (taşma önlemi)
    const expValues = scaledLogits.map(x => Math.exp(x - maxLogit));
    
    // Toplamı hesaplayalım
    const expSum = expValues.reduce((a, b) => a + b, 0);
    
    // Her bir değer için olasılık hesaplayalım
    return expValues.map(x => x / expSum);
}

Aşağıda örnek bir girdi vektörü (logits) verilmiştir. "Hesapla" düğmesine tıklayarak softmax değerlerini görebilirsiniz:

3. Softmax ve Sıcaklık (Temperature) Parametresi

Softmax fonksiyonuna bir sıcaklık (temperature) parametresi ekleyerek, dağılımın keskinliğini kontrol edebiliriz. Sıcaklık parametresi, softmax hesaplamasından önce logitleri ölçeklendirmek için kullanılır:

• Düşük Sıcaklık (T < 1): Dağılımı daha keskin hale getirir. En yüksek değerler daha belirgin olur.
• Yüksek Sıcaklık (T > 1): Dağılımı daha yumuşak hale getirir. Değerler arasındaki farklar azalır.
• T = 1: Standart softmax fonksiyonudur.

Aşağıda, sıcaklık parametresinin dağılım üzerindeki etkisini görebilirsiniz:

4. Softmax'in Özellikleri

Softmax fonksiyonunu diğer aktivasyon fonksiyonlarından ayıran bazı önemli özellikler:

• Çok Sınıflı Uygunluk: Softmax, çok sınıflı sınıflandırma problemleri için idealdir çünkü tüm sınıflar için olasılık dağılımı üretir.
• Toplam 1: Softmax çıktıları her zaman toplamı 1 olan bir olasılık dağılımıdır.
• Aralık: Her bir çıktı değeri 0 ile 1 arasındadır.
• Diferansiyellenebilirlik: Softmax fonksiyonu türevi alınabilir, bu nedenle gradyan temelli optimizasyon algoritmaları ile eğitilebilir.

4. Sayısal Stabilite

Softmax hesaplamasında karşılaşılabilecek en büyük sorunlardan biri sayısal taşmadır. Büyük giriş değerleri için \(e^{z_i}\) çok büyük sayılar üretebilir ve bu da hesaplamada taşmalara neden olabilir.

Bu sorunu çözmek için yaygın bir teknik, tüm giriş değerlerinden maksimum değeri çıkarmaktır:

Bu matematiksel olarak aynı sonucu verir, ancak sayısal stabiliteyi iyileştirir. Yukarıdaki JavaScript kodumuzda bu tekniği uyguladık.

Stabilite Testi:

Aşağıdaki alanı çok büyük sayılarla denemek için kullanabilirsiniz:

5. Gerçek Dünya Uygulamaları

Softmax fonksiyonu, çok çeşitli makine öğrenmesi ve derin öğrenme uygulamalarında kullanılır:

Örnek Senaryo: El Yazısı Rakam Tanıma

Aşağıdaki örnekte, bir sinir ağının 5 farklı rakamı sınıflandırmak için ürettiği logit değerleri ve bunların softmax ile olasılıklara dönüşümünü görebilirsiniz:

Bu örnekte, model en yüksek olasılığı "5" rakamına atamıştır, bu da modelin bu girdiyi "5" olarak sınıflandıracağı anlamına gelir.