Activation Functions

Kategori: Deep Learning , 27 Mart 2020 , JanFranco


Daha önceki dökümanda aktivasyon fonksiyonlarının ne olduğundan ve ne işe yaradığından bahsetmiştik. Bu dökümanda ise aktivasyon fonksiyonunun türlerinden bahseceğiz. En çok kullanılan aktivasyon fonksiyonları:

Sigmoid Activation Function



Tanh Activation Function



ReLu Acivation Function



Leakly ReLu



ReLu aktivasyon fonksiyonu aralarında en popüler olanı. ReLu basit olarak pozitif değerleri aynen iletirken, negatif değerleri 0'a eşitler. Böylelikle negatif değerler sonuca etki etmemiş olur. Leakly relu aktivasyon fonksiyonu ise negatif değerleri de işin içine katar ve daha doğru sonuçlar almamızı sağlar ancak işlem oldukça yavaşlar. Aklınızda şöyle bir soru oluşmuş olabilir: Zaten ağırlık değerleri var, bias değerlerine neden ihtiyaç duyuyoruz? Bias değerleri aktivasyon fonksiyonlarının sola veya sağa shift edilmesini sağlıyor. Weight değerleri sadece fonksiyonu daha da sıklaştırır. Ancak shift işlemini sadece bias değerleri ile yapabiliriz.


Sonraki Yazı: Loss Functions
Yorumlar

Henüz bir yorum bulunmuyor.
Yorum bırakın