Back Propagation

Kategori: Deep Learning , 29 Mart 2020 , JanFranco


Back propagation işleminde, ağırlıklar ve bias değerleri iyileştirilmeye çalışılır. Sondan yani output layerdan başlanır ve input layera doğru işlem devam eder. Amaç bileşenlerin değerini değiştirmek ve bu değişimin sonuca nasıl yansıdığına bakmaktır. Olumlu yansıyor ise değeri saklamaktır. Peki bileşenlerin değerleri nasıl hesaplanıyor? Matematikten hatırladığımız türevdeki zincir kuralı ve learning rate denen bir kavram ile.

Yeni weight = Eski weight - Learning Rate x (dError / dEski weight)

Algoritmanın daha detayını inip zincir kuralını ve türev işlemlerini inceleyebilirsiniz. Back propagation işleminde amaç minimum hata değerine ulaşmaktır. Bu hata değerini minimuma indirmek için optimizerlar kullanırız. Bazı yaygın optimizerlar:

Momentum
Nesterov accelerated gradient(NAG)
Adagrad - Adaptive Gradient Algorithm
Adadelta
RMSProp
Adam - Adaptive Moment Estimation
Nadam - Nesterov-accelerated Adaptive Moment Estimation

Learning rate denen bir kavramın olması, kullanım amacı gradient descent eğrisinde minimum hataya ulaşmamızın ne kadar hızlı olmasını belirlemektir. Örneğin learning rate değerini çok yüksek bir rakam verirsek, back propagation işleminde bileşenlerin değerleri istemediğimiz sonuçlar ile değiştirilecek ve asla minimum hataya erişemeyeceğiz. Çok düşük verirsek işlem çok uzayabilir veya bir değer aralığında sıkışıp kalabiliriz ve yine asla minimum hataya erişemeyebiliriz.

Toparlayacak olursak, training işlemi özetle şu şekilde işler:

1. Tüm weight ve bias değerlerini random bir şekilde ver.
2. Input değerlerini kullanarak tüm bileşenlerin değerlerini hesapla.
3. Output layerdaki bileşenlerin değerlerini hesapladıktan sonra loss fonksiyonlarından birini kullanarak, olması gereken değer ile karşılaştır.
4. Oluşan hatayı minimuma indirmek için back propagation işlemini başlat.
5. Tüm bileşenlerin değerlerini, sondan başlayarak sırası ile güncellemeye çalış.


Sonraki Yazı: Epoch, Batch Size, Iteration
Yorumlar

Henüz bir yorum bulunmuyor.
Yorum bırakın