Derin ağlar için yeni bir birimdik düzgünleştirme yaklaşımı

Abstract

Ortagonal Düzgünleştirme (OD), derin ağların aşırı öğrenme (overfitting), gradyan patlamansı/kaybolmasını engellemek için kullanılmaktadır. Literatürde derin öğrenme için geliştirilen OD yöntemlerinin çoğunda ağ ağırlıklarını birim dik vektörler olarak öğrenme amaçlanmaktadır. Bu makalede ağ ağırlıklarını ikili olarak gruplayarak birim dik öğrenmeye zorlayan fonksiyon, maliyet fonksiyonuna eklenmektedir. Bu yöntem yapay sinir ağlarında ve konvülasyonel sinir ağlarında çeşitli veri kümelerinde (yapay veri ve gerçek veri) test edilmektedir. Ayrıca önerilen yöntem, literatürde öne çıkan Yumuşak Ortagonal (SO), Çift Yumuşak Ortagonal (DSO), Karşılıklı Tutarlılık (MC) ve Spektral Sınırlı İzometri Özellikli (SRIP) gibi yöntemler ile doğruluk, yürütülme zamanı, hata oranı metriklerinde karşılaştırılmaktadır. Karşılaştırma sonucunda doğruluk metriğinde farklı veri kümelerinin kullanan ağlarda %1-%5 arasında iyileşme sağlanmaktadır. Önerilen yöntem, Cifar10 veri kümesinde Resnet 110 ağında 92,96 dan %93,90’a ve Resnet 28-10 %95,84’den %96,78’a test başarısını yükseltmektedir.

Orthogonal Regularization (OR) is used to prevent overfitting, gradient explosion and Vanishing Gradient in deep networks. OR methods developed for deep learning in the literature aim to learn network weights as unit orthogonal vectors. In this article, the function that enables unit orthogonal learning of network weights for binary groups is added to the cost function. This method is tested on various data sets (artificial data and real data) in artificial neural networks and convolutional neural networks. In addition, the proposed method is compared with methods such as Soft Orthogonal (SO), Double Soft Orthogonal (DSO), Mutual Coherence (MC) and Spectral Restricted Isometry Property (SRIP), which are prominent in the literature, in terms of accuracy, execution time and error rate metrics. As a result of the comparison, an improvement of 1% to 5% is achieved in the accuracy metric in networks using different data sets. The proposed method increases the test success from 92.96 to 93.90% in the Resnet 110 network and from 95.84% to 96.78% in the Resnet 28-10 dataset on the Cifar10 dataset.