Termal Kamera Görüntülerinin Çoklu Sınıflandırılması İçin Derin Öğrenme Tabanlı Tekniklerin Performans Karşılaştırılması

Abstract

Termal kameralar, cisimlerin sıcaklık farklılıklarını kızılötesi ışın değerlerine bağlı olarak renklendirdiği görüntüleme sistemleridir. Günümüzde başta savunma sanayi olmak üzere sağlık, ziraat, inşaat gibi birçok farklı alanda termal kameralar kullanılmaktadır. Özellikle savunma sanayi alanında kullanılan bu kameralardan elde edilen görüntüler, çeşitli nesnelerin ve canlıların tespiti için büyük önem arz etmektedir. Bu çalışmada termal kamera görüntülerinin sınıflandırması için derin öğrenme tabanlı tekniklerin kapsamlı bir karşılaştırması sunulmaktadır. Çalışmada 7 farklı Evrişimli Sinir Ağları mimarisi ile görüntülerin özellikleri çıkarılmış, 5 farklı sınıflandırma yöntemi ile sınıflandırılması sağlanmıştır. Performans değerlendirmesi için dengesiz çok sınıflı veri kümelerinin sınıflandırılmasına uygun metrikler olan dengeli doğruluk, makro ve mikro ortalama duyarlılık, makro ve mikro ortalama kesinlik, makro ve mikro ortalama F ölçütü metrik değerleri kullanılmıştır. Ayrıca tüm yapıların ayrı ayrı eğitim ve test süreleri karşılaştırılmıştır. Çalışmada en yüksek doğruluk değeri %95.24 ile Resnet101+Softmax ve Resnet50+DVM mimarilerinde elde edilmiştir. Sınıfların eşit ağırlıklı alındığı dengeli doğruluk değerinde ise en yüksek %95,17 ile Resnet101+Softmax mimarisinden elde edilmiştir. Resnet101+Softmax mimarisinde makro ortalamalı kesinlik 0.9579, makro ortalamalı F ölçütü 0.9543 ve mikro ortalamalı F ölçütü 0.9524 değerleri elde edilmiştir. Bu çalışma, küçük ve dengesiz termal görüntüler üzerinde, önceden eğitilmiş ESA ağlarının özellik çıkarımı ile makine öğrenimi sınıflandırıcılarının kullanımının, tamamen eğitilmiş ağlarla elde edilen performansa benzer sonuçlar sağlanabileceğini göstermiştir.

Thermal camera systems are imaging systems that color the temperature differences of objects depending on their infrared ray values. Nowadays, thermal cameras are used in many different areas such as defense industry, health, agriculture and construction. Detection of various objects and living creatures in the images taken by these cameras, which are used especially in the field of defense industry, is of great importance. This study presents a comprehensive comparison of deep learning-based techniques for classification of thermal camera images. In the study, the features of the images were extracted with 7 different Convolutional Neural Network architectures and they were classified with 5 different classifiers. For performance evaluation, balanced accuracy, macro and micro average sensitivity, macro and micro average precision, macro and micro average F criterion metric values, which are metrics suitable for classification of unbalanced multi-class data sets, were used. Additionally, the training and testing times of all structures separately were compared. In the study, the highest accuracy value of 95.24% was achieved with ResNet101+Softmax and ResNet50+DVM architectures. The highest balanced accuracy, where class weights were equally considered, was obtained as 95.17% with the ResNet101+Softmax architecture. The ResNet101+Softmax model yielded a macro-averaged precision of 0.9579, a macro-averaged F-measure of 0.9543, and a micro-averaged F-measure of 0.9524. This study demonstrates that, on small and imbalanced thermal images, the utilization of pre-trained ESA networks for feature extraction combined with machine learning classifiers can deliver performance comparable to that achieved with fully trained deep learning models