Clustering methods for large scale visual place recognition

Abstract

Bu tezde, çoğu Görsel Yer Tanıma sisteminin muzdarip olduğu, arama topluluğunun boyutu ve zaman arasında doğru orantılı olan soruna yeni bir çözüm getirilmiştir. Önerilen çözüm, kümelemenin genel olarak örnekleri (bizim durumumuzda görüntü veri kümeleri) dosya benzerliği gibi bazı kriterlere göre gruplandırmaya çalıştığı kümeleme ilkelerine dayanmaktadır. Büyük ölçekli bir görüntü veritabanında arama yapmak karmaşık bir sorundur çünkü tüm veritabanındaki arama işlemleri çok zaman alır ve karşılaştırma hesaplamaları olabildiğince hızlı yapılmak ve veri tabanından en iyi (en alakalı) sonuçları çıkarmak için çok önemlidir. tüm veritabanı. Sistemi kurmak için öncelikle AlexNet CNN yanıt özellikleri, SIFT ve HOG özellikleri gibi çoklu özellik çıkarma yöntemlerini karşılaştırdık. Ayrıca, özellikler arasındaki benzerliği (uzaklıkları) ölçmek için Manhattan mesafesi kullanılmıştır. Ayrıca, AlexNet ve RESNET-18 için kapsamlı karşılaştırmalar yapılmıştır. Genel olarak, RESNET-18, AlexNet yanıt süresi daha kısa olmasına rağmen, AlexNet'ten daha iyi performans gösterdi. İki bileşen, önerilen görsel Yer Tanıma sisteminin ana parçalarıdır. Birinci kısım(bileşen) bir RESNET-18 modelinden oluşurken, ikinci kısım RESNET-18'in birden çok kopyasına sahiptir. Sorgulanan görüntünün ait olduğu en iyi kümeyi tahsis etmek, birinci bileşenin amacıdır. İstenen görselin ID'sini bulmak ise ikinci kısmın yükümlülüğündedir. Bu tezde önerilen sistem, birkaç zorlu kıyaslama veri setinde en son teknolojiye sahip birçok yönteme göre üstün performans göstermektedir. Ve sorgulanan görüntünün sonucunu üretmek için toplam sürenin 200-220 ms arasında olduğu son teknoloji bir sonuç yürütme süresi elde edebildi.In this thesis, a new solution for the problem that most Visual Place Recognition systems suffer from, which is directly proportional between the size of searching community and time. The proposed solution is based on the clustering principles, where clustering in general works on grouping the samples (images datasets in our case) based on some criteria like file similarity. Searching in a large-scale image database is a complex problem because the searching operations in the whole database take a large amount of time, and comparing calculations is so critical to be done as fast as possible and extract the best (most relevant) results from the whole database. In order to build the system, we first compared multiple feature extraction methods like AlexNet CNN response features, SIFT and HOG features. Also, the Manhattan distance was utilized for measuring the similarity(distances) between the features. Furthermore, extensive comparisons for AlexNet and RESNET-18 have been done. Overall, RESNET-18 outperformed AlexNet, although AlexNet response time is shorter. Two components are the main parts of the proposed visual Place Recognition system. The first part(component) consisted of one RESNET-18 model, while the second part has multiple copies of RESNET-18. Allocating the best cluster to which the enquired image belongs is the goal of the first component. While finding the ID of the requested image is the second part's obligation. The proposed system in this thesis shows superior performance over many stateof-the-art methods on several challenging benchmark datasets. And was able to obtain a State-of-the-art result execution time, where the total time to produce the result of the inquired image, was between 200-220 ms