Analysis of racial bias in facial emotion recognition

Abstract

The complexity of deep learning models with high-dimensional inputs and subjective labels extends to fairness. In facial emotion recognition, where datasets can be racially unbalanced, models may produce biased results for different racial groups. This raises concerns about fairness and highlights the need for further research on racial bias. Inaccurate generalization owing to such bias could negatively affect real-world performance. This thesis aims to evaluate racial bias using subsampling techniques to create training sets with diverse racial distributions and then examine test performances across these experiments using state-of-the-art facial emotion recognition techniques.

Çok boyutlu girdilere ve öznel etiketlere sahip derin öğrenme modellerinin karmaşıklığı, ortaya çıkan sonuçlarda tarafsızlık sorunlarını da beraberinde getirmektedir. Veri setlerinin ırksal olarak dengesiz dağılıma sahip olabildiği yüz ifadesi tanıma yapılarında, kullanılan modeller farklı ırk grupları için taraflı ve önyargılı sonuçlar üretebilmektedir. Bu durum, tarafsızlık konusundaki endişeleri artırmakta ve ırksal önyargı konusunda daha fazla araştırma yapılması ihtiyacını öne çıkartmaktadır. Bu tür, ırksal önyargıdan kaynaklanan hatalı genellemeler ve sınıflandırmalar, modellerin gerçek dünya performansını da olumsuz etkileyebilmektedir. Bu tezde, farklı ırk dağılımlarına sahip eğitim setleri oluşturmak amacı ile alt örnekleme teknikleri kullanılarak, ırksal önyargının değerlendirmesi ve ardından popüler yüz ifadesi tanıma metotlarının kullanımı ile ırksal önyargı konusunda test performanslarının incelenmesi amaçlanmıştır.