УДК 004.93

АЛГОРИТМЫ ВЗАИМНОЙ РЕКОНСТРУКЦИИ ИЗОБРАЖЕНИЙ ЛИЦ НА ОСНОВЕ МЕТОДОВ ПРОЕКЦИИ В СОБСТВЕННЫЕ ПОДПРОСТРАНСТВА

А.Л. Олейник, Г.А. Кухарев

Аннотация


Обсуждается проблема взаимной реконструкции изображений лиц в соответствующих друг другу парах. Эта проблема была поставлена в предыдущей статье авторов, а предложенные в ней решения обсуждались с приложением к задачам гетерогенного распознавания изображений лиц (Heterogeneous Face Recognition) и кросс-модального мультимедийного поиска (Cross-Modal Multimedia Retrieval). Эти решения основаны на одномерных и двумерных методах анализа главных компонент для двух исходных наборов изображений лиц и проекции их в независимые собственные подпространства, вычислении матриц взаимной трансформации между этими подпространствами и взаимной реконструкции изображений лиц на основе одномерного и двумерного преобразований Карунена — Лоэва.
В настоящей статье предлагаются новые подходы и решения, основанные исключительно на двумерных методах проекции в собственные подпространства и двух вариантах моделей регрессии — множественной линейной регрессии и регрессии частичных наименьших квадратов.
Приведены результаты экспериментов по взаимной реконструкции изображений лиц в парах скетч/фотографии, в парах лиц с возрастными изменениями, а также в парах изображений лиц в формах 2D/3D. Для проведения экспериментов выбраны два варианта реализации предложенного подхода. Первый из них основан на двумерном анализе главных компонент и регрессии частичных наименьших квадратов, второй — на двумерном методе частичных наименьших квадратов и множественной линейной регрессии. Оба варианта показали приемлемые для практики результаты при решении задачи взаимной реконструкции изображений лиц. Кроме того, рассмотрен способ повышения качества реконструируемых изображений лиц при работе со смешанными базами. Он заключается в классификации на основе двумерного линейного дискриминантного анализа и построении регрессионной зависимости в рамках каждого класса.
Показано также, что в общем случае взаимная реконструкция изображений лиц достижима и в условиях, когда исходные изображения не входили в состав обучающих наборов изображений лиц.

Ключевые слова


изображение лица; скетч; фоторобот; взаимная реконструкция изображений лиц мультисенсорной природы; кросс-модальный мультимедийный поиск; метод главных компонент; метод частичных наименьших квадратов; двумерные проекционные методы; регрессия

Полный текст:

PDF

Литература


  1. Ouyang S. et al. A survey on heterogeneous face recognition: Sketch, infra-red, 3D and low-resolution // ArXiv Prepr. ArXiv14095114. 2014.
  2. Kukharev G., Kamenskaya E. Application of two-dimensional canonical correlation analysis for face image processing and recognition // PRIA. 2010. Vol. 20, № 2. P. 210–219.
  3. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. Хитрова М.В. СПб.: Политехника, 2013. 388 с.
  4. Ouyang S. et al. Cross-modal face matching: Beyond viewed sketches // 12th Asian Conference on Computer Vision (ACCV), 2014. Singapore: Springer International Publishing, 2015. P. 210–225.
  5. Sharma A., Jacobs D.W. Bypassing synthesis: PLS for face recognition with pose, low-resolution and sketch // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011. IEEE, 2011. P. 593–600.
  6. Tang X., Wang X. Face sketch recognition // IEEE Trans. Circuits Syst. Video Technol. 2004. Vol. 14, № 1. P. 50–57.
  7. Kukharev G., Oleinik A. Face Photo-Sketch Transformation and Population Generation // ICCVG 2016 LNCS 9972. 2016. P. 329–340.
  8. Baker S., Kanade T. Hallucinating faces // Automatic Face and Gesture Recognition, 2000. Proceedings. Fourth IEEE International Conference on. IEEE, 2000. P. 83–88.
  9. An L., Bhanu B. Face image super-resolution using 2D CCA // Signal Process. 2014. Vol. 103. P. 184–194.
  10. Кухарев Г.А., Матвеев Ю.Н., Форчманьски П. Поиск людей по фотороботам: методы, системы и практические решения // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15, № 4. С. 640–653.
  11. Кухарев Г.А., Матвеев Ю.Н., Олейник А.Л. Алгоритмы взаимной трансформации изображений для систем обработки и поиска визуальной информации // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17, № 1. С. 62–74.
  12. Xie Z. Partial least squares regression on DCT domain for infrared face recognition // Proc. SPIE 9230, Twelfth International Conference on Photonics and Imaging in Biology and Medicine (PIBM 2014) / ed. Luo Q., Wang L.V., Tuchin V.V. 2014. Vol. 9230. P. 6.
  13. Reiter M. et al. 3D and Infrared Face Reconstruction from RGB data using Canonical Correlation Analysis. IEEE, 2006. P. 425–428.
  14. Reiter M. et al. Estimation of face depth maps from color textures using canonical correlation analysis. 2006. P. 1–5.
  15. Ramanathan N., Chellappa R., Biswas S. Computational methods for modeling facial aging: A survey // J. Vis. Lang. Comput. 2009. Vol. 20, № 3. P. 131–144.
  16. Liang J. et al. Group-invariant cross-modal subspace learning // Proc. IJCAI. 2016. P. 1739–1745.
  17. Tian L., Fan C., Ming Y. Multiple scales combined principle component analysis deep learning network for face recognition // J. Electron. Imaging. 2016. Vol. 25, № 2. P. 16.
  18. Kim H., Fyfe C., Ko H. Feature locations in images // International Conference on Intelligent Data Engineering and Automated Learning. Springer, 2008. P. 459–463.
  19. Эсбенсен К. Анализ многомерных данных. Черноголовка: ИПХФ РАН, 2005. 160 с.
  20. CUFS dataset [Electronic resource]. URL: http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html (accessed: 25.04.2015).
  21. CUFSF dataset [Electronic resource]. URL: http://mmlab.ie.cuhk.edu.hk/archive/cufsf/ (accessed: 16.04.2016).
  22. Suo J. et al. A compositional and dynamic model for face aging // Pattern Anal. Mach. Intell. IEEE Trans. On. 2010. Vol. 32, № 3. P. 385–401.
  23. Gupta S. et al. Texas 3D Face Recognition Database [Electronic resource]. URL: http://live.ece.utexas.edu/research/texas3dfr/index.htm (accessed: 23.04.2017).
  24. Gupta S. et al. Texas 3D face recognition database // Image Analysis & Interpretation (SSIAI), 2010 IEEE Southwest Symposium on. IEEE, 2010. P. 97–100.
  25. Gupta S., Markey M.K., Bovik A.C. Anthropometric 3D Face Recognition // Int. J. Comput. Vis. 2010. Vol. 90, № 3. P. 331–349.
  26. Sun Y., Tistarelli M., Maltoni D. Structural similarity based image quality map for face recognition across plastic surgery // Biometrics: Theory, Applications and Systems (BTAS), 2013 IEEE Sixth International Conference on. IEEE, 2013. P. 1–8.


Андрей Леонидович Олейник - аспирант кафедры речевых информационных систем, ФГАОУ ВО "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО), инженер кафедры речевых информационных систем, ФГАОУ ВО "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО).
Область научных интересов: машинное обучение, цифровая обработка изображений, лицевая биометрия, распознавание образов.
Число научных публикаций: 15.

Адрес (E-mail): aoleinik@corp.ifmo.ru
Почтовый адрес: ул. Красуцкого, 4, Санкт-Петербург, 196084
Телефон: +7(812)325-88-48


Георгий Александрович Кухарев - д-р техн. наук, профессор, профессор кафедры мультимедийных систем, Западнопоморский технологический университет, профессор кафедры математического обеспечения и применения ЭВМ, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина) (СПбГЭТУ "ЛЭТИ").
Область научных интересов: цифровая обработка изображений, распознавание образов, лицевая биометрия.
Число научных публикаций: 255.

Адрес (E-mail): kuga41@gmail.com
Почтовый адрес: Зольнерская ул., 49, Щецин, 71-210, Польша
Телефон: +48 91-449-56-60




DOI: http://dx.doi.org/10.15622/sp.57.3

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 License.