Программное обеспечение для преобразования двумерных изображений в трехмерные модели

Цель исследования. Разработка программного комплекса для автоматического создания фотореалистичных трехмерных моделей лиц на основе одного входного изображения, который обеспечит высокую степень детализации и реалистичности моделей, а также простоту использования,

Методы. В исследовании используется комплексный подход для создания фотореалистичных трехмерных моделей лиц из двумерных изображений, основанный на методах обратного рендеринга и каскадных сверточных нейронных сетей (CNN). Основным элементом является трехмерная трансформируемая модель (3DMM), которая описывает геометрию и альбедо лица через линейные комбинации базисов главных компонент (PCA). Для соответствия 3D-геометрии и 2D-изображению применяется слабая перспективная проекция, учитывающая углы Эйлера и условия освещения. Оптимизация целевой функции с использованием метода Гаусса-Ньютона минимизирует различия между входным и визуализированным изображениями, а коррекция глубины и деталей лица достигается через адаптацию 3D-графики. Линейная интерполяция альбедо уточняет детали модели в ключевых областях, что способствует созданию высококачественных и реалистичных 3D-моделей лиц.

Результаты. В данной статье успешно реализован программный комплекс, способный генерировать фотореалистичные трехмерные модели лиц из одномерных изображений с использованием обратного рендеринга и каскадных сверточных нейронных сетей. Проведенные эксперименты подтвердили способность алгоритма к восприятию важных характеристик лиц и создают возможности для дальнейших приложений в сферах компьютерной графики, анимации и виртуальных интерфейсов.

Заключение. Полученные результаты свидетельствуют о высокой эффективности разработанного алгоритма для генерации фотореалистичных трехмерных моделей лиц из двумерных изображений. Кроме того, результаты подтверждают, что применение методов обратного рендеринга совместно с каскад-ными сверточными нейронными сетями позволяет добиться значительных улучшений в качестве визуализации.

1. Lee H., Ranganath R., Ng A.Y. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations. Grosse // Proceedings of the 26th Annual International Conference on Machine Learning. 2009. Р. 34–45.

2. Bengio Y. Learning deep architectures for AI // Foundations and Trends in Machine Learning, 2009. P. 245–257.

3. Ignatenko A., Konushin A. A Framework for Depth Image-Based Modeling and Rendering // Graphicon-2003 Proceedings. Moscow, 2003. 246 р.

4. Василенко B. A. Сплайн-функции: теория, алгоритмы, программы. Новосибирск: Наука, 1983. 215 с.

5. Соловьева А. Алгоритм модификации типового трехмерного портрета по заданным фотоизображениям // Труды XX международной конференции по компьютерной графике и машинному зрению. M.: изд-во «Графикон», 2010. С. 346–347.

6. Zhao H., Osher S. Visualization, analysis and shape reconstruction of unorganized data sets // Geometric Level Set Methods in Imaging and Vision and Graphics. SpringerVerlag, 2002. 256 p.

7. Зоткина А.А. Анализ алгоритмов машинного обучения, используемых в классификации изображений, публикуемых пользователями социальных сетей // Современные информационные технологии. 2023. № 38 (38). С. 38-40.

8. Зоткина А.А. Распознавание изображений с помощью сверточных нейронных сетей // Современные информационные технологии. 2023. № 38 (38). С. 60-63.

9. Зоткина А.А., Мартышкин А.И., Ткаченко А.В. Особенности работы сверточных нейронных сетей: архитектура и применение // Современные методы и средства обработки пространственно-временных сигналов: сборник статей XX Всероссийской научно-технической конференции. Пенза, 2023. С. 32-35.

10. Blanz V., Vetter T. Face recognition based on fitting a 3-D morphable model // IEEE Trans Pattern Anal Mach Intell. 2003. 25(9). Р. 1063-1074.

11. Learning detailed face reconstruction from a single image // IEEE conference on computer vision and pattern recognition (CVPR) / E. Richardson, M. Sela, R. OR-EL, R. Kimmel. Honolulu, HI, 2017. P. 5553-5562.

12. Blanz V., Vetter T.A. Morphable model for the synthesis of 3-D faces // 26th annual conference on Computer graphics and interactive techniques (SIGGRAPH ’99). ACM Press/AddisonWesley Publishing Co., USA, 1999. P. 5553-5562.

13. Heo J.Three-dimensional generic elastic models for two-dimensionalpose synthesis and face recognition. Proquest, Umi Dissertation Publishing, 2011. 154 c.

14. Korikov A.M., Tungusova A.V. Neural network technologies for image classification // 21st Int. Symp. Atmos. Ocean Opt. Atmos. Phys. 2015. Vol. 9680. P. 426–429.

15. Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Adv. Neural Inf. Process. Syst. 2012. Vol. 25.

16. Face recognition: A literature survey / W. Zhao, R. Chellappa, P.J. Phillips, A. Rosenfeld // ACM Comput. Surv. 2003. Vol. 35, № 4. P. 399– 458.

17. Is faster R-CNN doing well for pedestrian detection? / L. Zhang, L. Lin, X. Liang, K. He // Eur. Conf. Comput. vision. Springer, Cham, 2016. P. 443–457.

18. Коэльо Л. П., Ричарт В. Построение систем машинного обучения на языке Python / пер. с англ. А. А. Слинкин. 2-е изд. М.: ДМК Пресс, 2016. 302 с. URL: https://e.lanbook.com/book/82818

19. Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных. М.: ДМК Пресс, 2015. 400 с. URL: https://e.lanbook.com/book/69955

20. PyTorch. URL: https://pytorch.org/

21. Numpy. URL: https://numpy.org/

22. How to install dlib library for Python in Windows 10. URL: https://medium.com/analytics-vidhya/how-to-install-dlib-library-for-python-in-windows-10-57348ba1117f 23. Opencv. URL: https://opencv.org/