Зоткина Алена Александровна, старший преподаватель кафедры «Программирование»,
пр. Байдукова/ул. Гагарина, д. 1а/11, г. Пенза 440039.
Alena A. Zotkina, Senior Lecturer of the Programming Department,
1a/11, Baidukova ave. / Gagarina str., Penza 440039.
Цель исследования. Разработка программного комплекса для автоматического создания фотореалистичных трехмерных моделей лиц на основе одного входного изображения, который обеспечит высокую степень детализации и реалистичности моделей, а также простоту использования,
Методы. В исследовании используется комплексный подход для создания фотореалистичных трехмерных моделей лиц из двумерных изображений, основанный на методах обратного рендеринга и каскадных сверточных нейронных сетей (CNN). Основным элементом является трехмерная трансформируемая модель (3DMM), которая описывает геометрию и альбедо лица через линейные комбинации базисов главных компонент (PCA). Для соответствия 3D-геометрии и 2D-изображению применяется слабая перспективная проекция, учитывающая углы Эйлера и условия освещения. Оптимизация целевой функции с использованием метода Гаусса-Ньютона минимизирует различия между входным и визуализированным изображениями, а коррекция глубины и деталей лица достигается через адаптацию 3D-графики. Линейная интерполяция альбедо уточняет детали модели в ключевых областях, что способствует созданию высококачественных и реалистичных 3D-моделей лиц.
Результаты. В данной статье успешно реализован программный комплекс, способный генерировать фотореалистичные трехмерные модели лиц из одномерных изображений с использованием обратного рендеринга и каскадных сверточных нейронных сетей. Проведенные эксперименты подтвердили способность алгоритма к восприятию важных характеристик лиц и создают возможности для дальнейших приложений в сферах компьютерной графики, анимации и виртуальных интерфейсов.
Заключение. Полученные результаты свидетельствуют о высокой эффективности разработанного алгоритма для генерации фотореалистичных трехмерных моделей лиц из двумерных изображений. Кроме того, результаты подтверждают, что применение методов обратного рендеринга совместно с каскад-ными сверточными нейронными сетями позволяет добиться значительных улучшений в качестве визуализации.
Purpose of reseach. Development of a software package for the automatic creation of photorealistic threedimensional models of faces based on a single input image, which will provide a high degree of detail and realism of models, as well as ease of use,
Methods. The study uses an integrated approach to create photorealistic three-dimensional models of faces from two-dimensional images based on reverse rendering methods and cascading convolutional neural networks (CNN). The main element is a three-dimensional transformable model (3DMM), which describes the geometry and albedo of a face through linear combinations of principal component bases (PCA). To match the 3D geometry and the 2D image, a weak perspective projection is used, taking into account Euler angles and lighting conditions. Optimization of the objective function using the Gauss-Newton method minimizes the differences between the input and rendered images, and correction of depth and facial details is achieved through the adaptation of 3D graphics. Linear albedo interpolation clarifies the details of the model in key areas, which contributes to the creation of high-quality and realistic 3D models of faces.
Results. This article successfully implements a software package capable of generating photorealistic threedimensional models of faces from one-dimensional images using reverse rendering and cascading convolutional neural networks. The experiments have confirmed the algorithm's ability to perceive important facial characteristics and create opportunities for further applications in the fields of computer graphics, animation and virtual interfaces.
Conclusion. The results obtained indicate the high efficiency of the developed algorithm for generating photorealistic three-dimensional models of faces from two-dimensional images. In addition, the results confirm that the use of reverse rendering methods in conjunction with cascading convolutional neural networks allows for significant improvements in visualization quality.
The authors declare that there are no conflicts of interest present.