Гибридный двухуровневый метод автоматического выявления подмены лица оператора на изображении

Цель исследования: Разработка гибридного двухуровневого метода для повышения как точности, так и устойчивости выявления подмены лица оператора на изображениях, что является актуальной задачей в условиях постоянного роста и усложнения угроз со стороны дипфейк-технологий. 

Методы. Предложена архитектура, объединяющая сверточную нейронную сеть EfficientNet для извлечения глубоких паттернов и ансамбль из четырех классификаторов. Эти классификаторы целенаправленно анализируют специфические группы признаков: экспертные, текстурные, статистические и основанные на координатах лицевых ориентиров, что позволяет выявлять конкретные артефакты синтеза. Для обучения и тестирования был сформирован обширный и репрезентативный комплексный набор данных объемом 34 000 изображений, включающий как сгенерированные дипфейки, так и публичные датасеты. 

Результаты. Экспериментально подтверждена высокая эффективность предложенного метода: точность составила 0,921, а F1-мера – 0,914. Эти показатели значительно превосходят результаты любой из моделей, использованных по отдельности, что доказывает ярко выраженный и практически значимый синергетический эффект от их объединения. 

Заключение. Работа демонстрирует, что синергия глубокого обучения и классических признаковых моделей позволяет создать действительно более надежный и точный детектор. Предложенный метод повышает общую точность и увеличивает надежность системы, эффективно компенсируя индивидуальные слабости отдельных классификаторов. Это подтверждает гипотезу о том, что сочетание способности нейросети извлекать сложные, неявные паттерны и способности признаковых моделей анализировать конкретные, заранее известные специфические артефакты (например, геометрические искажения) ведет к созданию более мощного и устойчивого детектора. 

1. Халеев М.Д. Интеллектуальный метод автоматического выявления подмены лица на изображении // Системы анализа и обработки данных. 2025. Т. 97, №1. С. 105-120.

2. Tolosana R., Vera-Rodriguez R., Fierrez J., Morales A., Ortega-Garcia J. Deepfakes and beyond: A Survey of face manipulation and fake detection // Information Fusion. 2020. Vol. 64. P. 131–148. https://doi:10.1016/J.INFFUS.2020.06.014.

3. Nawaz M., Javed A., Irtaza A. A deep learning model for FaceSwap and facereenactment deepfakes detection // Applied Soft Computing. 2024. Vol. 162. P. 111854. https://doi:10.1016/J.ASOC.2024.111854.

4. Ding X. и др. Swapped face detection using deep learning and subjective assessment // EURASIP Journal on Information Security. 2020. Vol. 2020, № 1. https://doi:10.1186/S13635-020-00109-8.

5. Essa E. Feature fusion Vision Transformers using MLP-Mixer for enhanced deepfake detection // Neurocomputing. 2024. Vol. 598. P. 128128. https://doi:10.1016/J.NEUCOM.2024.128128

6. Salman M., et al. AWARE-NET: Adaptive Weighted Averaging for Robust Ensemble Network in Deepfake Detection // Computer Vision and Pattern Recognition. 2025.

7. Kingra S., Aggarwal N., Kaur N. SFormer: An end-to-end spatio-temporal transformer architecture for deepfake detection // Forensic Science International: Digital Investigation. 2024. Vol. 51. P. 301817. https://doi:10.1016/J.FSIDI.2024.301817

8. Khalid F., Javed A., ul ain Q., Ilyas H., Irtaza A. DFGNN: An interpretable and generalized graph neural network for deepfakes detection // Expert Systems with Applications. 2023. Vol. 222. P. 119843. https://doi:10.1016/J.ESWA.2023.119843

9. Sun K., et al. DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion // 38th Conference on Neural Information Processing Systems (NeurIPS 2024). 2024.

10. Smeu S., Oneata E., Oneata D. DeCLIP: Decoding CLIP Representations for Deepfake Localization // Proceedings of the Winter Conference on Applications of Computer Vision (WACV). 2025. С. 149-159.

11. Tian J., et al. Real Appearance Modeling for More General Deepfake Detection // ECCV. 2025.

12. Yan B., Li C. T., Lu X. JRC: Deepfake detection via joint reconstruction and classification // Neurocomputing. 2024. Vol. 598. P. 127862. https://doi:10.1016/J.NEUCOM.2024.127862

13. Li H., et al. FreqBlender: Enhancing DeepFake Detection by Blending Frequency Knowledge // 38th Conference on Neural Information Processing Systems (NeurIPS 2024). 2024.

14. Kashiani H., Talemi N. A., Afghah F. FreqDebias: Towards Generalizable Deepfake Detection via Consistency-Driven Frequency Debiasing // CVPR. 2025.

15. Zou M., et al. Semantic Contextualization of Face Forgery: A New Definition, Dataset, and Detection Method // Computer Vision and Pattern Recognition. 2025.

16. Chew C. J., et al. Preserving manipulated and synthetic Deepfake detection through face texture naturalness // Journal of Information Security and Applications. 2024. Vol. 83. P. 103798. https://doi:10.1016/J.JISA.2024.103798.

17. Gao J., at al. Texture and artifact decomposition for improving generalization in deep-learning-based deepfake detection // Engineering Applications of Artificial Intelligence. 2024. Vol. 133. P. 108450. https://doi:10.1016/J.ENGAPPAI.2024.108450

18. He Q., Peng C., Liu D., Wang N., Gao X. GazeForensics: DeepFake detection via gaze-guided spatial inconsistency learning // Neural Networks. 2024. Vol. 180. P. 106636. https://doi:10.1016/J.NEUNET.2024.106636

19. Li Y., at al. Texture Shape and Order Matter: A New Transformer Design for Sequential DeepFake Detection // Proceedings of the Winter Conference on Applications of Computer Vision (WACV). 2025. P. 202-211.

20. Wang Y., Huang H. Audio–visual deepfake detection using articulatory representation learning // Computer Vision and Image Understanding. 2024. Vol. 248. P. 104133. https://doi:10.1016/J.CVIU.2024.104133

21. Wang T., Cheng H., Zhang X., Wang Y. NullSwap: Proactive Identity Cloaking Against Deepfake Face Swapping // CVPR. 2025.

22. Yan Z., et al. DF40: Toward Next-Generation Deepfake Detection // arXiv preprint arXiv:2406.13495. 2024.