Халеев Михаил Дмитриевич, кандидат технических наук, младший научный сотрудник
ул. Корпусная, д. 18, г. Санкт-Петербург 199178
Mikhail D. Haleev, Cand. of Sci. (Engineering), Junior Research Fellow
18, Korpusnaya str., St. Petersburg 199178
Цель исследования: Разработка гибридного двухуровневого метода для повышения как точности, так и устойчивости выявления подмены лица оператора на изображениях, что является актуальной задачей в условиях постоянного роста и усложнения угроз со стороны дипфейк-технологий.
Методы. Предложена архитектура, объединяющая сверточную нейронную сеть EfficientNet для извлечения глубоких паттернов и ансамбль из четырех классификаторов. Эти классификаторы целенаправленно анализируют специфические группы признаков: экспертные, текстурные, статистические и основанные на координатах лицевых ориентиров, что позволяет выявлять конкретные артефакты синтеза. Для обучения и тестирования был сформирован обширный и репрезентативный комплексный набор данных объемом 34 000 изображений, включающий как сгенерированные дипфейки, так и публичные датасеты.
Результаты. Экспериментально подтверждена высокая эффективность предложенного метода: точность составила 0,921, а F1-мера – 0,914. Эти показатели значительно превосходят результаты любой из моделей, использованных по отдельности, что доказывает ярко выраженный и практически значимый синергетический эффект от их объединения.
Заключение. Работа демонстрирует, что синергия глубокого обучения и классических признаковых моделей позволяет создать действительно более надежный и точный детектор. Предложенный метод повышает общую точность и увеличивает надежность системы, эффективно компенсируя индивидуальные слабости отдельных классификаторов. Это подтверждает гипотезу о том, что сочетание способности нейросети извлекать сложные, неявные паттерны и способности признаковых моделей анализировать конкретные, заранее известные специфические артефакты (например, геометрические искажения) ведет к созданию более мощного и устойчивого детектора.
Purpose of research. The development of a hybrid, two-level method to enhance both the accuracy and robustness of detecting operator face spoofing in images, which is a pressing issue given the constant growth and sophistication of threats from deepfake technologies.
Methods. A novel architecture is proposed, combining the EfficientNet convolutional neural network for deep pattern extraction with an ensemble of four classifiers. These classifiers specifically analyze distinct feature groups: expertbased, textural, statistical, and those based on facial landmark coordinates, enabling the detection of specific synthesis artifacts. For training and testing, an extensive and representative dataset of 34,000 images was compiled, including deepfakes generated by several modern tools as well as public datasets.
Results. The high efficacy of the proposed method was experimentally confirmed: accuracy reached 0.921 and the F1-score was 0.914. These metrics significantly surpass the performance of any of the individual models used separately, demonstrating a pronounced and practically significant synergistic effect from their combination.
Conclusion. This work demonstrates that the synergy between deep learning and classical feature-based models allows for the creation of a genuinely more reliable and precise detector. The proposed method improves overall accuracy and enhances system robustness by effectively compensating for the individual weaknesses of separate classifiers. This validates the hypothesis that combining a neural network's ability to extract complex, implicit patterns with feature-based models' capacity to analyze specific, predefined artifacts (such as geometric distortions) leads to a more powerful and resilient detector.
The authors declare that there are no conflicts of interest present.