Метод извлечения векторов движения в системах технического зрения, использующих сжатие с потерями

Цель исследования. В современном цифровом повышается роль использования видеокамер в качественных источниках первичных данных. Однако сами по себе «сырые» видеоданные несут низкую информационную ценность без последующего анализа. Ключевыми задачами, позволяющими извлечь смысловую информацию из видеопоследовательности, является локализация объектов и определение их движения. Актуальность этой задачи обусловлена ее критической важностью для широкого спектра прикладных и исследовательских дисциплин. Несмотря на длительную историю, определение движущихся объектов остается актуальной научной проблемой в связи с наличием следующих трудностей: изменчивость условий освещения, динамический фон, эффекты окклюзии, необходимость работы в реальном времени. Целью работы является снижение вычислительной нагрузки при решении задач анализа движения объектов в реальном времени путем разработки и апробации метода извлечения векторов движения из сжатых видеопотоков. 

Методы. Для реализации поставленной цели был использован аппарат векторов движения как основа компенсации временной избыточности, а также алгоритмы технического зрения и алгоритмы компенсации движения в видеоданных. 

Результаты. Создан программный модуль, позволяющий извлекать векторы движения непосредственно из видеопотока, Выполнена экспериментальная проверка эффективности работы предложенного метода и продемонстрирована его эффективность в различных прикладных областях, включая видеонаблюдение, сельское хозяйство и робототехнику при значительном снижении вычислительных затрат. 

Заключение. Произведенные экспериментальные проверки показали, что использование векторов движения, уже содержащихся в сжатых видеоданных, позволяет эффективно решать задачи анализа движения без необходимости их повторного вычисления, что особенно актуально для систем с ограниченными вычислительными ресурсами.

1. Audio-visual speech recognition based on regulated transformer and spatio-temporal fusion strategy for driver assistive systems / D. Ryumin, A. Axyonov, E. Ryumina, D. Ivanko, A. Kashevnik, A. Karpov // Expert Systems with Applications. 2024. 252(12). P.124159. https://doi.org/10.1016/j.eswa.2024.124159.

2. Gupta S., Mamodiya U., Al-Gburi A. Speech Recognition-Based Wireless Control System for Mobile Robotics: Design, Implementation, and Analysis // Automation. 2025. 6(3). P.25. https://doi.org/10.3390/automation6030025.

3. Intelligent Human Operator Mental Fatigue Assessment Method Based on Gaze Movement Monitoring / A. Kashevnik, S. Kovalenko, A. Mamonov, B. Hamoud, A. Bulygin, V. Kuznetsov, I. Shoshina, I. Brak, G. Kiselev // Sensors. 2024. 24(21). P.6805. https://doi.org/10.3390/s24216805.

4. Gershman S.J., Bill J., Drugowitsch J. Hierarchical Vector Analysis of Visual Motion Perception // Annual Review of Vision Science. 2025. 11. P.411-422. https://doi.org/10.1146/annurev-vision-110323-031344.

5. Paragios N., Chen Y., Faugeras O., editors. Mathematical Models in Computer Vision. New York: Springer, 2005. P. 239-258.

6. Kesrarat D., Patanavijit V. Noise resistance evaluation of spatial-field optical flow using modifying Lorentzian function // Bulletin of Electrical Engineering and Informatics. 2022; 11(5):2603-2610. https://doi.org/10.11591/eei.v11i5.3815.

7. Liu H., Fach S., Steinebach M. Motion Vector based Robust Video Hash // Proc. IS&T Int’l. Symp. on Electronic Imaging: Media Watermarking, Security, and Forensics, 2020. P. 218-1–218-7. https://doi.org/10.2352/ISSN.2470-1173.2020.4.MWSF-218.

8. Chang S., Wang R. Novel motion estimation algorithm for image stabilizer // Engineering Computations. 2017. 34(1). P.77-89. https://doi.org/10.1108/EC-11-2015-0345.

9. Методы поиска движения в видеопоследовательностях / М.Н. Фаворская, А.И. Пахирка, А.С. Шилов, М.В. Дамов // Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева. 2009. № 1-2. С. 69-73.

10. Chu Z., Li M. A Specific Algorithm Based on Motion Direction Prediction // Complexity. 2021. 2021. P. 6678596. https://doi.org/10.1155/2021/6678596.

11. Richardson I.E.G. H.264 and MPEG-4 Video Compression. Chichester: John Wiley & Sons, 2003. P. 27-28.

12. Li D. Moving objects detection by block comparison // Proceedings of the 2000 IEEE International Conference on Electronics, Circuits and Systems. 2000. Vol. 1. P. 341-344.

13. Кулешов С.В., Зайцева А.А. Временной анализ кодеков H.264 // Известия высших учебных заведений. Приборостроение. 2017. T. 60, № 11. С. 1092-1095.

14. Кулешов С.В. Гибридные кодеки и их применение в цифровых программируе-мых каналах передачи данных // Информационно-измерительные и управляющие системы. 2012. Т. 10, №5. С.41-45.

15. Vector Bank Based Multimedia Codec System-on-a-Chip (SoC) Design / R.-X. Chen, W. Zhao, J. Fan, A. Davari // 2009 International Symposium on Pervasive Systems, Algorithms, and Networks. 2009. P. 515-520. https://doi.org/10.1109/I-SPAN.2009.74.

16. Метод вычисления плотного оптического потока на ПЛИС в реальном времени / А.В. Братулин, М.Б. Никифоров, П.В. Беляков, Е.Ю. Холопов // Современные информационные технологии и ИТ-образование. 2019. Т.15, №2. С. 320-330. https://doi.org/10.25559/SITITO.15.201902.320-330.

17. Анализ динамики физиологического состояния продуктивных коров на основе видеомониторинга / В.Ю. Осипов, С.В. Кулешов, А.А. Зайцева, В.Н. Суровцев, В.В. Ачилов // Сельскохозяйственная биология. 2024. 59(6). С.1131-1144. https://doi.org/10.15389/agrobiology.2024.6.1131rus.

18. Комплексный подход к визуальной навигации по естественным ориентирам для БПЛА, работающих в условиях недоступности ГНСС / С.В. Кулешов, А.В. Кваснов, А.А. Зайцева, А.Л. Ронжин // Известия ЮФУ. Технические науки. 2025. №2. С.269-278.

19. Фахрутдинов Р.Ш., Мирин А.Ю. Изучение возможности использования векторов движения сжатого видеопотока для его идентификации // Труды учебных заведений связи. 2022. №8(1). С.57-64. https://doi.org/10.31854/1813-324X-2022-8-1-57-64.