Цель исследования. исследование подходов к генерации карт глубины для проверки и обучения глубоких нейронных сетей. Рассматривается проблема получения информации о расстоянии от камеры до объекта сцены по 2D-изображению при помощи глубоких нейронных сетей без использования стереокамеры.
Методы. Генерация 3D-сцен для обучения и оценки нейронной сети осуществлялась при помощи приложения 3D-компьютерной графики Blender. Для оценки точности обучения было использовано среднеквадратическое отклонение (СКО). Машинное обучение было реализовано при помощи библиотеки Keras, а оптимизация – с использованием подхода AdaGrad.
Результаты. Представлена архитектура глубокой нейронной сети, которая на вход получает три последовательности 2D-изображений из видеопотока 3D-сцены и выдает на выходе предсказанную карту глубины для рассматриваемой 3D-сцены. Описан способ создания обучающих наборов данных, содержащих информацию о глубине карты с использованием программного обеспечения Blender. Рассматривается проблема переобучения, заключающаяся в следующем: созданные модели работают на специально сгенерированных наборах данных, но все еще не могут предсказать правильную карту глубины для случайных изображений. Представлены результаты тестирования актуальных способов создания карт глубины с использованием глубоких нейронных сетей.
Заключение. Основной проблемой предложенного метода является переобучение, которое может быть выражено в прогнозировании некого среднего значения для разных изображений или предсказании одного и того же выхода для разных входов. Для решения данной проблемы могут быть использованы уже обученные сети или обучающие и вариационные выборки, содержащие 2D-изображения различных сцен.
Purpose of research is to study approaches to the depth map generation for deep neural networks testing and learning. The problem of obtaining information about the distance from the camera to the scenery object using a 2D image by means of deep neural networks without applying a stereocamera is considered.
Methods. Generation of 3D scenery for training and assessment of the neural network was carried out using the 3D-computer graphics application Blender. The standard deviation (RMS) was used to estimate the accuracy of learning. Machine learning was implemented using the Keras library and optimization was implemented using the AdaGrad approach.
Results. The architecture of a deep neural network which receives three sequences of 2D images from the 3D scenery video stream in the input and outputs the predicted depth map for the considered 3D scenery, is provided. The method for creating training data sets containing information about the depth of the map using Blender software is described. The problem of overtraining involving the fact that the created models work using specially generated data sets but still can not predict the correct depth map for random images is studied. The results of the testing actual methods for depth maps creation using deep neural networks are presented.
Conclusion. The main problem of the proposed method is overtraining which can be expressed in predicting a certain average value for different images or predicting the same output for different inputs. To solve this problem, we can use already trained networks or training and variation samples containing 2D images of different sceneries.
The authors declare that there are no conflicts of interest present.