Алла Владимировна Олейникова, аспирант
кафедра "Прикладная информатика"
414056; ул. Татищева, д.16; Астрахань
Alla V. Oleynikova, Post-Graduate Stugent
Applied Informatics Department
414056; 16 Tatishcheva str.; Astrakhan
Ирина Олеговна Бондарева, кандидат технических наук, доцент,завкафедрой
кафедра "Прикладная информатика"
414056; ул. Татищева, д.16; Астрахань
Irina O. Bondareva, Cand. of Sci. (Engineering),Associate Professor, Head of Department
414056; 16 Tatishcheva str.; Astrakhan
Александр Александрович Олейников, кандидат технических наук, доцент
кафедра "Прикладная информатика"
414056; ул. Татищева, д.16; Астрахань
Aleksandr A. Oleynikov, Cand. of Sci. (Engineering), Associate Professor
Applied Informatics Department
414056; 16 Tatishcheva str.; Astrakhan
Цель исследования. В настоящей работе исследуется эффективность различных методов обработки пропущенных значений в датафреймах применительно к задачам предобработки данных в рамках предиктивной аналитики. В качестве тестовых данных используются три открытых датасета, которые содержат информацию о характеристиках зданий, метеорологических условиях и энергопотреблении.
Цель исследования состоит в выявлении наиболее эффективного метода для предобработки данных в процессе ETL для решения задач предиктивной аналитики.
Методы. В работе происходит объединение датафреймов из каждого датасета и анализ стандартных методов модуля Pandas, высокоуровневой библиотеки языка Python, таких как прямое присваивание, использование индексаторов, а также метод fillna со словарем. Кроме того, разработан модуль на языке Cython, С-подобном языке программирования, для оптимизации процесса заполнения пропущенных значений, произведена оценка производительности каждого метода.
Результаты. Результаты демонстрируют, что прямое присваивание является наиболее эффективным методом с точки зрения производительности в Pandas. Применение Cython, хотя теоретически и способно ускорить вычисления, в данном случае показало значительное снижение производительности из-за накладных расходов на преобразование данных и взаимодействие между Python и Cython. Профилирование кода подтвердило, что местом с недостаточной производительностью являются операции Pandas, а не выполнение Cython кода.
Выводы. Таким образом, для большинства задач ETL рекомендуется использовать оптимизированные методы Pandas, а Cython следует применять только в случаях критической необходимости повышения производительности и при тщательной оптимизации кода для минимизации накладных расходов, так как написание кода, аналогичного Pandas, потребует значительных ресурсов, в том числе и для его оптимизации, что в большинстве случаев является избыточным.
Purpose of research. This paper investigates the effectiveness of different missing value handling methods in dataframes for data preprocessing tasks in predictive analytics. Three open datasets containing information on building characteristics, meteorological conditions, and energy consumption are used as test data.
The goal of the study is to identify the most effective method for data preprocessing in the ETL process for solving predictive analytics problems.
Methods. The paper combines dataframes from each dataset and analyzes standard methods of the Pandas module, a high-level library of the Python language, such as direct assignment, the use of indexers, and the fillna method with a dictionary. In addition, a module in Cython, a C-like programming language, is developed to optimize the process of filling missing values, and the performance of each method is evaluated.
Results. The results demonstrate that direct assignment is the most effective method in terms of performance in Pandas. Using Cython, although theoretically capable of speeding up calculations, in this case showed a significant decrease in performance due to the overhead of data transformation and interaction between Python and Cython. Code profiling confirmed that the place with insufficient performance is Pandas operations, not Cython code execution.
Conclusion. Thus, for most ETL tasks, it is recommended to use optimized Pandas methods, and Cython should be used only in cases of critical need for performance improvement and with careful optimization of the code to minimize overhead, since writing code similar to Pandas will require significant resources, including for its optimization, which in most cases is redundant.
The authors declare that there are no conflicts of interest present.