Разработка и исследование системы прогнозирования отказов в информационных системах на основе методов машинного обучения

Цель исследования. Разработка и экспериментальное исследование системы прогнозирования отказов в информационных системах на основе методов машинного обучения (на примере однопользовательских баз данных Microsoft Access). Актуальность работы обусловлена отсутствием специализированных средств предиктивной аналитики для данного класса СУБД, что приводит к рискам неожиданных сбоев и потери данных в малом бизнесе и образовательной сфере. Задачи исследования: провести анализ теоретических основ и современных методов прогнозирования отказов; исследовать применимость ансамблевых методов машинного обучения; спроектировать модульную архитектуру системы мониторинга; разработать прототип для СУБД Microsoft Access; провести экспериментальную валидацию с оценкой качества классификации.
Методы. Ансамблевые методы машинного обучения (Random Forest, XGBoost, CatBoost): алгоритмы, строящие композиции из деревьев решений. Они характеризуются устойчивостью к переобучению, шуму и показывают высокую точность при работе с разномасштабными признаками. Для борьбы с дисбалансом классов применяется SMOTE (синтез примеров минорного класса) и взвешивание классов в функции потерь. Прогнозирование выполняется с горизонтом упреждения 24 часа.
Результаты. В результате проведённого программного моделирования с использованием машинного обучения: проведён анализ теоретических основ и современных методов прогнозирования отказов, выявивший дефицит доступных решений для класса СУБД; исследована применимость ансамблевых методов машинного обучения, которые выбраны в качестве базового алгоритма для разрабатываемой системы; спроектирована модульная архитектура системы, включающая сбор, анализ, визуализацию данных и генерацию предупреждений; разработан прототип системы для мониторинга СУБД Microsoft Access, реализованы ключевые функциональные компоненты; определены критерии оценки (полнота Recall ≥ 0,85, время упреждения 24 часа), позволяющие в дальнейшем провести валидацию системы. Экспериментально подтверждена принципиальная достижимость заданных критериев качества.
Заключение. Разработанная система отличается простотой, наглядностью и портативностью, что делает её пригодной для использования в учебных целях и в качестве основы для создания более сложных корпоративных решений. Практическая значимость подтверждается потенциалом предотвращения потерь данных в малом бизнесе, использующем базы данных Access. В отличие от существующих аналогов, предложенное решение не требует дорогостоящего инфраструктурного обеспечения и может быть развёрнуто на стандартном офисном оборудовании.

1. Уэст М., Винклер Р. Байесовское прогнозирование количества необнаруженных ошибок в базах данных // Статистика и вычисления. 1991. Т. 1, № 2. С. 89-98.

2. Mobley R.K. An Introduction to Predictive Maintenance. 2nd ed. Amsterdam: Elsevier Butterworth-Heinemann, 2002.

3. Jardine A.K.S., Lin D., Banjevic D. A review on machinery diagnostics and prognostics implementing condition-based maintenance // Mechanical Systems and Signal Processing. 2006. Vol. 20, no. 7. P. 1483-1510.

4. Machine learning for predictive maintenance: A multiple classifier approach / G.A. Susto, A. Schirru, S. Pampuri, S. McLoone, A. Beghi // IEEE Transactions on Industrial Informatics. 2015. Vol. 11, no. 3. P. 812-820.

5. Smith D.J. Reliability, Maintainability and Risk: Practical Methods for Engineers. 10th ed. Oxford: Butterworth-Heinemann, 2021.

6. O’Connor P.D.T., Kleyner A. Practical Reliability Engineering. 5th ed. Chichester: John Wiley & Sons, 2012.

7. A systematic literature review of machine learning methods applied to predictive maintenance / T.P. Carvalho, F.A.A.M.N. Soares, R. Vita, R.P. Francisco, J.P. Basto, S.G.S. Alcalá // Computers & Industrial Engineering. 2019. Vol. 137. Article 106024.

8. Шлезингер М.И., Главач В. Десять лекций по статистическому структурному распознаванию. Киев: Наукова думка, 2004. 547 с.

9. Breiman L. Random Forests // Machine Learning. 2001. Vol. 45, no. 1. P. 5-32.

10. Chen T., Guestrin C. XGBoost: A scalable tree boosting system // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco, 2016. P. 785-794.

11. CatBoost: unbiased boosting with categorical features / L. Prokhorenkova, G. Gusev, A. Vorobev, A.V. Dorogush, A. Gulin // Advances in Neural Information Processing Systems. 2018. Vol. 31. P. 6638-6648.

12. SMOTE: Synthetic minority over-sampling technique / N.V. Chawla, K.W. Bowyer, L.O. Hall, W.P. Kegelmeyer // Journal of Artificial Intelligence Research. 2002. Vol. 16. P. 321-357.

13. Liaw A., Wiener M. Classification and regression by random Forest method // R News. 2002. Vol. 2, no. 3. P. 18-22.

14. Scikit-learn: Machine learning in Python / F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, E. Duchesnay // Journal of Machine Learning Research. 2011. Vol. 12. P. 2825-2830.

15. McKinney W. Data structures for statistical computing in Python // Proceedings of the 9th Python in Science Conference. Austin, 2010. P. 56-61.

16. Raschka S. Python Machine Learning. Birmingham: Packt Publishing, 2015.

17. Goodfellow I., Bengio Y., Courville A. Deep Learning. Cambridge: MIT Press, 2016.

18. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. Vol. 9, no. 8. P. 1735-1780.

19. Attention is all you need / A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez, Ł. Kaiser, I. Polosukhin // Advances in Neural Information Processing Systems. 2017. Vol. 30. P. 5998-6008.

20. Lundberg S.M., Lee S.I. A unified approach to interpreting model predictions // Advances in Neural Information Processing Systems. 2017. Vol. 30. P. 4765-4774.

21. Ribeiro M.T., Singh S., Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco, 2016. P. 1135-1144.