Савенков Данила Сергеевич, студент,
бул. 50 лет Октября, д. 7, г. Брянск 241035.
Danila S. Savenkov, Student,
50 Let Oktyabrya Blvd. 7, Bryansk 241035.
Поздняков Семён Юрьевич, студент,
бул. 50 лет Октября, д. 7, г. Брянск 241035.
Semyon Yu. Pozdnyakov, Student,
50 Let Oktyabrya Blvd. 7, Bryansk 241035.
Кузьменко Александр Анатольевич, кандидат биологических наук, доцент кафедры «Компьютерные технологии и системы»,
бул. 50 лет Октября, д. 7, г. Брянск 241035.
Alexander A. Kuzmenko, Cand. of Sci. (Biological), Associate Professor of Computer Technologies and Systems Department,
50 Let Oktyabrya Blvd. 7, Bryansk 241035.
Филиппов Родион Алексеевич, кандидат технических наук, доцент, доцент кафедры «Компьютерные технологии и системы»,
бул. 50 лет Октября, д. 7, г. Брянск 241035.
Rodion A. Filippov, Cand. of Sci. (Engineering), Associate Professor, Associate Professor of Computer Technologies and Systems Department,
50 Let Oktyabrya Blvd. 7, Bryansk 241035.
Филиппова Людмила Борисовна, кандидат технических наук, доцент, доцент кафедры «Компьютерные технологии и системы»,
бул. 50 лет Октября, д. 7, г. Брянск 241035.
Lyudmila B. Filippova, Cand. of Sci. (Engineering), Associate Professor, Associate Professor of Computer Technologies and Systems Department,
50 Let Oktyabrya Blvd. 7, Bryansk 241035.
Целью работы является разработка структурированной модели для обучения нейронной сети на основе электронной энциклопедии.
Методы. В данной работе были использованы методы для анализа текстовых статей: 1) TF-IDF – это статистическая мера, используемая для оценки важности термов в документе относительно корпуса документов. Она вычисляет относительную важность термов, учитывая частоту их появления в документе или всем корпусе документов. TF-IDF позволяет выделить ключевые термины, которые характеризуют содержание каждого документа. 2) Кластеризация методом k-средних++ – это метод машинного обучения, применяемый для разделения объектов на группы (кластеры) на основе их сходства. Этот метод позволил создать новые категории статей на основе их содержания. 3) Метод t-SNE – это метод визуализации сложных многомерных данных в двух или трех измерениях.
Результаты. Анализ текстовых статей с использованием методов обработки естественного языка, таких как TF-IDF, и их кластеризация методом k-средних++ позволяют создать новые категории статей на основе их содержания. В данной работе был получен результирующий график кластеризации, который показал хорошо разделенные кластеры с высокой точностью.
Заключение. Для анализа уникальности триграмм в статьях были использованы значения TF-IDF. Триграммы были классифицированы на различные группы уникальности, что позволяет выявить области, где статьи содержат высокую уникальность триграмм. Комбинации различных групп уникальности могут указывать на разные тематические аспекты или контексты в текстах. Дополнительно, с помощью метода t-SNE был получен график кластеризации, который визуально выделяет новые категории статей. Этот график помогает наглядно представить структуру кластеров и их взаимное расположение в двух измерениях. Таким образом, исследование позволяет более глубоко понять и систематизировать содержание статей и выделить связи между ними.
Purpose of research is to develop a structured model for training a neural network based on an electronic encyclopedia.
Methods. In this work, methods were used to analyze text articles: 1) TF-IDF is a statistical measure used to assess the importance of terms in a document relative to the corpus of documents. It calculates the relative importance of terms, taking into account the frequency of their appearance in a document or the entire corpus of documents. TFIDF allows you to highlight the key terms that characterize the content of each document. 2) Clustering by k-means++ is a machine learning method used to divide objects into groups (clusters) based on their similarity. This method made it possible to create new categories of articles based on their content. 3) The t-SNE method is a method of visualizing complex multidimensional data in two or three dimensions.
Result. The analysis of text articles using natural language processing methods, such as TF-IDF, and their clustering by the k-means++ method allow you to create new categories of articles based on their content. In this paper, the resulting clustering graph was obtained, which showed well-separated clusters with high accuracy.
Conclusion. TF-IDF values were used to analyze the uniqueness of trigrams in the articles. The trigrams were classified into various uniqueness groups, which allows us to identify areas where articles contain high uniqueness of trigrams. Combinations of different uniqueness groups may indicate different thematic aspects or contexts in the texts. Additionally, using the t-SNE method, a clustering graph was obtained that visually highlights new categories of articles. This graph helps to visualize the structure of clusters and their mutual location in two dimensions. Thus, the study allows a deeper understanding and systematization of the content of articles and highlight the links between them.
The authors declare that there are no conflicts of interest present.