Архив дипломных работ

Цель работы — исследование и разработка рекомендательной системы с использованием современных методов векторизации слов для статей из различных источников. Система собирает новые статьи с доверенных сайтов, а также прочие статьи, прошедшие модерацию, обрабатывает их, а затем — рекомендует пользователю в соответствии с внутренними правилами. Для рекомендаций используется векторизация документов, при которой каждый документ представляется в виде вектора в n-мерном пространстве (общем для всех документов). Вектора документов — результат обучения нейросетевой модели (техника Doc2Vec). После обучения с векторами документов возможно производить математические операции, например, найти ближайший к текущему вектор документа. При этом, «ближайший» в векторном пространстве документ будет близок к данному семантически. Именно на этом принципе и основана рекомендательная система.

В ходе работы проведён аналитический обзор современной научно-технической литературы, затрагивающей следующие проблемы: извлечение текстовой информации с веб-страниц, обработка и очистка текстовой информации, технологии векторизации слов, рекомендательные системы (в том числе — с использованием векторизации слов).

В первом разделе рассматриваются теоретические основы работы, методы извлечения и обработки текста, а также возможности создания рекомендательной системы с использованием современных нейросетевых методов.

Во втором разделе рассматриваются существующие инструменты для работы с текстом (обработка и подготовка). Исследуется время обучения модели Doc2Vec в зависимости от ряда параметров. Проектируется и разрабатывается рекомендательная система на основе техник векторизации.