Трёхуровневая токенизация для автоматического реферирования текста

Abstract

Автоматическое реферирование – это составление коротких изложений материалов, дайджестов, т. е. извлечение наиболее важных сведений из одного или нескольких документов и генерация на их основе лаконичных отчетов. В основе алгоритма лежит метод TF-IDF (от англ. TF - term frequency, IDF - inverse document frequency) – статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса.