МОДЕЛЬ ИЗМЕРЕНИЯ
Косинусное сходство по явным векторам признаков
Инструмент оценивает совпадение векторов весов терминов. Режим Bag of Words показывает исходное лексическое пересечение, а TF-IDF уменьшает влияние терминов, общих для обоих документов.
Итоговая оценка нормализует скалярное произведение по длине двух векторов. Поэтому важен не только общий объём, но и направление распределения весов.
Σ(aᵢ × bᵢ) ÷ (||a|| × ||b||)aᵢ × bᵢДИАГНОСТИКА
Изучайте вклад терминов, а не только одну оценку
Два режима
BoW измеряет исходное пересечение, TF-IDF учитывает редкость терминов.
Таблица вклада
Показывает веса каждого общего термина и его вклад в итог.
Текст и URL
Вставленный текст обрабатывается локально, а URL — через публичный API.
Экспорт
Сохраните оценку и строки пересечения для дополнительной проверки.
ОГРАНИЧЕНИЯ
Лексическое сходство не равно тождеству смысла
Два текста могут использовать одинаковые слова с разным значением или выражать одну мысль разной лексикой. Косинусная оценка полезна для проверки редакций и предварительного поиска дубликатов, но не заменяет семантическую и фактическую проверку.