МОДЕЛЬ ВИМІРЮВАННЯ
Косинусна подібність за явними векторами ознак
Інструмент оцінює перетин векторів ваг термінів. Bag of Words показує початковий лексичний перетин, а TF-IDF зменшує вплив термінів, спільних для обох документів.
Підсумкова оцінка нормалізує скалярний добуток за довжиною двох векторів. Тому важливий не лише обсяг, а й напрямок розподілу ваг.
Σ(aᵢ × bᵢ) ÷ (||a|| × ||b||)aᵢ × bᵢДІАГНОСТИКА
Переглядайте внесок термінів, а не лише одну оцінку
Два режими
BoW вимірює початковий перетин, TF-IDF враховує рідкість термінів.
Таблиця внеску
Показує ваги кожного спільного терміна та його внесок у підсумок.
Текст і URL
Вставлений текст обробляється локально, а URL — через публічний API.
Експорт
Збережіть оцінку й рядки перетину для додаткової перевірки.
ОБМЕЖЕННЯ
Лексична подібність не дорівнює тотожності змісту
Два тексти можуть використовувати однакові слова з різним значенням або висловлювати одну думку різною лексикою. Косинусна оцінка не замінює семантичну й фактичну перевірку.