РЕЗУЛЬТАТ
Стройте понятные векторы терминов
Генератор возвращает каждый проанализированный токен один раз вместе с количеством, относительной частотой, процентом и значением на 1 000 слов. При одинаковом языке и настройках стоп-слов повторные запуски дают воспроизводимые строки.
Позиция вектора соответствует видимому термину, поэтому каждое значение можно проверить по исходному тексту.
количество термина ÷ слов в анализе(количество термина ÷ всех слов) × 100РАБОЧИЙ ПРОЦЕСС
Используйте локальный режим для черновиков и URL для опубликованных страниц
Локальный текст
Вставленный материал анализируется сразу, без сетевого запроса.
Публичный URL
После очистки HTML применяется тот же контракт вектора.
Стоп-слова
Исключите служебные слова или оставьте их для полного словарного профиля.
CSV и JSON
Передайте полный вектор в скрипты сравнения, классификации или кластеризации.
ОГРАНИЧЕНИЯ
Вектор частот не моделирует значение слов
Bag of Words сохраняет термины и их веса, но теряет большую часть порядка, грамматики и контекста. Синонимы остаются разными координатами, а одинаковые слова считаются связанными независимо от смысла употребления.