ЯК ПРАЦЮЄ РОЗРАХУНОК
Як рахуються N-грами
Аналізатор перетворює текст на нормалізовані слова, а потім будує перекривні вікна довжини n. За n=2 кожна сусідня пара стає біграмою, за n=3 — кожна послідовна трійка стає триграмою.
Знаменником є кількість вікон, а не окремих слів. Для тексту з m токенів існує m−n+1 можливих вікон довжини n.
(входження фрази ÷ кількість вікон) × 100(входження фрази ÷ кількість вікон) × 1 000НАЛАШТУВАННЯ
Вибирайте n і фільтрацію відповідно до завдання
Розмір N-грами
n=1 показує слова, n=2 — короткі фрази, n=3 і більше — специфічні послідовності.
Стоп-слова
Виключіть службовий шум або залиште його для точної поверхні тексту.
Мінімальна кількість
Приховайте одиничні вікна в інтерфейсі, зберігши повний експорт.
Текст і URL
Текст обробляється локально, а з URL витягується читабельний вміст.
ОБМЕЖЕННЯ
N-грами діагностують повторення, але не розуміють зміст
Таблиця показує поверхневі послідовності й локальний порядок слів. Вона не доводить пошуковий намір, семантичну повноту чи якість тексту.