01
Як будуються вікна N-грам
Для фрази «аналіз тексту без здогадок» біграми: «аналіз тексту», «тексту без», «без здогадок». Триграми: «аналіз тексту без» і «тексту без здогадок».
Вікна перекриваються й зсуваються на один токен. За m слів існує m−n+1 вікон.
max(0, m − n + 1)(кількість входжень ÷ усі вікна) × 10002
Що показують різні значення n
Уніграми дають базовий словник. Біграми показують короткі сталі сполучення. Триграми й довші вікна знаходять специфічні формулювання.
Зі зростанням n більшість послідовностей трапляється один раз, тому потрібні довший текст і фільтр мінімальної кількості.
- n=1: окрема лексика
- n=2: короткі фрази
- n=3: конкретні конструкції
- n=4–10: шаблони й повторювані формулювання
03
Як стоп-слова впливають на послідовності
Можна видалити стоп-слова до побудови вікон або зберегти початкову послідовність і приховати шумні рядки. Другий підхід не створює фраз, яких не було в тексті.
Інструмент зберігає початковий порядок і застосовує фільтрацію до видимої таблиці.
Результати не можна напряму порівнювати, якщо інструменти по-різному видаляють стоп-слова.
04
Практичні завдання й обмеження
N-грами допомагають знаходити повторювані фрази, шаблони, сталі терміни та відмінності між редакціями.
Послідовності не розуміють зміст. Тлумачте часті й рідкі рядки в контексті початкового тексту.
БЕЗКОШТОВНО · БЕЗ РЕЄСТРАЦІЇ
Побудуйте вікна потрібної довжини
Виберіть n від 1 до 10, налаштуйте стоп-слова й експортуйте повну таблицю.
Проаналізувати N-грами →