Что такое N-граммы: униграммы, биграммы и триграммы

01

Как строятся окна N-грамм

Для фразы «анализ текста без догадок» униграммы — отдельные слова. Биграммы: «анализ текста», «текста без», «без догадок». Триграммы: «анализ текста без» и «текста без догадок».

Окна перекрываются и сдвигаются на один токен. При m словах существует m−n+1 окон длины n, если m не меньше n.

02

Что показывают разные значения n

Униграммы дают базовый словарь, но теряют порядок. Биграммы показывают короткие устойчивые сочетания. Триграммы и более длинные окна выявляют специфичные формулировки и повторяющиеся шаблоны.

С ростом n большинство последовательностей встречается один раз. Поэтому для длинных окон особенно важны фильтр минимального количества и достаточно большой исходный текст.

• n=1: отдельная лексика
• n=2: короткие фразы и локальный порядок
• n=3: более конкретные конструкции
• n=4–10: шаблоны, цитаты и повторяющиеся формулировки

03

Как стоп-слова влияют на последовательности

Есть два распространённых подхода. Можно сначала удалить стоп-слова и затем построить новые соседства либо строить окна по исходной последовательности и скрывать шумные строки. Второй подход не создаёт фраз, которых не было в тексте.

Инструмент сохраняет исходный порядок фразы и применяет фильтрацию к видимой таблице. Это важно при проверке точных формулировок.

04

Практические задачи и ограничения

N-граммы помогают находить повторяющиеся фразы, шаблонный текст, устойчивые термины, различия между редакциями и признаки для простых моделей. Они также полезны для проверки фразовой частотности.

Последовательности не понимают смысл и могут быть разреженными. Частая фраза не обязательно важна, а редкая — не обязательно отсутствует по ошибке. Интерпретируйте строки в контексте исходного текста.