01
Що таке модель Bag of Words?
Bag of Words, або BoW, представляє документ як набір слів і частот їх уживання. Модель зберігає відомості про те, які терміни трапилися та скільки разів, але не запам’ятовує граматику й початковий порядок слів.
Уявіть, що всі слова з речення висипали в мішок. Його вміст можна порахувати, проте відновити точне речення вже не вийде. Це головний компроміс методу: він втрачає синтаксис, натомість залишається простим і зрозумілим.
Bag of Words перетворює текст на вектор кількостей або ваг слів. Кожна позиція вектора відповідає одному терміну словника.
Числовий результат можна передати алгоритму машинного навчання. Його також легко перевіряти безпосередньо — редакторам, дослідникам і SEO-фахівцям, яким потрібно бачити лексику та частотний профіль тексту.
02
Як працює метод Bag of Words
Стандартний алгоритм складається з чотирьох кроків. Деталі попередньої обробки залежать від завдання, але основна логіка не змінюється.
Токенізація
Розділяємо кожен документ на слова або інші змістові одиниці — токени.
Нормалізація
Узгоджуємо регістр і за потреби прибираємо пунктуацію, стоп-слова або закінчення.
Створення словника
Формуємо єдиний список унікальних термінів у всій колекції документів.
Побудова векторів
Рахуємо, скільки разів кожен термін словника з’явився в кожному документі.
Зазвичай утворюється розріджений вектор: більшість позицій дорівнюють нулю, адже окремий документ містить лише невелику частину загального словника. Таке представлення зручне для обчислень навіть за тисяч різних термінів.
03
Токенізація та представлення Bag of Words
Розгляньмо два короткі документи:
Документ A “SEO tools analyze text”
Документ B “SEO tools compare text”
Після переведення в нижній регістр і токенізації спільний словник має такий вигляд:
[analyze, compare, seo, text, tools]Тепер документи можна подати векторами у фіксованому порядку:
Одразу видно, що документи мають три спільні терміни, а відрізняються одним дієсловом. Той самий принцип дає змогу порівнювати великі тексти, обчислювати їхню схожість і навчати класифікатори.
Вибір токенізації змінює результат
Форми «аналіз», «аналізу» й «аналізувати» залишаться різними ознаками без стемінгу або лематизації. Видалення стоп-слів зменшує шум, але надто агресивний фільтр може стерти корисні сигнали. Тому якісна реалізація дає змогу керувати обробкою, а не приховує її.
04
Ознаки Bag of Words: частоти, біграми та ваги
Ознака BoW — не обов’язково простий підрахунок одного слова. Представлення можна налаштувати відповідно до завдання.
Факт присутності
Фіксує, чи трапився термін хоча б один раз. Корисно, коли наявність важливіша за повтори.
Частота терміна
Зберігає кількість, нормований відсоток або входження на 1 000 слів, щоб порівнювати тексти різної довжини.
N-грами
Додають сполучення на кшталт «щільність ключів» або «пошуковий намір». Біграми зберігають невелику частину локального порядку слів.
Зважування TF-IDF
Зменшує вплив слів, поширених у всьому корпусі, та підсилює відносно характерні терміни.
Усі ці варіанти належать до підходу Bag of Words, бо створюють фіксований простір ознак із токенів або їхніх послідовностей. Відрізняється лише спосіб обчислення значення кожної ознаки.
05
Переваги та слабкі сторони Bag of Words
ПЕРЕВАГИ
Чому модель досі корисна
- Її легко реалізувати та пояснити
- Вона швидка на малих і середніх колекціях
- Кожну ознаку можна перевірити вручну
- Це сильна базова модель для класифікації й порівняння
- Вона практична для аналізу слів і n-грам
ОБМЕЖЕННЯ
Чого модель не розуміє
- Ігнорує більшу частину порядку слів і граматики
- Не розуміє значення та контекст
- Вважає синоніми непов’язаними ознаками
- Створює великі розріджені словники
- Погано працює з новими словами без додаткової обробки
Головна слабкість Bag of Words — семантична сліпота. Речення «собака наздогнав кота» і «кіт наздогнав собаку» містять однакові слова, тому уніграмне представлення може вважати їх однаковими, хоча значення різне.
06
Bag of Words і Word2Vec: у чому різниця
Обидва підходи перетворюють мову на числа, проте розв’язують різні завдання представлення.
Кількість або вага кожного терміна словника
Щільний навчений вектор для кожного слова
Не моделює семантичну схожість
Розміщує пов’язані слова ближче одне до одного
Висока: кожна ознака — видимий термін
Нижча: виміри вектора формуються під час навчання
Не потребує навчання ембедингів
Потребує відповідного текстового корпусу
Continuous Bag of Words (CBOW) — одна з архітектур навчання Word2Vec. Попри назву, CBOW не є класичним частотним представленням Bag of Words, описаним на цій сторінці.
07
Як використовувати Bag of Words для SEO-аналізу тексту
У SEO Bag of Words варто сприймати як діагностичний інструмент, а не формулу ранжування. Він показує, яку лексику сторінка насправді підкреслює, яких важливих фраз бракує та де повтори роблять текст неприродним.
Практичний аналіз порівнює частотність слів і біграм, нормує дані у відсотках або входженнях на 1 000 слів, дає змогу редагувати стоп-слова й зіставляє дві версії поруч. Розподіл Ципфа слугує додатковим орієнтиром: показує терміни, що трапляються значно частіше або рідше, ніж передбачає підібрана частотна крива.
На які запитання відповідає BoW-аналіз
- Які слова домінують після видалення стоп-слів?
- Чим чернетка відрізняється від конкурента або попередньої версії?
- Чи є в тексті контрольні фрази та яка їхня частота?
- Які біграми описують тему точніше за окремі слова?
- Чи не спотворює лексику повторюваний шаблон, меню або блок?
Сама частота не доводить релевантність або якість. Пошуковий намір, фактична користь, структура, оригінальність і читабельність усе одно потребують редакторського рішення. Цінність Bag of Words у тому, що одну частину такого рішення він робить вимірюваною та зручною для порівняння.
БЕЗКОШТОВНО · БЕЗ РЕЄСТРАЦІЇ
Спробуйте безкоштовний Bag of Words-аналізатор
Вставте текст або URL, відредагуйте стоп-слова, задайте контрольні фрази, перегляньте відсотки й порівняйте результат A з результатом B.
Відкрити безкоштовний аналізатор →