Як розрахувати частотність слів: формули та приклад

01

Три способи виразити частотність

Абсолютна кількість відповідає на запитання, скільки разів трапилося слово. Відсоток ділить цю кількість на число проаналізованих слів. Частота на 1 000 виражає ту саму частку в зручнішому масштабі.

Нормалізація особливо корисна, коли коротка чернетка порівнюється з довгою опублікованою сторінкою.

02

Приклад розрахунку

У тексті з 500 проаналізованих слів термін «аналіз» трапився 8 разів. Його частка дорівнює 1,6%, а нормалізована частота — 16 на 1 000 слів.

В іншому тексті з 1 200 слів 12 входжень дають лише 1% або 10 на 1 000. Тому порівняння лише кількості може вводити в оману.

03

Токенізація та стоп-слова змінюють знаменник

До підрахунку потрібно визначити, що вважається словом. Інструмент уніфікує регістр, видаляє HTML і пунктуацію, не враховує числові токени та за потреби виключає стоп-слова.

Порівнюйте результати лише за однакових правил. Якщо в одному тексті стоп-слова виключено, а в іншому залишено, відсотки мають різні знаменники.

• Однакова мова обробки
• Однаковий список стоп-слів
• Однакове правило для чисел і пунктуації
• Однаковий рівень: слова або фрази

04

Як тлумачити частотність

Висока частота може відображати тему, жанр, шаблонні блоки або неприродний повтор. Низька частота не означає, що слово потрібно автоматично додати.

Частотність не є оцінкою якості чи ранжування. Використовуйте її разом із наміром, фактичною точністю, структурою та читабельністю.