Онлайн Бот-сканер для OpenCart

Bots and Crawlers OnLine – це корисний модуль для OpenCart, який допомагає визначати, враховувати та відображати пошукових ботів, краулерів та інших автоматичних відвідувачів у стандартній системі відстеження онлайн-користувачів. Якщо вам важливо розуміти, хто саме знаходиться на сайті прямо зараз - реальні відвідувачі або роботи пошукових систем, - цей модуль робить таку аналітику набагато наочнішою та зручнішою.

Навіщо потрібний модуль

За промовчанням у звіті користувачів онлайн не завжди зручно відрізняти звичайних гостей від ботів. Через це статистика може бути менш прозорою: частина «відвідувачів» насправді виявляється пошуковими роботами, сервісними сканерами або індексаторами. Модуль вирішує це завдання, додаючи розпізнавання ботів по User-Agent, зберігаючи їхню назву та виводячи ці дані в адміністративній панелі.

Важливо: модуль не блокує роботів і не втручається в індексацію сайту. Його основне завдання – діагностика, облік та зручне відображення бот-трафіку у звіті онлайн-відвідувачів.

Основні можливості

• визначення ботів за рядком User-Agent;
• збереження імені виявленого бота у таблиці онлайн-відвідувачів;
• відображення бота у звіті Клієнти онлайн замість звичайного гостя;
• окремий підрахунок кількості роботів у dashboard-блоці онлайн-статистики;
• гнучке налаштування списку імен ботів через адмінку;
• підтримка логування User-Agent у файл для налагодження;
• автоматичне додавання потрібного поля bot_name до бази даних, якщо його ще немає.

Що саме робить модуль

Після встановлення модифікація розширює стандартний механізм фіксації онлайн-відвідувачів. При кожному зверненні до сайту модуль аналізує заголовок браузера або робота, порівнює його зі списком шаблонів і якщо знайдено збіг, записує ім'я бота. Далі ця інформація використовується у звітах та віджетах адміністративної панелі.

Модуль працює з такими даними

• IP-адреса відвідувача;
• ID покупця, якщо користувач авторизовано;
• поточний URL;
• Referer;
• дата та час відвідування;
• User-Agent;
• певне ім'я бота bot_name.

Які операції виконуються

1. Перевірка наявності поля bot_name у таблиці customer_online.
2. Автоматичне додавання цього поля за потреби.
3. Завантаження та використання списку сигнатур ботів із налаштувань магазину.
4. Порівняння User-Agent відвідувача зі списком шаблонів.
5. Запис результату до таблиці онлайн-відвідувачів.
6. Виведення імені робота в адміністративному звіті.
7. Підрахунок загальної кількості роботів в онлайн-статистиці dashboard.
8. Опціональний запис User-Agent до лог-файлу system/logs/useragents.log.

Переваги використання

• Чесніша статистика - ви бачите, скільки на сайті реальних відвідувачів, а скільки ботів.
• Проста діагностика індексації легко помітити активність Googlebot, YandexBot та інших систем.
• Зручне налаштування – список роботів можна редагувати вручну через стандартні налаштування.
• Корисно для SEO-аналітики можна швидше зрозуміти, як часто сайт відвідують пошукові роботи.
• Налагодження та контроль – логування допомагає виявляти невідомі User-Agent та додавати їх до списку.

Приклади застосування

Насправді модуль особливо корисний у тому випадку, коли адміністратор магазину помічає нестабільну онлайн-статистику чи хоче зрозуміти, чому у звіті багато гостей, але мало реальних дій. Найчастіше причиною виявляються роботи, сканери чи зовнішні сервіси аналізу.

• SEO-фахівець перевіряє, як часто сайт відвідує Googlebot або YandexBot.
• Адміністратор аналізує сплески онлайн-відвідувань та розуміє, що це не користувачі, а краулери.
• Розробник включає логування та знаходить нові User-Agent для подальшого додавання до списку розпізнавання.
• Власник магазину відокремлює реальний трафік від технічного та отримує більш зрозумілу картину активності на сайті.

Рекомендації щодо використання

Після встановлення варто перевірити список роботів у налаштуваннях та за необхідності доповнити його своїми значеннями. За замовчуванням модуль містить великий набір популярних сигнатур: пошукові системи, індексатори, аналізатори, парсери і різні автоматичні клієнти. Якщо ви працюєте з нестандартними сервісами моніторингу або корпоративними роботами, їх можна додати через символ поділу |.

Для первинної діагностики зручно тимчасово включити запис User-Agent у балку. Це допоможе побачити, які саме агенти приходять на сайт і при необхідності скоригувати шаблони розпізнавання. Після налаштування логування можна вимкнути, щоб не створювати зайві записи.

Порада: якщо ви регулярно займаєтеся SEO, технічним аудитом або аналізом серверного навантаження, цей модуль стане простим, але дуже корисним інструментом контролю бот-трафіку в OpenCart.

Підсумок

Bots and Crawlers OnLine - це невеликий, але практичний додаток для магазину на OpenCart, який робить стандартний звіт щодо відвідувачів онлайн набагато інформативнішим. Модуль допомагає швидко відрізняти людей від роботів, бачити назви ботів у звітах, відстежувати їх кількість та за необхідності вести логування. В результаті адміністратор отримує більш точну картину відвідуваності сайту та зручний інструмент для технічного аналізу.