Защита от ботов и парсинга - antiparser TALOS PRO

Антипарсер Talos PRO - программа защиты от несанкционированной нагрузки на сайт и защиты любого сайта от парсинга, защиты от ботов. Сайтов Битрикс, OpenCart, WordPress, Joomla, Magenta, PrestaShop защита от парсинга, защита от ботов

Антипарсер Talos PRO - это простой и легкий способ управления активностью на сайте без изменения кода сайта

Антипарсер защищает:

• От всех маркетинговых ботов (используемых конкурентами для расчета своих цен, остатков, ключевиков и др. задач, защищает от поставщиков, контролирующих РРЦ)
• От всех быстрых ПК парсеров, он-лайн парсеров - то есть фактически от основного объема тех несакционированных активностей, которые и создают проблемы в нагрузке и в конкуренции
• От продвинутых парсеров, требуя от них долгого поиска и подобора решения, которое также должно меняться во времени и в конечном счете высокой стоимости таких работ

Некоторые принципы защиты:

• Отсутствие закономерности в том, что получает бот. Как только бот обнаружен, вместо бана он получает или фейковый контент, или контент, перемешанный фейковым контентом и реальным, в установленном Вами соотношении. Или также дополнительно перемешанный кодами состояния HTTP (404б 403б 500 и пр.). В результате ответ становится случайным, и подобрать скрипт при отсутствии закономерности, практически невозможно
• Возможно использование капча, с установленным числом попыток для тех, кто замечен в нарушении, перед баном
• Анализ активности не только в коротких интервалах, но и в интервалах: час, полдня, день, неделя
• Возможна полная защита от доступа (подходит поставщикам), но при этом контент могут видеть и боты поисков, и использоваться для изучения клиентами. А вот парсить контент не получится без разрешения доступа
• Возможна защита админки по IP без сложных работ или прочих способов защиты, капчи и др.

Тестировался всеми популярными парсерами. Попробуйте и Вы отпарсить сайт: https://antiparser-talos-pro.extecom.com/

FAQ

Стоимость

Разработка такого решения для себя обойдется от 25 тыс. и гораздо выше (для прочих CMS). А также он-лайн сервисы защиты, которые дают функционал даже меньше, чем приведенный в этой программе, стоят от 3000 до 10000 RUB в месяц. Данное решение гораздо дешевле и того, и другого подхода, который на сегодня чаще всего используется

Меняется ли код сайта?

Нет. Данная программа подходит для любых сайтов на php. Код сайта не меняется. 

Индекс поисковиков

Никак не влияет на индекс. Поисковые боты не меняются уже минимум 10 лет. В антипарсере есть опция автоматических исключений, которая позволяет постоянно актуализировать список поисковиков, который пополняется на сервере программы. В любом случае, любое изменение со стороны поисковиков в части IP адресов ботов чревато для самих поисковиков масштабной потерей клиентов. Это не просто слова. Дело в том, что под данные об IP их ботов настроены сотни тысяч (если не миллионы) robots.txt, htaccess и множество других систем. Тем не менее, если поисковая система, вдруг, введет новый IP (а это случиться, если что-то очень серьезное случится), то такой новый IP достаточно добавить в лист исключений или он будет включен в лист автоматических исключений

Администрирование и автоматизация

Программа не является модулем по устройству и находится полностью на стороне сайта. Работает полностью автоматически. Имеет свою отдельную админку и может применяться на любой CMS с поддержкой php. Постоянного администрирования не требуется. Антипарсер работает автоматически. Есть режимы жесткой и мягкой работы. Жесткий контроль может применяться, если Ваш сайт используется для работы с заранее известными партнерами. Мягкий режим для ситуаций, когда нужно временно скидывать ботов, парсеры, которые нарушают параметры активности

Изменения в CMS

Антипарсер не меняет ничего в OpenCart. Ни портит дизайн, ни php-код – ничего не меняет, ничего никуда не вставляет. Верстку DOM сайта не микширует. Не используется база данных. Программа интегрирована в одной точке, делает проверку перед пуском основного фреймворка и в зависимости от того нарушитель или нет, пропускает запрос пользователя дальше, или работает с ним, как с нарушителем

Случайный бан клиентов

• для поставщиков товаров, когда нужно контролировать нагрузку и отдавать контент только реальным клиентам, в т.ч. и контролируя качество работы их парсера, случайного бана не может быть в принципе. Может быть только санкционированный
• для розничных магазинов, бан происходит только, если пользователь в конкретный период времени проявил нечеловеческую активность и при условии, что включен такой режим. Тем не менее, если нужно исключить случайные баны, например, ip-адрес в будущем окажется у другого пользователя, то рекомендуется использовать режим работы с временным баном и/или возврат из черного списка по проходу капчи (например, такой подход использует Google для ip адресов мобильных операторов связи и провайдеров с динамическими ip). В этом случае, любой человек результат получит, а вот бот, если IP всё еще у бота, так и останется в списке временного или постоянного бана

Подходы

Используются самые популярные подходы, но анализ идет не только в разрезе поведения пользователя в супер-короткие интервалы, но и по поведению пользователя вплоть до недели. Такой подход позволяет скидывать не только быстрые парсеры и ботов сразу, но и медленные парсеры, ботов, которые пытаются имитировать поведение людей, тем не менее перебирают активность, которую создаюь люди 

Время обработки

Время обработки по исключениям (для поисковых сетей и ip, которые могут быть добавлены в исключения) составляет от тысячных до сотых долей секунды (при списке исключений с тысячами записями). На скорость загрузки страницы не влияет

Гарантии

Ни одна программа (даже очень дорогая) не может дать гарантию 100% защиты. Если Ваш ресурс невероятно популярен и разработчики готовы потратить недели, десятки тысяч рублей (на чистын айпи-адреса), а конкуренты многие десятки и сотни тысяч на работу разработчиков, то сбор хоть каких-то данных организовать можно. Но данные будут собираться медленно (то есть нагрузки всё равно не будет), и откровенно говоря, обычно, так никто не делает и не сделает, если сервис не крупный. По этому можно точно утверждать, что антипарсер защитит:

• От быстрых парсеров – это подавляющее число тех, кто оказывает услуги по мониторингу чего-либо
• От ботов-мониторов цен и остатков где важен минимальный временной период между частями данных 
• От ботов, которые с непонятной целью создают регулярную нагрузку - сейчас их очень много
• От умных парсеров также, потому что, как уже было объяснено выше

Основные функции

• Защита от парсинга и защита от ботов на основе мониторинга разрешенной активности, черных список, временных банов и капчи
• Функция обмана парсера – подсовывание парсеру статических, заранее закешированных страниц, вместо актуальных данных, что делает не только бессмысленной парсинг Вашего сайта но и опасным с точки зрения качества данных, которые собирает сервис-бот
• Доступ к сайту по определенным IP (подходит для защиты входа в админку, входа клиентов поставщика)
• Установка разрешенных IP для парсинга (подходит для поставщиков, которым требуется установить IP-адреса клиентов, которым разрешен парсинг)
• Логирование всех процессов
• Автоматизация бана: автоматический временный бан
• Автоматизация бана: автоматическое пополнение  черного и/или серого списка
• Выбрасывание капчи с заданным числом попыток перед баном 
• Отчеты на почту
• Не требует постоянного редактирования - работает автоматически
• Уже загружены исключения для поисковых систем, список исключение легко пополняется
• Возможны исключения по языку или по содержанию заголовка AGENT у входящего сервера (например, для защита доступа к Вашему товарному API или при смысле с Вашими программами (1С и т.п.)
• Время обработки одного запроса от десятых до несколько миллисекунд (тысячных долей секунды - время указывается в логе)
• Ничего не меняет ни на хостинге, ни на сайте, ни в базе данных. Полностью свой код, который работает на стороне сайта

Видео защиты от парсинга популярного парсера DATACOL и типового он-лайн сервиса

Демонстрации

Пример защиты от ботов и парсинга сайта Opencart

Живая демонстрация защиты от ботов и парсинга сайта Opencart

Логин и пароль: demo

Пример защиты от ботов и парсинга сайта Prestahop

Живая демонстрация защиты от ботов и парсинга сайта Prestahop

Логин и пароль: demo

Совместимость и требования

• Работает на любых сайтах: защита от парсинга Joomla, WordPress, OpenCart, Bitrix
• php 5.4-7.2 (включительно)
• База данных не требуется
• IONCUBE
• Работает полностью на стороне хостинга, где установлен, не использует и не меняет код CMS или серверных приложений
• Совместим с OpenCart (всеми версиями), Magento (всеми версиями), Prestashop (всеми версиями), Joomla (всеми версиями), Wordpress (всеми версиями) и др. CMS, где возможно включение в основной исполняющий файл(ы) логики антипарсера без включением основной логики CMS  

Лицензия

• Стоимость указана за один домен без ограничений по времени. На второй скидка 25%
• Возможна пробная версия одна неделя бесплатно

Установка

Установка в течении нескольких минут, возможна установка нашими специалистами в рамках данной стоимости она бесплатна