CrystalWeb: Корректный учёт трафика в современном сетевом окружении

На заре Интернет всё было просто: есть доменное имя, есть страницы в формате HTML, иногда – изображения. С эволюцией сетевых ресурсов увеличивалось количество изображений, стали появляться динамические элементы, потом и сами страницы стали создаваться в динамике. Появились CSS, JavaScript, AJAX, CDN(Content Delivery Network - Сеть Доставки Содержимого), на страницах стали массово появляться самые разнообразные счётчики, системы статистики и веб-аналитики (к примеру, Google Analytics и Яндекс.Метрика). Широкое распространение получили сети контекстной рекламы (Google Adwords, Яндекс.Директ), системы single sign-on, кнопки социальных сетей и контент, создаваемый пользователями.

Значительная часть этих элементов принадлежит третьим лицам и запрашивается со сторонних ресурсов. Так, например, открытие единственной страницы CNN.com сгенерирует запросы на более полусотни внешних доменов:

Важно здесь то, что пользователь хотел открыть всего одну страницу – но в журнал, а потом и в отчёты попадает информация обо всех пятидесяти ресурсах! Более того, часть ресурсов может запрашиваться постоянно с самых разнообразных сайтов. Так, социальные кнопки Facebook и Twitter могут присутствовать на большинстве ресурсов, которые открыл пользователь. При анализе отчёта может создаться ложное представление о том, что человек весь день только и делал, что активно использовал социальные сети. Но это не так! Подобные запросы выполняются без участия пользователя и не несут для него никакой смысловой нагрузки. И если в журнал сетевого шлюза или прокси-сервера эти запросы должны сохраняться, то в отчёты, которые кладутся на стол ответственным за работу персонала, такие запросы попадать не должны.

Отчет без технологии CrystalWeb


Решение проблемы: ADVSoft CrystalWeb

Новая технология CrystalWeb, разработанная нашей компанией, позволяет практически полностью избавиться от «мусора» в отчётах. Одна открытая веб-страница будет корректно отображена как единственная страница, открытая пользователем.

Под капотом у CrystalWeb – обширная и постоянно обновляемая база данных, в которой мы собрали информацию об огромном количестве ресурсов, способных замусорить любой отчёт. В базу данных попали контентные и рекламные сети, самые разнообразные социальные кнопки, счётчики и аналитика – в общем, всё то, что загружается сайтом без ведома самого пользователя.

Что в результате? Конечный результат технологии – чистый, не замусоренный отчёт, в который включены только те доменные имена и страницы, которые пользователи действительно открывали в браузере.


Как меняется отчет при использовании CrystalWeb

Мы сделали CrystalWeb доступной для пользователей всех редакций ProxyInspector начиная с версии 3.8. База данных CrystalWeb обновляется автоматически при запуске ProxyInspector. Само обновление и доступно для всех пользователей, для которых продолжает действовать срок технической поддержки и бесплатных обновлений.

Пополнить базу данных CrystalWeb можно самостоятельно: новые URL можно добавить в базу данных CrystalWeb через контекстное меню при просмотре отчёта.

Bullet icon Изменения в ProxyInspector связанные с появлением CrystalWeb