Безопасность. Обзоры. Ноутбуки. Звуки и карты. Windows

AWStats (сокращение от Advanced Web Statistics) - инструмент веб-аналитики, позволяющий просматривать отчеты о статистике посещений вашего сайта. AWStats собирает и анализирует информацию в логах сервера и предоставляет полученные данные в виде таблиц и графиков.

С помощью AWStats можно получить подробную информацию о количестве посещений, их продолжительности, числе уникальных пользователей, географии посетителей, версиях их браузеров, наиболее популярных страницах сайта, поисковых системах и ключевых словах, по которым пользователи находили ваш сайт, и многом другом.

Дополнительную информацию о приложении можно получить на .

Установка AWStats

Установить приложение AWStats вы можете в разделе "Логи " панели управления.

Для этого выберите домен сайта, для которого необходимо производить анализ статистики, включите лог доступа (access_log) и нажмите на кнопку "Установить AWStats". Приложение будет установлено автоматически и доступно по адресу http://ваш_домен.ru/awstats/.

В качестве реквизитов входа в AWStats необходимо использовать логин и пароль для доступа в панель управления аккаунтом.

Для переключения в русскоязычный интерфейс AWStats необходимо внести изменения в файл конфигурации awstats.conf. Вы можете сделать это с помощью подключения по или .

Путь расположения файла:

/home/u/user/имя_папки_сайта/public_html/awstats/awstats.conf

где u и user - первая буква вашего логин и сам логин.

(При установке приложения папка awstats автоматически создается в директории public_html нужного сайта).

В указанном файле awstats.conf найдите параметр Lang="auto" и замените его на Lang="ru" . Сохраните изменения, после чего обновите страницу с AWStats.

Рассмотрим, какие сведения можно получить из отчетов AWStats.

Наверху страницы указано время последнего обновления представленных данных; ссылка "Обновить сейчас" / Update now позволит загрузить актуальную на текущий момент информацию.

Здесь же вы можете выбрать интересующий вас отчетный период.


Слева находится меню навигации по разделам, каждый из которых содержит различные статистические показатели.

Общее / Summary

В данном разделе можно просмотреть следующую информацию за выбранный месяц:

  • Уникальные посетители / Unique visitors
    Число уникальных IP-адресов, с которых осуществлялись запросы к сайту за выбранный период.
  • Количество посещений / Number of visits
    Общее количество посещений сайта за выбранный период. Под посещением в данном случае подразумевается "сессия", когда уникальный пользователь обращается к различным страницам сайта в течение часа (все просмотренные им в течение часа страницы будут "суммированы" в одно посещение).
  • Страницы / Pages
    Число просмотренных пользователями страниц (сюда относятся, как правило, файлы HTML, PHP, ASP). Запросы к отдельно загружаемым файлам, например, картинкам, не учитываются.
  • Запросы / Hits
    Число всех запросов к страницам и файлам сайта.
  • Объем / Bandwidth
    Общий объем данных (в байтах), переданных посетителям.

Когда / When

Здесь можно просмотреть данные по перечисленным выше параметрам за разнообразные периоды.

  • История за месяц - представлены сведения по всем месяцам года.
  • День месяца - сведения по каждому дню.
  • Дни недели - средние показатели по дням недели в выбранном периоде.
  • Часы - средние показатели каждого часа (на основе средних значений за выбранный месяц).

Кто / Who

Раздел позволяет просмотреть:

  • Страны - географию пользователей (страны, из которых пользователи заходят на ваш сайт).
  • Хосты - список IP-адресов, с которых производились запросы.
  • Роботы/пауки - список поисковых роботов (пауков), индексировавших сайт.

Навигация / Navigation

Содержит следующие сведения:

  • Продолжительность визитов - количество посещений разной продолжительности (например, менее 30 секунд, от 30 сек. до 2 минут, от 15 до 30 мин. и др.). Продолжительность визита может быть отмечена как "Неизвестная" в случае, если посещение не было завершено к моменту очередного обновления статистики, или же посещение было начато в последний час суток последнего дня месяца (техническое ограничение на стороне AWStats).
  • Тип файла - типы файлов, к которым чаще всего осуществляются запросы (с указанием процентного соотношения).
  • Downloads - список загруженных с сайта файлов.
  • Просмотры - чаще всего просматриваемых страницах (вкладка "Просмотров" / Viewed).
  • Вхождение и Выход - страницы входа и выхода с сайта.
  • Операционные системы и Браузеры пользователей.

Рефереры / Referrers

  • Происхождение / Origin - содержит информацию о путях перехода на сайт (по прямой ссылке, ссылкам из поисковых систем, ссылкам на других сайтах).
  • Поиск / Search - ключевые слова и фразы, по которым ваш сайт находили в поисковых системах.

Остальные / Others

  • Смешанные / Miscellaneous - содержит различные данные, не относящиеся ни к одной категории выше; например, сведения об используемых браузерами посетителей плагинах и поддержке различных технологий (java, flash, quicktime и др.).
  • Статусы ошибок HTTP / HTTP Status codes - информация об ответах сервера на запросы посетителей.
  • Список ненайденных страниц (ошибка 404).

Изучение статистики поможет избежать серьёзных проблем с сайтом, например, позволит узнать с каких IP идут атаки ботов, на какие страницы приходится максимальная нагрузка и прочее. Много данных помогает получить Метрика, но для изучения логов нужен глубокий анализ статистики сайта и тут не обойтись без Awstats, благо большинство хостингов дают возможность поставить программу прямо в панели управления.

Установка Awstats на хостинге

У себя на хостинге Спайс Веб для установки Awstats мне надо:

  1. - Зайти в панель управления хостинга,
  2. - Кликнуть по иконке «лог файлы»,
  3. - Включить сначала логи, потом установить учёт статистики (скрин).

Внимание – Awstats не работает при выключенных логах , так как она берёт статистику из них и анализирует её, сам софт сбором данных не занимается – дело не царское. Логи будут храниться в корне сайта, по мере их устаревания лишние папки можно удалять, а статистика станет доступна по адресу сайт.ру/awstats.

Изучение статистики Awstats

Полный список позиций статистики я расписывать не буду, тут можно потратить пару минут старым дедовским способом «тыка», скажу только об основных моментах. Автоматом статистика обновляется раз в сутки, но можно и помочь в этом, обновив её вручную вверху страницы, нажав «обновить сейчас».

В первую очередь лично меня интересует раздел «хосты», в котором можно узнать все входящие IP и вычленить из них не нужных ботов, создающих нагрузку на сервер . Со строкой «полный список» всё ясно, интересен пункт «неразрешённый IP», так как он показывает адреса, для которых доменное имя не было получено. Обычно все вредители водятся тут и надо только вычленить самые массовые адреса, проверить их на принадлежность ботам систем поиска и закрыть для доступа в htaccess.

## USER IP BANNING

order allow,deny

deny from 98.187.16.59 (пример ip)

Смотрите нагрузку не только по числу входов, но и по объёму.

Для проверки принадлежности IP посмотрите логи посещений access_log нет ли там в строке входа Yandexbot или прочих нужных роботов, иначе вы закроете индексацию сайта для какой-либо поисковой системы.

Остальное можно узнать в Метрике, хотя дело барское, было бы что анализировать.

Awstat — программа для построения статистики по логам. Чаще всего он используется для анализа логов Apache и nginx. Написан он на perl, а по предоставляемой информации, является одним из самых лучших.
Поставим его из портов:

mkdir /usr/local/etc/awstats/

Теперь скопируем шаблон конфига:

LogFile="/var/log/httpd/mylog.log"

И правим на путь к вашему лог файлу. Удобней всего работать после того, как логфайл отротейтится и статистику строить по окончании дня. Поэтому если у вас лог файл сразу ужимается с помощью gz, то нужно указать так:

LogFile="/var/log/nginx/hilik_access.log.1"

Строка определяющая с каким типом лога мы работаем, для вебсервера указываем:

Она говорит awstats, что лог файл у нас в формате Apache combined и совпадает с nginx main форматом.

SiteDomain="сайт"

Внесите сюда основное имя вашего вебсайта. И в НostAliases, добавьте все имена, под которыми могут еще попадать на ваш сайт.

Она указывает awstatу делать преобразование адресов в имена используя кеш файл. Это делает работу awstats пошустрей, один раз обратившись к DNS, он запишет в файл преобразование и будет в дальнейшем реже обращаться к DNS серверу.
В следующей строке мы указываем в каком каталоге у нас будут находится результаты работы awstats, точнее промежуточные результаты, база посещений и тп. То на основе чего awstats сгенерирует в дальнейшем отображаемую статистику.
Я как правило размещаю ее там же, где и саму статистику.

DirIcons="http://www.сайт/awstatsicons/"

На этом фактически работа с файлом настройки завершена.
Теперь нужно сделать так, что бы awstatsicons был доступен.
Сделать это можно двумя способами. Первый простейший, поставить симлинку или просто скопировать в директорию вебсайта директорию с иконками awstats. Или решить этот вопрос с помощью Alias Apache или alias nginx.
Для Apache настройки Alias появляются в post install message при установке порта awstats.
Выглядят они так:

Alias / awstatsclasses "/usr/local/www/awstats/classes/" Alias / awstatscss "/usr/local/www/awstats/css/" Alias / awstatsicons "/usr/local/www/awstats/icons/"

Alias /awstatsclasses "/usr/local/www/awstats/classes/" Alias /awstatscss "/usr/local/www/awstats/css/" Alias /awstatsicons "/usr/local/www/awstats/icons/"

Для nginx они же будут выглядеть так:

location / awstatsclasses/ { alias / usr/ local/ www/ awstats/ classes/ ; } location / awstats-icon/ { alias / usr/ local/ www/ awstats/ icons/ ; } location / awstatscss/ { alias / usr/ local/ www/ awstats/ css/ ; }

location /awstatsclasses/ { alias /usr/local/www/awstats/classes/; } location /awstats-icon/ { alias /usr/local/www/awstats/icons/; } location /awstatscss/ { alias /usr/local/www/awstats/css/; }

Эти строки нужно разместить в настройках виртуального хоста, того, для которого мы строим статистику.
Теперь нужно указать что индексом директории со статистикой будет совсем не index.html или index.php, а awstats.сайт.html, именно под таким именем будет генерировать статистику awstats.
Для Apache:

location /awstats/ { root /usr/local/www/сайт/; index awstats.сайт.html; }

Теперь остается сделать скрипт который будет генерировать статистику.
Выглядит он так:

#!/bin/sh / usr/ local/ www/ awstats/ tools/ awstats_buildstaticpages.pl -lang =ru -config =сайт -dir =/ usr/ local/ www/ сайт/ awstats -update

#!/bin/sh /usr/local/www/awstats/tools/awstats_buildstaticpages..org.ua/awstats -update

И поставить на cron.

15 0 * * * / root/ bin/ stats.sh

15 0 * * * /root/bin/stats.sh

На этом настройка завершена.

Каждый системный администратор должен время от времени просматривать логи серверов. Чтобы сделать эту работу более приятной и удобной можно использовать программу AWStats. AWStats позволяет в удобном графическом виде просматривать логи web, ftp, mail и потоковых видео серверов. На самом деле, awstats можно обучить разбирать логи любых серверов, только надо грамотно написать правила конфигурации awstats. В этой статье будут приведены примеры конфигов для снятия статистики с логов web и ftp серверов.

Установка AWStats

Для корректной работы AWSats потребуется http сервер с поддержкой выполнения скриптов. Я рекомендую использовать , т.к. сами разработчики AWStats в документации по настройке приводят изменения конфигов данного http сервера. Так что первой задачей для нас и будет научить AWStats разбирать логи apache сервера.

Обновите ваши репозитории до последних версий, чтобы программа AWStats была наиболее свежей. На сегодняшний день самой свежей стабильной версией является 6.95. Не знаю как сейчас, а лет 5 назад в проекте AWStats находили серьезные критические уязвимости в плане безопасности.
После установки программы желательно для просмотра статистики.
Для ubuntu установка сводится к простому

Sudo aptitude install awstats

Для установки программы из исходников, скачиваем программу с и распаковываем архив в какую-нибудь папку ОС. Я рекомендую распаковать в /usr/local/awstats .
После распаковки выдаем права владельцу/группе, например в linux root/root

#chown -R root:root /usr/local/awstats

Настройка конфигов хостов AWStats

Настройка конфига для web сервера apache

  • Проверяем наличие каталога , если его нет то создаем его
  • Копируем заготовку /usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf в каталог и переименовываем файл awstats.model.conf в awstats.youdomain.conf . Для данного сайта файл будет называться awstats.сайт.conf .
  • Меняем следующие строки в конфиге
#путь к лог файлу apache LogFile=" /usr/local/apache/logs/access_log" #имя домена SiteDomain="youdomain.com" #псевдонимы сайта по которым можно к нему обратиться HostAliases="www.youdomain.com localhost 127.0.0.1" #директория, где будет храниться статистика. DirData="/var/lib/awstats/web" #каталог для иконок файлов статистики DirIcons="/awstatsicons" #следующая переменная для обновлении статистики через web интерфейс AllowToUpdateStatsFromBrowser=1

Остальные переменные оставляете на свое усмотрение..

После редактирования от root или sudo запускаем сбор статистики, например для конфига моего сайта

Perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=сайт -update

В результате должны получить примерно следующее

Create/Update database for config "/etc/awstats/awstats.сайт.conf" by AWStats version 7.0 (build 1.... Phase 1: First bypass old records, searching new record... Searching new records from beginning of log file... Phase 2: Now process new records (Flush history on disk after 20000 hosts)... Jumped lines in file: 0 Parsed lines in file: 72782 Found 97 dropped records, Found 0 comments, Found 0 blank records, Found 1 corrupted records, Found 0 old records, Found 72684 new qualified records.


В каталоге, который вы указали в переменной DirData появятся файлы статистики по месяцам.

Настало время просматривать статистики через web интерфейс, но сначала потребуется внести изменения в httpd.conf apache сервера. Дописываем в конец httpd.conf строки

#begin awstats Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/" Alias /awstatscss "/usr/local/awstats/wwwroot/css/" Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/" ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/" Options None AllowOverride None Order allow,deny Allow from all #end awstats

После изменений обязательно перезапускаем сервер apache и теперь можно в браузере набрать http://имя_сервера/awstats/awstats.pl?config=youdomain
Если по каким-то причинам появляется ошибка "403", то внимательно смотрим на права каталогов/подкаталогов awstats и каталога статистики в переменной DirData .

Чтобы обновлять статистику из web интерфейса требуется выставить владельца на папку DirData от кого запускается сервер http.
Для сбора ежедневной статистики занесите команду с crontab одной строкой

55 23 * * * /usr/bin/perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=сайт -update 1> /dev/null 2>&1

Настройка конфига для ftp сервера proftpd

Сбор статистики с FTP серверов будет немного посложнее. Лог файл статистики должен быть в строго определенном формате. Для сервера proftpd в конфиге должны быть следующие строки

# Между знаками "%" должна быть табуляция, а не пробелы! LogFormat awstats "%t %h %u %m %f %s %b" ExtendedLog /var/log/xferlog read,write awstats

Если вы изначально настраивали сервер proftpd по статье , то менять ничего не надо.
Файл конфига в для сбора статистики с proftpd должен выглядеть примерно так - .
Изменяем название конфига и перемещаем его в . В конфиге измените переменные по принципу как в конфиге web статистики

LogFile= SiteDomain= HostAliases= DirData= DirIcons="/awstatsicons" AllowToUpdateStatsFromBrowser=1

Делаем ручной прогон статистики командой, подставив имя своего конфига

Perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=ftpdomain.com -update

Можно заходить в статистику через браузер http://имя_сервера/awstats/awstats.pl?config=ftpdomain.com

Проблемы и вопросы при установке AWStats

Если у вас что-то не получается сделать по данной статье внимательно прочитайте этапы установке на
А для всех остальных вопросов есть .

Статья просмотрена 36 393 раз

Сейчас, когда вы читаете эти строки, миллионы пользователей ищут в Internet решение или ответ на вопрос. Те слова, которые они введут в поисковую систему, будут определять результаты поиска, возвращаемые в виде соответствующих ссылок, которыми они затем смогут воспользоваться. Если слова, определяющие критерии поиска, были введены правильно, нужный Web-сайт окажется в списке, возвращаемом пользователю поисковой системой, если же ввод слов был осуществлен некорректно, то нет. Знаете ли вы, какие ключевые слова вводились пользователями ранее для того, чтобы найти ваш Web-сайт? Известно ли вам, какие ключевые слова наиболее часто служат им указателями на него?

Хотя инструменты анализа данных Web существуют уже довольно давно, я до сих пор не перестаю удивляться. Возможности механизмов поиска информации и разбиения данных, реализованные в современных пакетах анализа Web-данных, действительно поразительны. Хотите узнать, как ваши клиенты находят вас? Ознакомьтесь с результатами анализа журнала Web-сайта и найдите, какие ключевые слова используют клиенты, для того чтобы выйти на ваш сайт. Нужно выяснить, какой тип операционной системы чаще всего встречается на компьютерах посетителей сайта (Windows 2000, Windows 98, Apple Computer Mac OS X или Linux). Программы анализа Web могут быстро предоставить такую информацию. Все это хорошо, но что делать, если бюджет компании не позволяет закупить программное обеспечение подобного типа? На такой случай в сообществе open source существует исключительно мощное средство анализа данных Web, которое может работать под управлением Windows.

Первая версия программы AWStats была разработана Лораном Дестелем, специалистом по компьютерам из Парижа. Она появилась в мае 2000 года. Дестелю было необходимо получать регулярные отчеты по статистике Web-данных компании, а поскольку требовалось приложение, имеющее большие возможности, чем те программы с открытым кодом, которые были доступны на тот момент в имеющихся источниках, он создал собственный пакет. Затем, в октябре 2000 года, Лоран разместил исходный код своей программы на языке Perl на SourceForge.net, после чего этот проект начал постоянно расширяться и совершенствоваться. В результате на сегодня продукт AWStats дорос до версии 6.2 и является на данный момент исключительно надежным и достоверным средством анализа данных журналов. AWStats способен функционировать в режиме командной строки, но может использоваться и как интерактивный компонент для Microsoft Internet Information Server (IIS). Данный продукт обеспечит создателей Web-сайта исчерпывающей информацией о том, кто посещает его.

Для того чтобы продемонстрировать процедуру установки пакета AWStats, я использовал Windows 2000 Server с принятыми по умолчанию настройками IIS. Таким образом, путь к Web-сайту, который будет анализироваться, соответствует C:Inetpubwwwroot, а файлы журналов размещаются в стандартном каталоге C:WINNTSystem32LogFiles.

Шаг 1. Настройка IIS

Единственное, что нужно настроить в IIS, это формат файлов журнала. Принятый в IIS по умолчанию формат журнала не обладает достаточной информативностью для AWStats, поэтому требуется настроить IIS так, чтобы он сохранял файлы журналов в расширенном формате консорциума World Wide Web (W3C). Это делается следующим образом. Следует запустить оснастку Internet Information Services консоли MMC (Microsoft Management Console) и щелкнуть правой кнопкой мыши по значку того Web-сайта, настройки параметров журналов которого необходимо изменить, и выбрать пункт Properties. В диалоговом окне Default Web Site Properties из выпадающего списка Active log format нужно выбрать пункт W3C Extended Log File Format. Затем требуется щелкнуть кнопку Properties, в результате чего откроется диалоговое окно Extended Logging Properties. Убедитесь, что в данном окне выбраны следующие параметры:

  • cs-username
  • cs-method
  • cs-uri-stem
  • cs-uri-query
  • sc-status
  • sc-bytes
  • cs-version
  • cs(User-Agent)
  • cs(Referer)

Никаких других параметров выбирать не следует. Это связано с тем, что для работы AWStat требуется специфический формат данных, поэтому любые отклонения от указанных требований могут привести к непредсказуемым результатам.

Чтобы убедиться, что все файлы журналов имеют корректный формат, следует удалить или заархивировать все существующие файлы журналов, которые были сгенерированы сервером IIS ранее. Если в данный момент сервер IIS работает, то удалить текущий файл журнала будет невозможно, поскольку он в настоящее время используется. В этом случае следует просто остановить на данной системе службу World Wide Web Publishing, удалить соответствующий файл, после чего вновь запустить службу.

Шаг 2. Установка ActivePerl и AWStats

Для того чтобы можно было задействовать AWStats, необходимо установить на данный компьютер пакет Active Perl от ActiveState и сам пакет AWStats. Active Perl можно загрузить с сайта ActiveState по адресу: http://www.activestate.com/ products/activeperl . На момент написания статьи существует две версии данного продукта, ActivePerl 5.8.6 и ActivePerl 5.6.1. На мой взгляд, версия ActivePerl 5.6.1 прекрасно работает с пакетом AWStats и обеспечивает наилучшую совместимость с некоторыми другими программными средствами на языке Perl, представленными в сообществе open source. Поэтому, если планируется использовать в работе какие-либо еще Perl-приложения с открытым кодом, я рекомендовал бы установить ActivePerl версии 5.6.1. Однако для тех, кто предпочитает иметь последние версии, отмечу, что AWStats будет работать и с ActivePerl 5.8.3.

Для того чтобы установить ActivePerl, потребуется Windows Installer. Процесс установки ActivePerl несложен, единственное, что можно выбрать, - это путь к каталогу установки. Я рекомендую устанавливать ActivePerl в тот же каталог, в который по умолчанию устанавливается пакет AWStats, а именно в каталог C:Program FilesAWStats.

После установки ActivePerl нужно загрузить основной дистрибутивный комплект AWStats с сайта проекта SourceForge.net (адрес: ). В данном комплекте имеется исполняемый файл, управляющий процессом установки, поэтому процедура загрузки достаточно проста. После того как вы загрузили дистрибутив AWStats, нужно просто запустить файл с расширением «.exe» и согласиться с предлагаемым по умолчанию каталогом установки. По завершении установки приложение будет находиться в каталоге C:Program FilesAWStats.

Шаг 3. Настройка AWStats

В процессе установки AWStats запускает собственную программу настройки, которая представляет собой Perl-приложение, запускаемое в окне командной строки. В первую очередь, как показано на экране 1, программа настройки попросит указать путь к файлу конфигурации Web-сервера. Это связано с тем, что данная программа допускает использование Web-сервера, который хранит свои параметры в текстовом файле (например, сервер Apache). Но поскольку в данном случае используется сервер IIS, который подобным образом не настраивается, в этом окне следует ввести none.

Экран 1. Первое окно программы настройки AWStats

После попытки настроить Web-сервер данная программа поэтапно проведет пользователя через процедуру построения основного шаблона для Web-сайта. В первую очередь, как показано на экране 2, будет задан вопрос, хотите ли вы создать новый файл конфигурации для AWStats. Следует ответить Yes. Затем программа попросит указать имя того Web-сайта, который предстоит анализировать. В данном примере я выбрал в качестве имени Web-сайта www.toombspartners.com доменное имя Web-сайта вымышленной организации Toombs Partners. Программа использует это имя в качестве имени соответствующего файла конфигурации, поэтому в данном случае файл конфигурации будет называться awstats.www.toombspartners.com.conf.

На завершающей стадии программа настройки сообщит, что она не сможет автоматически создать задачи, выполняемые по расписанию (scheduled tasks), поскольку пакет AWStats установлен на сервер с операционной системой Windows. Этими вопросами мы займемся, когда будем выполнять шаг 7, поэтому сейчас нужно просто согласиться с данным сообщением, после чего программа настройки завершит свою работу. Параметры конфигурации, сформированные в этом процессе, сохраняются в соответствующем файле конфигурации: C:Program filesAWStatswwwrootcgi-binawstats.www.toombspartners.com.conf.

Теперь требуется выполнить несколько дополнительных настроек, поэтому следует открыть файл конфигурации с помощью Notepad или другого текстового редактора. Первый параметр, который следует изменить, - это путь к файлам журналов. AWStats по умолчанию использует путь /var/log/httpd/mylog.log, ориентированный на UNIX-системы, поэтому в качестве разделителя здесь применяется символ прямого (/), а не обратного () слэша. Найдите в файле конфигурации параметр LogFile, который выглядит следующим образом:

LogFile=»/var/log/httpd/mylog.log»

Замените значение «/var/log/httpd/mylog.log» на описание пути по умолчанию к файлам журналов вашей системы. Если IIS устанавливался с параметрами по умолчанию, тогда здесь нужно указать «C:/WINNT/System32/LogFiles/W3SVC1/ex%YY-24%MM-24%DD-24.log». Этот параметр предписывает программе AWStats выполнять в каталоге C:WINNTSystem32

LogFilesW3SVC1 поиск файлов, имена которых начинаются с ex, заканчиваются на.log, а в середине имеют две цифры, обозначающие год, две цифры, обозначающие месяц, и две цифры, обозначающие день. Это соответствует принятому по умолчанию соглашению для имен файлов журналов IIS. Если вы используете какое-либо другое соглашение об именах либо если файлы журналов хранятся в каталоге с именем, отличным от W3SVC1, то в этом случае нужно соответствующим образом изменить и параметр LogFile.

Затем следует изменить значение параметра LogFormat, который определяет для AWStats тип журнала регистрации событий. По умолчанию здесь устанавливается значение 1, но для Web-сайта, построенного на базе IIS, правильным значением будет 2.

Кроме того, необходимо отредактировать параметры SiteDomain и HostAliases, с помощью которых, соответственно, определяется, каким образом надлежит ссылаться на данный сайт извне и каковы внутренние ссылки для этого Web-сайта. В качестве параметра SiteDomain нужно указать основное доменное имя своего сервера или основное имя сайта в корпоративной сети. Параметр HostAliases следует отредактировать таким образом, чтобы он содержал другие допустимые доменные имена, адреса или имена виртуальных хостов, которые могут использоваться в качестве внутренних ссылок на данный сайт.

Шаг 4. Запуск AWStats

Итак, предположим, что все предыдущие шаги были выполнены верно и теперь можно предпринять первый пробный запуск AWStats. Однако, прежде чем это сделать, следует понять, как работает данная программа.

При работе с пакетом AWstats мы используем два основных его компонента, а именно программу анализа и программу построения отчетов. Вся математическая обработка числовых данных выполняется программой анализа, задачей же программы построения отчетов является преобразование результатов анализа к виду интуитивно понятных отчетов в формате HTML.

AWStats в полном объеме обрабатывает информацию по зарегистрированным событиям, поступающую от многих Web-сайтов, а результаты статистического анализа данной информации заносит в файл своей внутренней базы данных. Соответственно, когда мы снова запускаем программу AWStats, ей не требуется повторно анализировать ранее обработанные данные. Представьте себе, сколько времени на обработку данных потребовалось бы AWStats, если бы при запуске данной программы в декабре ей нужно было каждый раз повторно с самого начала обрабатывать файлы журналов за 11 месяцев.

Для того чтобы создать базу данных AWStats и импортировать в нее файлы журналов IIS, следует перейти в каталог C:ProgramFilesAWStatswwwrootcgi-bin и выполнить команду:

awstats.pl -config=WebSiteName

Update -logfile=IISLogName

где WebSiteName соответствует имени вашего Web-сайта, а IISLogName - имя того файла журнала IIS, который нужно импортировать в базу данных для последующего анализа. Здесь данная команда состоит из нескольких строк, на самом же деле она должна вводиться одной строкой. Это относится и к другим командам из нескольких строк, которые будут встречаться в данной статье.

Допустим, нам нужно выполнить анализ файлов журналов сервера IIS на Web-сайте компании Toombs Partners начиная с июня. Сегодня 4 июня, соответственно мы имеем три завершенных файла журнала (за 1, 2 и 3 июня) и один незавершенный (журнал за 4 июня). Чтобы выполнить импорт файла от 1 июня, используем команду:

Config=www.toombspartners.com

Logfile=»C:/WINNT/system32/

logfiles/w3svc1/ex050601.log»

Затем аналогичным образом обрабатываем файлы ex050602.log и ex050603.log.

Имя Web-сайта используется программой AWStats в имени файла базы данных. Например, для компании Toombs Partners имя соответствующего файла базы данных будет выглядеть как awstats%MM%YYYY.

www.toombspartners.com.txt, где %MM соответствует двузначному обозначению месяца, а %YYYY представляет собой четырехзначное обозначение года.

Когда программа анализа начинает обрабатывать файлы журналов, в ее окне будет отображаться некоторая статистика по обрабатываемым данным. По окончании обработки можно будет увидеть статистические данные, в которых будет указано количество найденных программой новых записей (см. экран 3). Это количество должно примерно соответствовать количеству строк в обрабатываемых файлах журналов. Не беда, если несколько строк было пропущено вследствие ошибок. Если ошибок немного, можно приступать к составлению отчета. Если же после обработки было обнаружено 0 новых записей, значит, возникла проблема с файлом конфигурации и необходимо выяснить, в чем она заключается.

Шаг 5. Создание Web-сервера для работы с AWS

Для того чтобы упростить просмотр отчетов по Web-сайту компании, можно построить внутри IIS еще один Web-сайт и назначить для него тот каталог, в котором будут сохраняться выходные данные AWStats. Для создания нового каталога для отчетов AWStats сначала нужно создать в каталоге Inetpub папку с именем AWStats (т.е. C:InetpubAWStats). Затем следует скопировать папку icon из каталога C:Program FilesAWStatswwwroot в каталог C:InetpubAWStats. После этого требуется создать в IIS новый Web-сайт и настроить его на работу с данным каталогом, как показано на экране 4. Если на данном сервере уже имеется сайт, работающий через порт 80, нужно создать для нового Web-сайта уникальный порт TCP, IP-адрес или новый заголовок хоста.

Для работы программы построения отчетов AWStats создает специальную Web-страницу с именем по умолчанию awstats.WebSiteName.

html, где WebSiteName соответствует тому имени Web-сайта, которое было определено нами при выполнении шага 3. Имя этой страницы должно быть задано в качестве имени домашней страницы по умолчанию, что делается через закладку Documents диалогового окна AWStats Site Properties.

И наконец, если нужно ввести какие-либо параметры ограничения доступа для сайта статистики, это делается через закладку Directory Security того же диалогового окна AWStats Site Properties. Можно, например, ограничить доступ пользователей к сайту на основе IP-адресов либо задать необходимость аутентификации при доступе к сайту. При отсутствии ограничений по безопасности любой желающий, подключившись к данному сайту, сможет просматривать его содержимое.

Шаг 6. Формирование отчетов

После того как на IIS был создан Web-сайт, настало время поупражняться в построении отчетов. Необходимо перейти в каталог C:Program FilesAWStats ools и выполнить следующую команду:

awstats_ buildstaticpages.pl -config=WebSiteName -update -lang=en -dir=»C:Inetpubawstats» -awstatsprog= «C:/Program Files/ AWStats/wwwroot/ cgi bin/awstats.pl»

где WebSiteName - имя вашего Web-сайта (поскольку в данном примере рассматривается компания Toombs Partners, то, соответственно, имя сайта будет www.toombspartners.com). Компонент, формирующий отчеты (awstats_buildstaticpages.pl), создает главную страницу отчета по статистике для данного Web-сайта и помещает ее в каталог, определяемый ключом -dir.

Если все компоненты системы функционируют правильно, программа AWStats будет последовательно, один за другим, создавать отчеты, пока не будет достигнут конец цикла обработки. После того как данный цикл будет завершен, можно запустить Web-браузер и просмотреть содержимое вновь созданного Web-сайта AWStats. Главная страница отчета AWStats должна быть в этом случае вашей страницей по умолчанию. Пример фрагмента главной страницы статистики показан на экране 5.

Экран 5. Основная страница отчета AWStats

Эта страница содержит данные по статистике высокого уровня, а также ссылки на страницы с более подробной информацией. Например, если щелкнуть по приведенной на экране 5 ссылке Countries, которая находится в разделе Who, можно перейти к таблице Countries (Top 10), находящейся на уровень ниже от основной страницы. Щелкнув ссылку Full list в строке заголовка данной таблицы, можно просмотреть список стран, из которых посетители обращались к вашему сайту. До данного списка можно добраться и другим способом: щелкнуть ссылку Full list, которая следует за ссылкой Countries в разделе Who.

Так, а почему в отчете нет статистики по странам? Не стоит беспокоиться, AWStats по умолчанию ведет себя подобным образом, поэтому давайте посмотрим, как мы можем это исправить.

Чтобы установить, из какой страны обращается к сайту посетитель, применяется поиск по IP-адресу посетителя с целью выяснения полного доменного имени FQDN (Fully Qualified Domain Name), связанного с этим адресом. Если такое имя обнаруживается, то обычно оно оканчивается на что-то вроде com, .ca или.jp. По этому расширению программа AWStats определяет, из какой страны обращается данный посетитель.

В конфигурации, установленной по умолчанию, AWStats не выполняет обратный поиск в пространстве DNS, поскольку обработка соответствующего поискового запроса по каждому IP-адресу клиента, который обращается к данному сайту, потребует значительных временных затрат. Программа AWStats очень эффективно выполняет свои внутренние процедуры обработки данных, но в данном случае она должна отправлять запросы на внешний сервер DNS и ожидать ответа, что приводит к снижению скорости обработки. Рассмотрим пример. Те три тестовых файла журнала, которые я использовал при написании статьи, содержат около 350 тыс. адресов. Если обратный поиск в DNS не выполняется, то обработка всех этих данных программой AWStats занимает несколько минут. Если же включить обратный поиск, то процесс займет более 6 часов. Поэтому выполнение обратного поиска может кардинально повлиять на производительность системы.

Тем не менее, если все-таки требуется, чтобы AWStats выполняла обратный поиск в пространстве DNS, нужно найти в файле конфигурации сайта параметр DNSLookup и изменить его значение с 2 на 1. После этого программа AWStats будет выполнять обратный поиск по каждому IP-адресу в каждом вновь сформированном файле журнала при его анализе. Другими словами, для всех существующих файлов журналов необходимо будет повторно выполнить процедуру анализа. Для этого требуется удалить существующий файл базы данных AWStats, после чего вновь запустить процедуру анализа. При этом AWStats будет посылать запрос обратного поиска по каждой записи, но нужно быть готовым к тому, что это займет много времени. По завершении данной процедуры следует создать отчеты повторно, и в них появятся данные по странам для обращавшихся на сайт посетителей.

Шаг 7. Настройка AWStats для работы по расписанию

Вполне вероятно, что может возникнуть потребность запускать процедуру обработки файлов журналов в ночное время, причем так, чтобы процедуры анализа и формирования отчетов запускались без участия человека. Для этих целей можно задействовать командный файл NightRun.bat, показанный в листинге . Данный файл вызывает процедуру анализа файлов журналов IIS, а по ее завершении вызывается программа построения отчетов, которая создает и размещает их для дальнейшей обработки программой AWStats в каталоге IIS.

Для того чтобы использовать файл NightRun.bat, загрузите его с сайта Windows IT Pro /RE по адресу http://www.windowsitpro.ru в разделе download. Затем нужно открыть разархивированный файл с помощью Notepad или в другом текстовом редакторе и заменить в нем имя www.toombspartners.com на имя своего Web-сайта. После этого следует запустить приложение Scheduled Tasks из Control Panel и создать для данного файла задание - запускать его каждую ночь в какое-либо время после полуночи. Почему после полуночи? Дело в том, что на шаге 4 я использовал ключ командной строки-logfile, с помощью которого задавалось имя соответствующего файла журнала. Если данный ключ отсутствует, как в файле NightRun.bat, AWStats автоматически выберет в качестве даты предыдущий день и будет использовать любой групповой символ (wildcard), который описывается параметром Logfile= файла конфигурации. Поэтому, если данный командный файл будет запускаться после полуночи 4 июня, AWStats будет выполнять анализ файлов журналов за 3 июня, поскольку будет использоваться групповой символ формата даты, определяемый значением параметра LogFile.

Один щелчок - и Web-отчет готов

Как удобно каждое утро получать свежие статистические данные по Web-сайту! Даже для тех, кто не отвечает непосредственно за наполнение Web-сайта компании, подобная статистика все равно может оказаться полезной, например в том случае, если сотрудник занимается продажами продукции компании через Web-сайт. Информация, предоставляемая этими отчетами, может помочь выяснить, что именно ищут люди, когда заходят на ваш Web-сайт, и, на мой взгляд, современной службе работы с клиентами стоит владеть такой информацией.

Если заметили ошибку, выделите фрагмент текста и нажмите Ctrl+Enter
ПОДЕЛИТЬСЯ:
Безопасность. Обзоры. Ноутбуки. Звуки и карты. Windows