Outils de statistiques de sites web
Ici on installe la version fourni par debian, mais au moment ou j’écris ces lignes, awstats est en version 7.2 sur debian et en 7.7 stable sur le site officiel…
La version 7.2 est sortie en 2013 et ne prend pas du tout en charge internet explorer dans ses dernières version, je conseil de prendre une version plus récente.
Pour avoir une version plus récente, on peut télécharger la version de la distrib unstable sur ⇒ https://packages.debian.org/search?searchon=names&keywords=awstats
aptitude install awstats
et rajoutez les paquets recommandées
libdigest-sha1-perl (2.13-1) ... libdigest-hmac-perl (1.02+dfsg-1) ... libgeo-ipfree-perl (1.101650-1) ... libnet-ip-perl (1.25-2) ... libnet-dns-perl (0.66-2) ... libnet-xwhois-perl (0.90-3) ... liburi-perl (1.54-2) ...
Le cron est déjà en place dans le fichier suivant
/etc/cron.d/awstats
Changé la permission du dossier /var/log/apache2 ainsi que tout ce qui se trouve à l’intérieur car le cron utilise l’utilisateur www-data pour s’executer et ce répertoire n’autorise pas par défaut cette permission..
chmod o+rx -R /var/log/apache2
Mais ce n’est pas tout ! Il y a logrotate qui passe par la et suivant sa configuration il peut changer les droits…
Vérifiez le fichier /etc/logrotate.d/apache2 et repérez la ligne
create 640 root adm
Modifiez la en
create 644 root adm
Afin que le fichier soit accessible en lecture pour les autres.
ls -tr access.log.*.gz | xargs gunzip -c >> bigaccess.log
Pour lancer la mise à jour
/usr/lib/cgi-bin/awstats.pl -config=maconfig -update
Il n’est pas possible d’intégrer de vieux log, si vous voulez intégrer d’anciens fichiers, il faudra supprimer la base actuelle qui se trouve dans :
cd /var/lib/awstats
supprimez ensuite les fichiers correspondant à votre config.
Mettre awstats en francais
vi /etc/default/awstats
Mettre la variable AWSTATS_LANG=“fr”
Faite une copie du fichier /etc/awstats/awstats.conf et créé autant de fichier de config que vous voulez avoir de rapport de statistique.
Le nom du fichier doit toujours commencer par awstats. + votre nom de site(comme vous voulez) + .conf
A modifier
LogFile="/var/log/apache2/access.log" LogFormat=1 SiteDomain="monsite.fr" NotPageList="css js class gif jpg jpeg png bmp ico rss xml swf eot woff woff2" AllowFullYearView=3
Ici nous allons accéder à awstats via un sous-domaine avec un mot de passe.
mkdir /var/www/awstats.mondomaine.fr
Créez une config apache
vi /etc/apache2/sites-available/awstats.conf
<VirtualHost *:80> ServerName awstats.mondomaine.fr DocumentRoot /var/www/awstats.mondomaine.fr <Directory /var/www/awstats.mondomaine.fr> AuthType Basic AuthUserFile /var/www/awstats.mondomaine.fr/.htpasswd AuthName "Access Restricted" Require valid-user </Directory> Alias /awstats-icon "/usr/share/awstats/icon/" ScriptAlias /cgi-bin/ /usr/lib/cgi-bin/ <Directory "/usr/lib/cgi-bin"> AllowOverride None Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch # Pour limiter l'accès à certaine ip #Order deny,allow #Deny from all #Allow from 10.0.0.0/8 </Directory> <Files "awstats.pl"> AuthUserFile /var/www/awstats.mondomaine.fr/.htpasswd AuthName "Restricted Area For Customers" AuthType Basic require valid-user </Files> </VirtualHost>
Vous pouvez créer le fichier .htpasswd avec la commande
htpasswd -c /var/www/awstats.mondomaine.fr/.htpasswd <votreLogin>
Il vous sera ensuite demandé de taper le mot de passe 2 fois.
Pour limiter l’accès à une config, ajouter la ligne suivante dans <VirtualHost>…</VirtualHost>
SetEnv AWSTATS_FORCE_CONFIG domain.com
Ensuite, l’appel à l’url domain.com/cgi-bin/awstats.pl chargement automatiquement la bonne config et impossible d’en charger une autre via ?config=autredomaine.com
Activez le module apache cgi
a2enmod cgi
Activez votre nouvelle config
a2ensite awstats
Testez votre config
apachectl configtest
Si tout est ok
systemctl restart apache2.service
Ouvrez ensuite l’url suivante dans votre navigateur
http://awstats.mondomaine.fr/cgi-bin/awstats.pl?config=maconfig
Voici un condensé d’une configuration pour postfix
LogFile="/usr/share/doc/awstats/examples/maillogconvert.pl standard < /var/log/mail.log |" LogType=M LogFormat="%time2 %email %email_r %host %host_r %method %url %code %bytesd" SiteDomain="mysteryland.emc.fr" LevelForBrowsersDetection=0 LevelForOSDetection=0 LevelForRefererAnalyze=0 LevelForRobotsDetection=0 LevelForSearchEnginesDetection=0 LevelForKeywordsDetection=0 LevelForFileTypesDetection=0 LevelForWormsDetection=0 ShowMonthStats=UHB ShowDaysOfMonthStats=HB ShowDaysOfWeekStats=HB ShowHoursStats=HB ShowDomainsStats=0 ShowHostsStats=HBL ShowRobotsStats=0 ShowEMailSenders=HBML ShowEMailReceivers=HBML ShowSessionsStats=0 ShowPagesStats=0 ShowFileTypesStats=0 ShowOSStats=0 ShowBrowsersStats=0 ShowOriginStats=0 ShowKeyphrasesStats=0 ShowKeywordsStats=0 ShowMiscStats=0 ShowHTTPErrorsStats=0 ShowSMTPErrorsStats=1
Pensez aux droits sur le fichier de log
chmod o+r /var/log/mail.log
et relancez l’update
su www-data -c /usr/share/awstats/tools/update.sh
ou
/usr/lib/cgi-bin/awstats.pl -config=postfix -update
Un vieux bug jamais résolu qui fait raler awstats lorsqu’un log est issue d’un timeout avec un code http 408
Error while processing /etc/awstats/awstats.xxx.conf
Create/Update database for config "/etc/awstats/awstats.xxx.conf" by AWStats version 7.6 (build 20161204) From data in log file "/var/log/apache2/xxx_access.log"...
Phase 1 : First bypass old records, searching new record...
Direct access after last parsed record (after line 182) AWStats did not find any valid log lines that match your LogFormat parameter, in the 50th first non commented lines read of your log.
Your log file /var/log/apache2/xxx_access.log must have a bad format or LogFormat parameter setup does not match this format.
Your AWStats LogFormat parameter is:
1
This means each line in your web server log file need to have "combined log format" like this:
111.22.33.44 - - [10/Jan/2001:02:14:14 +0200] "GET / HTTP/1.1" 200 1234 "http://www.fromserver.com/from.htm" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
And this is an example of records AWStats found in your log file (the record number 50 in your log):
192.168.37.151 - - [09/Jan/2020:16:30:42 +0100] "-" 408 3277 "-" "-"
Setup ('/etc/awstats/awstats.xxx.conf' file, web server or permissions) may be wrong.
Check config file, permissions and AWStats documentation (in 'docs' directory).
La seule solution que j’ai trouvé, est de modifier le code d’awstats. Malheureusement, à chaque upgrade du paquet, la modif sautera mais bon… ça m’évite de recevoir un mail toutes les 10min…
localisez votre fichier puis modifiez le
# locate awstats.pl /usr/lib/cgi-bin/awstats.pl # vi /usr/lib/cgi-bin/awstats.pl
Vers la ligne 8977, modifier le regex par
"([^ ]+) [^ ]+ ([^\\/\\[]+) \\[([^ ]+) [^ ]+\\] \\\"(?:-|([^ ]+) ([^ ]+)(?: [^\\\"]+|))\\\" ([\\d|-]+) ([\\d|-]+) \\\"(.*?)\\\" \\\"([^\\\"]*)\\\"";
Dans le code ci-dessous, j’ai mis en commentaire le regex original juste après, on peut voir qu’un autre regex était déjà en commentaire dans le code d’origine juste avant, ce qui montre que ce point semble non maîtrisé par les développeurs
if ($Debug) { debug( "Call To DefinePerlParsingFormat (LogType='$LogType', LogFormat='$LogFormat')" ); } if ( $LogFormat =~ /^[1-6]$/ ) { # Pre-defined log format if ( $LogFormat eq '1' || $LogFormat eq '6' ) { # Same than "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"". # %u (user) is "([^\\/\\[]+)" instead of "[^ ]+" because can contain space (Lotus Notes). referer and ua might be "". # $PerlParsingFormat="([^ ]+) [^ ]+ ([^\\/\\[]+) \\[([^ ]+) [^ ]+\\] \\\"([^ ]+) (.+) [^\\\"]+\\\" ([\\d|-]+) ([\\d|-]+) \\\"(.*?)\\\" \\\"([^\\\"]*)\\\""; $PerlParsingFormat = "([^ ]+) [^ ]+ ([^\\/\\[]+) \\[([^ ]+) [^ ]+\\] \\\"(?:-|([^ ]+) ([^ ]+)(?: [^\\\"]+|))\\\" ([\\d|-]+) ([\\d|-]+) \\\"(.*?)\\\" \\\"([^\\\"]*)\\\""; #"([^ ]+) [^ ]+ ([^\\/\\[]+) \\[([^ ]+) [^ ]+\\] \\\"([^ ]+) ([^ ]+)(?: [^\\\"]+|)\\\" ([\\d|-]+) ([\\d|-]+) \\\"(.*?)\\\" \\\"([^\\\"]*)\\\""; $pos_host = 0; $pos_logname = 1; $pos_date = 2; $pos_method = 3; $pos_url = 4; $pos_code = 5; $pos_size = 6; $pos_referer = 7; $pos_agent = 8; @fieldlib = ( 'host', 'logname', 'date', 'method', 'url', 'code',