UTF8

Si vous avez décidé de passer votre serveur en UTF8, la plupart des fichiers textes/html etc.. contenant des accents deviendront difficilement lisible.

Dans mon cas d’un serveur web, je devais réencoder tous les fichiers du site.

Pour cette manip, mon choix s’est tourné sur la commande recode mais étant données que j’avais déjà commencer à réencoder certain fichier, je devais faire attention à ne pas réencoder un fichier déjà réencodé..

J’avais donc créé un petit script (dispo au dernier chapitre de cette page) permettant de tester le format du fichier puis de l’encoder si nécessaire.

aptitude install locales
dpkg-reconfigure locales

Choisissez alors fr_FR.UTF8

Avec la commande file qui permet de connaitre le type d’un fichier et en rajoutant l’option -i

# file plan.php
plan.php: HTML document text
# file -i plan.php
plan.php: text/html; charset=iso-8859-1
# file -i index.php
index.php: text/x-php; charset=utf-8

iconv permet de convertir un fichier et renvoie le résultat sur la sortie standard ce qui n’est pas forcément pratique pour réencoder plusieurs fichiers d’un site web par exemple.

iconv -f iso-8859-1 -t utf-8 ancienFichier > nouveauFichier    # vers UTF-8
iconv -f utf-8 -t iso-8859-1 ancienFichier > nouveauFichier    # vers latin-1

recode réencode le fichier qu’on lui soumet.

# file -i plan.php
plan.php: text/html; charset=iso-8859-1
# recode iso-8859-1..utf-8 plan.php
# file -i plan.php
plan.php: text/html; charset=utf-8

On peut réencoder plusieurs fichiers d’un coup.

# recode iso-8859-1..utf-8 *

Quand vous ouvrez un fichier non utf8 avec vim, la mention [converti] apparait en bas.

Pour convertir ce fichier en utf8, tapez la commande suivante dans vim

:set fileencoding=utf-8

ou

:set fenc=utf8

Convertir pendant l’ouverture du fichier

:edit ++enc=koi8-r russe.txt

Convertir lors de l’écriture du fichier

:write ++enc=utf-8 russe.txt

Ce script permet d’encoder des fichiers en utf8.
Modifiez les variables chemin et extension suivant ce que vous voulez faire.
Rendez exécutable le script avec chmod +x encode_utf8.bash
Puis lancez le ./encode_utf8.bash

Le script va analyser tous les fichiers du répertoire et des sous répertoire que vous avez spécifié.
Si l’encodage est iso-8859-1, la commande recode encode le fichier en utf8.
Si l’encodage est utf-8, rien n’est fait.
Si l’encodage est différent, le script vous demandera si vous voulez tenter d’encoder le fichier en utf-8.

D’après mes tests, certains fichiers apparaissent en us-ascii et je ne suis pas parvenu à les encoder en utf-8 mais ces fichiers ne semblent pas poser de problèmes.

encode_utf8.bash

#!/bin/bash
 
# Renseigner le répertoire à traiter
chemin="/var/www/siteweb/"
extension="php|html|css|js"
 
atraiter=`/usr/bin/find $chemin -regextype posix-extended -type f -iregex '.*\.('${extension}')$'`
 
for i in $atraiter
do
        enc=`file --mime-encoding $i | awk '{ print $2 }'`
        if [ $enc = "iso-8859-1" ] ; then
                recode $enc..utf-8 $i
                echo -e "$i \\033[1;32m Conversion effectuée \\033[0;39m"
        elif [ $enc = "utf-8" ] ; then
                echo -e "$i \\033[1;36m Déjà en utf8 \\033[0;39m"
        else
                echo -e "\\033[1;31m /!\\ \\033[0;39m $i\nEncodage: $enc"
                PS3="> L'encodage de ce fichier n'est pas standard, voulez vous essayer de le convertir quand même en UTF8 ?"   # le prompt
                LISTE=("[o] oui" "[n]  non")  # liste de choix disponibles
                select CHOIX in "${LISTE[@]}" ; do
                    case $REPLY in
                        1|o)
                        recode $enc..utf-8 $i
                        echo -e "\\033[1;32m Conversion effectuée \\033[0;39m"
                        break
                        ;;
                        2|n)
                        echo Aucun réencodage de fait.
                        break
                        ;;
                    esac
                done
        fi
done
 
echo

Soit vous réencodé toute la base comme détaillé sur ce site http://docs.moodle.org/19/fr/Convertir_votre_base_MySQL_en_UTF-8

Soit vous faite la méthode comme moi qui consite à rajouter la ligne

mysql_query("SET NAMES 'utf8'");

Dans votre fichier de connexion à la base.

L’utilitaire qui va bien est detox

Le plus simple, mettez dans un répertoire tous les avec des caractères bizarre et lancez la commande

detox *

Le nom de vos fichiers sera lisible ;)

Plein d’options dans le man http://linux.die.net/man/1/detox

Certains caractères issue de traitement de texte ou de système d’exploitation genre MacOS génère des caractères qui font planter les manipulations d’insertion de données dans des bases de données genre postgresql..

Bref, il faut alors faire des rechercher/remplacer sur ces caractères spécifiques.

Caractères spéciaux courant à rechercher

• U+2018 (Left Single Quotation Mark)

‘

• U+201C (left double quotation mark)

“

• U+201D (right double quotation mark)

”

• U+AB (left double angle quotes)

«

• U+BB (right double angle quotes)

»

• U+2026 (horizontal ellipsis) 0xe280a6

…

On peut aussi afficher le caractère dans postgresql avec la requête

select convert_from('\xe280a6'::bytea, 'utf-8');

si vous avez une vieille version

select convert_from(E'\xe2\x80\xa6'::bytea, 'utf-8');