sed

sed est un outils très puissant permettant de transformer le texte du flux entrant.

Doc très détaillé :

• http://www.siteduzero.com/informatique/tutoriels/la-commande-sed/
• http://www.gentoo.org/doc/fr/articles/l-sed1.xml

Prenons un fichier exemple

toto 1234 toto titi
tata 4321 toto tutu

L’option -i permet d’écrire directement les modifications dans le fichier. Sans l’option, le résultat s’affiche à l’écran

Pour remplacer toto par koko on utilise le s pour substitution

sed -i 's/toto/koko/' fichier.txt

koko 1234 toto titi
tata 4321 koko tutu

On peut remarquer que seule la 1ère occurrence est remplacée, pour remplacer toutes les occurrences, on utilise l’option g à la fin de la commande

sed -i 's/toto/koko/g' fichier.txt

koko 1234 koko titi
tata 4321 koko tutu

Pour ignorer la casse, on utilise l’option I

sed -i 's/toto/koko/gI' fichier.txt

Remplacer un \ par / dans les path des #include dans un fichier .c

sed -i '/#include/s@\\@/@g' fichier.c
sed -i '/#include/s@\\@/@g' *.c
sed -i '/#include/s@\\@/@g' **/*.c

Pour remplacer dans l’ensemble d’un projet dans des fichiers .c et .h

find . -name '*.[ch]' -exec sed -i '/#include/s@\\@/@g' {} \;

et inversement

find . -name '*.[ch]' -exec sed -i '/#include/s@/@\\@g' {} \;

Pratique pour par exemple remplacer tous les e avec accent par un e sans accent.

sed -e 'y/éèêë/eeee/' fichier.txt

Ou pour crypter/décrypter

sed -e 'y/abcdefghijklmnopqrstuvwxyz/mnopqrstuvwxyzabcdefghijkl/' fichier.txt

Pour supprimer la 1ère ligne d’un fichier

sed -e '1d' fichier.txt

Pour supprimer toutes les lignes sauf la 1ère

sed -e '1!d' fichier.txt

Pour supprimer les lignes de 3 à 7

sed -e '3,7d' fichier.txt

Pour n’afficher que les lignes de 3 à 7

sed -e '3,7!d' fichier.txt

Pour supprimer toutes les lignes de commentaire qui commence par exemple par #, on utilise l’option d pour delete à la fin de la commande

sed -e '/^#/d' fichier.txt

A contrario, si nous voulons que les lignes qui commencent par un #, on ajoute un ! devans l’option d

sed -e '/^#/!d' fichier.txt

Exemple avec un fichier de conf qui comporte des lignes commentés avec un ; et qui comportent beaucoup de lignes vide.

sed -e '/^[#;]/d;/^$/d' /etc/samba/smb.conf

Avec les [ ] et spécifie que la ligne commente par un # ou un ;. Le ; suivant veut dire que nous lançons une autre commande, celle ci dit que nous cherchons une ligne vide. ^ indique le début de la ligne et $ la fin. /d on delete.

Supprimer les lignes qui contient un message d’erreur

sed -e '/HTTP accept: Too many open files/d' pound.log.1 > pound.log.clean.1

Éliminer les espaces et tabulations En début de ligne

sed 's/^[ \t]*//
sed 's/^\s*//'        # Utilisation du paramètre "\s"

En fin de ligne

sed 's/[ \t]*$//'

En début et fin de ligne

sed 's/^[ \t]*//;s/[ \t]*$//'

Prenons le cas de la commande df qui permet d’afficher l’espace disque de notre machine. Nous aimerions récupérer ces données pour les transmettre dans un format CSV avec des ; comme séparateur.

Nous devons travailler sur ce genre de donnée:

Sys. de fichiers      1K-blocs   Utilisé    Dispo. Uti% Monté sur
/dev/sda1             19222656   7174048  11072048  40% /
tmpfs                  4099408         0   4099408   0% /lib/init/rw
udev                   4094596       196   4094400   1% /dev
tmpfs                  4099408         0   4099408   0% /dev/shm

On va imaginer un découpage basic de la sorte

champ1 champ2 champ3 champ4 champ5 champ6

Un champ est zéro ou plusieurs n’importe quel caractère ce qui se traduit parun point suivi d’une étoile

.* .* .* .* .* .*

Comme on veut pouvoir récupérer ces champs, on va les mettre entre parenthèses mais pour que sed ne croit pas que l’on cherche des parenthèses, nous devons les échapper par un backslash

\(.*\) \(.*\) \(.*\) \(.*\) \(.*\) \(.*\)

Maintenant entre chaque champ nous avons un ou plusieurs espaces, ou pourrait écrire l’expression [:space:]+ mais sed ne reconnait pas le caractère + permettant de dire que l’on veut au moins de une occurrence à plusieurs. Il faudrait ruser en écrivant ceci [:space:][:space]*

Nous allons faire plus simple en lançant une première commande permettant de remplacer toutes les suites d’espaces par un seul espace sur toutes les occurrences rencontrées sur la ligne.

sed -e 's/[ ][ ]*/ /g'

On obtient au final la commande

df | sed -e 's/[ ][ ]*/ /g' -e 's/\(.*\) \(.*\) \(.*\) \(.*\) \(.*\) \(.*\)/\1;\2;\3;\4;\5;\6/'

Si on voulait ne récupérer que le pourcentage d’occupation

df | sed -e '1d;s/.* \([0-9]*\)% .*/\1/'

Ici on a rajouté 1d qui permet de supprimer la 1ère ligne.

Source

dublablacodecode<a href="/chemin/bien/precis/fichier.xyz">OnSenFoutDuNom</a>dublablacode
dublablacodecode<a href="/chemin/bien/precis/fichier2.xyz">OnSenFoutDuNom</a>dublablacode

Résultat

fichier.xyz
fichier2.xyz

Sed

sed -r 's/.*href=".*[$/](.*)".*/\1/' fichierSource

$ echo Pict_20140215_0945.jpg | sed -r 's/.*([0-9]{4})([0-9]{2})([0-9]{2})_([0-9]{2})([0-9]{2}).*/\3-\2-\1 \4:\5/'
15-02-2014 09:45

On veut récupérer la valeur 64.66

# hdparm -t /dev/sda

/dev/sda:
 Timing buffered disk reads: 198 MB in  3.06 seconds =  64.66 MB/sec

hdparm -t /dev/sda | sed -r '/Timing/!d;s/.*=\s*(.*) MB.*/\1/'

Avec le /Timing/!d on garde que la ligne qui contient le mot Timing.
.* n’importe quoi jusqu’au = suivi ou non de plusieurs espace
On prend la valeur jusqu’à rencontrer un espace suivi de MB et n’importe quoi.

netstat -alp | egrep 'nfs(.*)ESTABLISHED' | sed -r 's/.* ([a-z0-9-]*\.[a-z0-9-]*\.[a-z0-9-]*).*/\1/'

On peut mettre l’option -r à la place de l’option -e et voici la différence

Appendix A Extended regular expressions

The only difference between basic and extended regular expressions is in the behavior of a few characters: ‘?’, ‘+’, parentheses, and braces (‘{}’). While basic regular expressions require these to be escaped if you want them to behave as special characters, when using extended regular expressions you must escape them if you want them to match a literal character.

Examples:

abc? → ‘abc\?’ when using extended regular expressions. It matches the literal string ‘abc?’.
c\+ → ‘c+’ when using extended regular expressions. It matches one or more ‘c’s.
a\{3,\} → ‘a{3,}’ when using extended regular expressions. It matches three or more ‘a’s.
\(abc\)\{2,3\} → ‘(abc){2,3}’ when using extended regular expressions. It matches either ‘abcabc’ or ‘abcabcabc’.
\(abc*\)\1 → ‘(abc*)\1’ when using extended regular expressions. Backreferences must still be escaped when using extended regular expressions.