sed est un outils très puissant permettant de transformer le texte du flux entrant.
Doc très détaillé :
Prenons un fichier exemple
toto 1234 toto titi tata 4321 toto tutu
L’option -i permet d’écrire directement les modifications dans le fichier. Sans l’option, le résultat s’affiche à l’écran
Pour remplacer toto par koko on utilise le s pour substitution
sed -i 's/toto/koko/' fichier.txt
koko 1234 toto titi tata 4321 koko tutu
On peut remarquer que seule la 1ère occurrence est remplacée, pour remplacer toutes les occurrences, on utilise l’option g à la fin de la commande
sed -i 's/toto/koko/g' fichier.txt
koko 1234 koko titi tata 4321 koko tutu
Pour ignorer la casse, on utilise l’option I
sed -i 's/toto/koko/gI' fichier.txt
Remplacer un \ par / dans les path des #include dans un fichier .c
sed -i '/#include/s@\\@/@g' fichier.c sed -i '/#include/s@\\@/@g' *.c sed -i '/#include/s@\\@/@g' **/*.c
Pour remplacer dans l’ensemble d’un projet dans des fichiers .c et .h
find . -name '*.[ch]' -exec sed -i '/#include/s@\\@/@g' {} \;
et inversement
find . -name '*.[ch]' -exec sed -i '/#include/s@/@\\@g' {} \;
Pratique pour par exemple remplacer tous les e avec accent par un e sans accent.
sed -e 'y/éèêë/eeee/' fichier.txt
Ou pour crypter/décrypter
sed -e 'y/abcdefghijklmnopqrstuvwxyz/mnopqrstuvwxyzabcdefghijkl/' fichier.txt
Pour supprimer la 1ère ligne d’un fichier
sed -e '1d' fichier.txt
Pour supprimer toutes les lignes sauf la 1ère
sed -e '1!d' fichier.txt
Pour supprimer les lignes de 3 à 7
sed -e '3,7d' fichier.txt
Pour n’afficher que les lignes de 3 à 7
sed -e '3,7!d' fichier.txt
Pour supprimer toutes les lignes de commentaire qui commence par exemple par #, on utilise l’option d pour delete à la fin de la commande
sed -e '/^#/d' fichier.txt
A contrario, si nous voulons que les lignes qui commencent par un #, on ajoute un ! devans l’option d
sed -e '/^#/!d' fichier.txt
Exemple avec un fichier de conf qui comporte des lignes commentés avec un ; et qui comportent beaucoup de lignes vide.
sed -e '/^[#;]/d;/^$/d' /etc/samba/smb.conf
Avec les [ ] et spécifie que la ligne commente par un # ou un ;. Le ; suivant veut dire que nous lançons une autre commande, celle ci dit que nous cherchons une ligne vide. ^ indique le début de la ligne et $ la fin. /d on delete.
Supprimer les lignes qui contient un message d’erreur
sed -e '/HTTP accept: Too many open files/d' pound.log.1 > pound.log.clean.1
Éliminer les espaces et tabulations En début de ligne
sed 's/^[ \t]*// sed 's/^\s*//' # Utilisation du paramètre "\s"
En fin de ligne
sed 's/[ \t]*$//'
En début et fin de ligne
sed 's/^[ \t]*//;s/[ \t]*$//'
Prenons le cas de la commande df qui permet d’afficher l’espace disque de notre machine. Nous aimerions récupérer ces données pour les transmettre dans un format CSV avec des ; comme séparateur.
Nous devons travailler sur ce genre de donnée:
Sys. de fichiers 1K-blocs Utilisé Dispo. Uti% Monté sur /dev/sda1 19222656 7174048 11072048 40% / tmpfs 4099408 0 4099408 0% /lib/init/rw udev 4094596 196 4094400 1% /dev tmpfs 4099408 0 4099408 0% /dev/shm
On va imaginer un découpage basic de la sorte
champ1 champ2 champ3 champ4 champ5 champ6
Un champ est zéro ou plusieurs n’importe quel caractère ce qui se traduit parun point suivi d’une étoile
.* .* .* .* .* .*
Comme on veut pouvoir récupérer ces champs, on va les mettre entre parenthèses mais pour que sed ne croit pas que l’on cherche des parenthèses, nous devons les échapper par un backslash
\(.*\) \(.*\) \(.*\) \(.*\) \(.*\) \(.*\)
Maintenant entre chaque champ nous avons un ou plusieurs espaces, ou pourrait écrire l’expression [:space:]+ mais sed ne reconnait pas le caractère + permettant de dire que l’on veut au moins de une occurrence à plusieurs. Il faudrait ruser en écrivant ceci [:space:][:space]*
Nous allons faire plus simple en lançant une première commande permettant de remplacer toutes les suites d’espaces par un seul espace sur toutes les occurrences rencontrées sur la ligne.
sed -e 's/[ ][ ]*/ /g'
On obtient au final la commande
df | sed -e 's/[ ][ ]*/ /g' -e 's/\(.*\) \(.*\) \(.*\) \(.*\) \(.*\) \(.*\)/\1;\2;\3;\4;\5;\6/'
Si on voulait ne récupérer que le pourcentage d’occupation
df | sed -e '1d;s/.* \([0-9]*\)% .*/\1/'
Ici on a rajouté 1d qui permet de supprimer la 1ère ligne.
Source
dublablacodecode<a href="/chemin/bien/precis/fichier.xyz">OnSenFoutDuNom</a>dublablacode dublablacodecode<a href="/chemin/bien/precis/fichier2.xyz">OnSenFoutDuNom</a>dublablacode
Résultat
fichier.xyz fichier2.xyz
Sed
sed -r 's/.*href=".*[$/](.*)".*/\1/' fichierSource
$ echo Pict_20140215_0945.jpg | sed -r 's/.*([0-9]{4})([0-9]{2})([0-9]{2})_([0-9]{2})([0-9]{2}).*/\3-\2-\1 \4:\5/'
15-02-2014 09:45
On veut récupérer la valeur 64.66
# hdparm -t /dev/sda /dev/sda: Timing buffered disk reads: 198 MB in 3.06 seconds = 64.66 MB/sec
hdparm -t /dev/sda | sed -r '/Timing/!d;s/.*=\s*(.*) MB.*/\1/'
Avec le /Timing/!d on garde que la ligne qui contient le mot Timing.
.* n’importe quoi jusqu’au = suivi ou non de plusieurs espace
On prend la valeur jusqu’à rencontrer un espace suivi de MB et n’importe quoi.
netstat -alp | egrep 'nfs(.*)ESTABLISHED' | sed -r 's/.* ([a-z0-9-]*\.[a-z0-9-]*\.[a-z0-9-]*).*/\1/'
On peut mettre l’option -r à la place de l’option -e et voici la différence
Appendix A Extended regular expressions
The only difference between basic and extended regular expressions is in the behavior of a few characters: ‘?’, ‘+’, parentheses, and braces (‘{}’). While basic regular expressions require these to be escaped if you want them to behave as special characters, when using extended regular expressions you must escape them if you want them to match a literal character.
Examples:
abc? → ‘abc\?’ when using extended regular expressions. It matches the literal string ‘abc?’.
c\+ → ‘c+’ when using extended regular expressions. It matches one or more ‘c’s.
a\{3,\} → ‘a{3,}’ when using extended regular expressions. It matches three or more ‘a’s.
\(abc\)\{2,3\} → ‘(abc){2,3}’ when using extended regular expressions. It matches either ‘abcabc’ or ‘abcabcabc’.
\(abc*\)\1 → ‘(abc*)\1’ when using extended regular expressions. Backreferences must still be escaped when using extended regular expressions.