====== sed ======

===== Description =====
**sed** est un outils très puissant permettant de transformer le texte du flux entrant.

Doc très détaillé : 
  *  http://www.siteduzero.com/informatique/tutoriels/la-commande-sed/
  *  http://www.gentoo.org/doc/fr/articles/l-sed1.xml


===== Exemples =====

==== Remplacement / substitution ====
Prenons un fichier exemple
<file>
toto 1234 toto titi
tata 4321 toto tutu
</file>

L'option ''-i'' permet d'écrire directement les modifications dans le fichier. Sans l'option, le résultat s'affiche à l'écran

Pour remplacer  **toto** par **koko** on utilise le **s** pour substitution
  sed -i 's/toto/koko/' fichier.txt
 
<file>
koko 1234 toto titi
tata 4321 koko tutu
</file>

On peut remarquer que seule la 1ère occurrence est remplacée, pour remplacer toutes les occurrences, on utilise l'option **g** à la fin de la commande
  sed -i 's/toto/koko/g' fichier.txt
<file>
koko 1234 koko titi
tata 4321 koko tutu
</file>

Pour ignorer la casse, on utilise l'option **I**
  sed -i 's/toto/koko/gI' fichier.txt

Remplacer un \ par / dans les path des #include dans un fichier .c
  sed -i '/#include/s@\\@/@g' fichier.c
  sed -i '/#include/s@\\@/@g' *.c
  sed -i '/#include/s@\\@/@g' **/*.c
  
Pour remplacer dans l'ensemble d'un projet dans des fichiers .c et .h

  find . -name '*.[ch]' -exec sed -i '/#include/s@\\@/@g' {} \;
et inversement
  find . -name '*.[ch]' -exec sed -i '/#include/s@/@\\@g' {} \;
==== Translittération ====
Pratique pour par exemple remplacer tous les e avec accent par un e sans accent.
  sed -e 'y/éèêë/eeee/' fichier.txt
  
Ou pour crypter/décrypter
  sed -e 'y/abcdefghijklmnopqrstuvwxyz/mnopqrstuvwxyzabcdefghijkl/' fichier.txt
  
==== Suppression ====
Pour supprimer la 1ère ligne d'un fichier
  sed -e '1d' fichier.txt
Pour supprimer toutes les lignes sauf la 1ère 
  sed -e '1!d' fichier.txt
Pour supprimer les lignes de 3 à 7
  sed -e '3,7d' fichier.txt
Pour n'afficher que les lignes de 3 à 7
  sed -e '3,7!d' fichier.txt

Pour supprimer toutes les lignes de commentaire qui commence par exemple par **#**, on utilise l'option **d** pour delete à la fin de la commande
  sed -e '/^#/d' fichier.txt
A contrario, si nous voulons que les lignes qui commencent par un #, on ajoute un **!** devans l'option **d**
  sed -e '/^#/!d' fichier.txt
  
Exemple avec un fichier de conf qui comporte des lignes commentés avec un **;** et qui comportent beaucoup de lignes vide.
  sed -e '/^[#;]/d;/^$/d' /etc/samba/smb.conf
Avec les **[ ]** et spécifie que la ligne commente par un **#** ou un **;**. Le **;** suivant veut dire que nous lançons une autre commande, celle ci dit que nous cherchons une ligne vide. **^** indique le début de la ligne et **$** la fin. **/d** on delete.

Supprimer les lignes qui contient un message d'erreur
  sed -e '/HTTP accept: Too many open files/d' pound.log.1 > pound.log.clean.1

Éliminer les espaces et tabulations
En début de ligne
  sed 's/^[ \t]*//
  sed 's/^\s*//'        # Utilisation du paramètre "\s"
  
En fin de ligne
  sed 's/[ \t]*$//'
  
En début et fin de ligne
  sed 's/^[ \t]*//;s/[ \t]*$//'
==== Expressions régulières ====
Prenons le cas de la commande **df** qui permet d'afficher l'espace disque de notre machine. Nous aimerions récupérer ces données pour les transmettre dans un format CSV avec des **;** comme séparateur.

Nous devons travailler sur ce genre de donnée:
<file>
Sys. de fichiers      1K-blocs   Utilisé    Dispo. Uti% Monté sur
/dev/sda1             19222656   7174048  11072048  40% /
tmpfs                  4099408         0   4099408   0% /lib/init/rw
udev                   4094596       196   4094400   1% /dev
tmpfs                  4099408         0   4099408   0% /dev/shm
</file>
On va imaginer un découpage basic de la sorte
  champ1 champ2 champ3 champ4 champ5 champ6
Un champ est zéro ou plusieurs n'importe quel caractère ce qui se traduit parun point suivi d'une étoile
  .* .* .* .* .* .*
Comme on veut pouvoir récupérer ces champs, on va les mettre entre parenthèses mais pour que sed ne croit pas que l'on cherche des parenthèses, nous devons les échapper par un backslash
  \(.*\) \(.*\) \(.*\) \(.*\) \(.*\) \(.*\)
Maintenant entre chaque champ nous avons un ou plusieurs espaces, ou pourrait écrire l'expression [:space:]+ mais sed ne reconnait pas le caractère **+** permettant de dire que l'on veut au moins de une occurrence à plusieurs.
Il faudrait ruser en écrivant ceci [:space:][:space]* 

Nous allons faire plus simple en lançant une première commande permettant de remplacer toutes les suites d'espaces par un seul espace sur toutes les occurrences rencontrées sur la ligne.
  sed -e 's/[ ][ ]*/ /g'
On obtient au final la commande 
  df | sed -e 's/[ ][ ]*/ /g' -e 's/\(.*\) \(.*\) \(.*\) \(.*\) \(.*\) \(.*\)/\1;\2;\3;\4;\5;\6/'

Si on voulait ne récupérer que le pourcentage d'occupation
  df | sed -e '1d;s/.* \([0-9]*\)% .*/\1/'
Ici on a rajouté **1d** qui permet de supprimer la 1ère ligne.

===== Exemple en vrac =====

Source
<code>dublablacodecode<a href="/chemin/bien/precis/fichier.xyz">OnSenFoutDuNom</a>dublablacode
dublablacodecode<a href="/chemin/bien/precis/fichier2.xyz">OnSenFoutDuNom</a>dublablacode</code>

Résultat
<code>fichier.xyz
fichier2.xyz</code>

Sed
<code>sed -r 's/.*href=".*[$/](.*)".*/\1/' fichierSource</code>

==== Extraire la date et la reformaté dans un nom de fichier ====

  
  $ echo Pict_20140215_0945.jpg | sed -r 's/.*([0-9]{4})([0-9]{2})([0-9]{2})_([0-9]{2})([0-9]{2}).*/\3-\2-\1 \4:\5/'
  15-02-2014 09:45

==== Extraire la valeur d'un test avec hdparm ====
On veut récupérer la valeur 64.66
<code># hdparm -t /dev/sda

/dev/sda:
 Timing buffered disk reads: 198 MB in  3.06 seconds =  64.66 MB/sec</code>

  hdparm -t /dev/sda | sed -r '/Timing/!d;s/.*=\s*(.*) MB.*/\1/'
  
Avec le ''/Timing/!d'' on garde que la ligne qui contient le mot Timing.\\
''.*'' n'importe quoi jusqu'au ''='' suivi ou non de plusieurs espace\\
On prend la valeur jusqu'à rencontrer un espace suivi de ''MB'' et n'importe quoi.


==== Connaitre les machines connectées à notre serveur NFS ====

<code>netstat -alp | egrep 'nfs(.*)ESTABLISHED' | sed -r 's/.* ([a-z0-9-]*\.[a-z0-9-]*\.[a-z0-9-]*).*/\1/'</code>



===== Regexp extended =====

On peut mettre l'option -r à la place de l'option -e et voici la différence

>Appendix A Extended regular expressions
>
>The only difference between basic and extended regular expressions is in the behavior of a few characters: ‘?’, ‘+’, parentheses, and  braces (‘{}’). While basic regular expressions require these to be escaped if you want them to behave as special characters, when using extended regular expressions you must escape them if you want them to match a literal character.
>
>Examples:
>
>abc? -> ‘abc\?’ when using extended regular expressions. It matches the literal string ‘abc?’. 
>c\+ ->  ‘c+’ when using extended regular expressions. It matches one or more ‘c’s. 
>a\{3,\} -> ‘a{3,}’ when using extended regular expressions. It matches three or more ‘a’s. 
>\(abc\)\{2,3\} -> ‘(abc){2,3}’ when using extended regular expressions. It matches either ‘abcabc’ or ‘abcabcabc’. 
>\(abc*\)\1 -> ‘(abc*)\1’ when using extended regular expressions. Backreferences must still be escaped when using extended regular expressions.