awk

Awk

Información

Desarrollado por	Alfred Aho , Brian Kernighan y Peter J. Weinberger
Primera versión	1979
Última versión	Estándar IEEE 1003.1-2008
Depositar	openbsd.su/src/usr.bin/awk
Tipo	Utilidad UNIX ( d ) Lenguaje de programación basado en datos ( d ) Lenguaje de scripting Programación por procedimientos Programación basada en datos ( en )

awk , que lleva el nombre de los tres creadores, Alfred Aho , Peter Weinberger y Brian Kernighan , es un lenguaje de procesamiento de archivos planos basado en líneas , disponible en la mayoría de los sistemas Unix y en Windows con MinGW , Cygwin o Gawk . Se utiliza principalmente para la manipulación de archivos de texto para operaciones complejas de búsqueda, reemplazo y transformación.

Presentación

Awk se utiliza con mayor frecuencia para la producción de archivos de texto con especificaciones particulares (intercambios entre diferentes sistemas de información heterogéneos). También se utiliza como archivos analizadores ( parser ) XML o archivos de texto para generar comandos SQL a partir de los datos extraídos. Finalmente, se puede utilizar para operaciones de cálculo complejas y formateo de datos sin procesar para hacer tablas estadísticas.

Distinguimos awk, el comando original, del nuevo awk (nawk), que llegó un poco más tarde al mercado. Las implementaciones GNU de awk son, de hecho, nuevas awk . El comando awk generalmente se encuentra en / usr / bin en Unix, pero algunos sistemas GNU / Linux lo colocan en / bin. Esto impone un shebang del tipo #!/usr/bin/env awk -fpara garantizar la máxima portabilidad de los scripts awk.

Actúa como un filtro programable tomando una serie de líneas como entrada (como archivos o directamente a través de la entrada estándar) y escribiendo en la salida estándar, que se puede redirigir a otro archivo o programa. Un programa Awk se compone de tres bloques distintos que pueden usarse o no para procesar un archivo (preprocesamiento, procesamiento, posprocesamiento). Awk lee la entrada línea por línea, luego selecciona (o no) las líneas para ser procesadas por expresiones regulares (y posiblemente números de línea). Una vez que se selecciona la línea, se divide en campos de acuerdo con un separador de entrada indicado en el programa awk por el símbolo FS (que por defecto corresponde al espacio o carácter de tabulación). Entonces los diferentes campos están disponibles en variables: $ 1 (primer campo), $ 2 (segundo campo), $ 3 (tercer campo),…, $ NF (último campo).

"Awk" es también la extensión de nombre de archivo que se usa para los scripts escritos en este idioma (rara vez se usa).

La sintaxis está inspirada en C :
awk [options] [programme] [fichier]
donde está la estructura del programa:
'motif1 { action1 } motif2 { action2 } …'
Cada línea del archivo se compara sucesivamente con los diferentes patrones (la mayoría de las veces expresiones regulares , y globalmente una expresión booleana) y la acción del primer patrón que devuelve el valor verdadero. se ejecuta. Si no se acepta ningún motivo, el programa procede a procesar la siguiente línea.

Algunas opciones:

-F séparateur : le permite modificar el separador de campo;
-f fichier : lee el programa desde un archivo.
-v awkVar=$shellVar : Le permite integrar fácilmente variables de shell en el código awk.

Descripción técnica

Un archivo se divide en líneas ( registros en inglés) a su vez divididos en campos ( campos en inglés)

Las líneas están separadas entre sí por un carácter especial que actúa como separador de línea (predeterminado "\n"). El número de líneas leídas en un momento dado se almacena en un contador con nombre NR.
Cada línea se divide en campos sucesivos, separados por defecto por un espacio o una pestaña. Al procesar una fila, el número de campos de esa fila se incluye en un contador con nombre NF.

Los separadores de entrada y salida se almacenan en variables y se pueden cambiar:

para filas, las variables son respectivamente RSy ORS,
para los campos, las variables son respectivamente FSyOFS
$ndenotar el n- ésimo campo, donde nes un entero estrictamente positivo,
$0 designa la línea completa.

Disponemos de dos máscaras especiales:

BEGIN : define un programa antes de iniciar el análisis del archivo;
END : define un programa después del análisis.

Para definir un intervalo, usamos la coma así:

NR == 1, NR == 10 : la acción asociada se aplicará a las líneas 1 a 10.

Varias funciones ya están implementadas:

print, printf : funciones de visualización;
cos(expr), sin(expr), exp(expr), log(expr) ;
getline() : lee la siguiente entrada en una línea y devuelve 0 si es el final del archivo ( EOF: final del archivo ), 1 en caso contrario;
index(s1, s2) : devuelve la posición de la cadena de caracteres s2 en la cadena s1 y devuelve 0 si s2 no aparece en s1;
int(expr) : parte completa de una expresión;
length(s) : longitud de la cadena s;
substr(s,n,l) : devuelve la parte de la cadena de caracteres s que comienza en la posición n, y de longitud l.

Tenemos estructuras de control. La sintaxis proviene directamente de C:

if (test) {actions} else {actions}
while (test) {actions}
do {actions} while (test)
for (expr1;expr2;expr3) {actions}
continue : ir al siguiente elemento de un bucle
break : sale de un bucle

En comparación con C, hay algunas extensiones:

continue : fuera de un bucle, pasa al siguiente patrón.
next : ir a la siguiente línea
matrices asociativas: tableau[texte]=valeur
for (var in tableau) {actions}

Algunos ejemplos

awk '{print $0}' fichier : muestra todas las líneas del archivo (igual que cat fichier).
awk '/2/ {print $0}' fichier : muestra todas las líneas donde está presente el carácter 2 (igual que grep '2' ref.txt).
awk '$1~/2/ {print $0}' fichier : muestra todas las líneas donde el carácter 2 está presente en el primer campo.
awk '{print NR ":", $0}' fichier : muestra el contenido del archivo , pero cada línea está precedida por su número.
awk -F: '{print $1}' /etc/passwd : devuelve la lista de usuarios (ídem cut -d : -f 1 /etc/passwd).
awk 'BEGIN {FS = ":"}{print $1}' /etc/passwd : igual que el comando anterior
awk '{s=s+$1} END {print s}' fichier : escribe la suma de todos los números en la primera columna del archivo .
awk '/Motif1/ , /Motif2/' fichier : escribe todas las líneas contenidas en el archivo entre Motif1 y Motif2.

Implementación

Existen varios programas que usan la sintaxis del awk original, aquí están los más famosos:

nawk (abreviatura de nuevo awk ), que amplía la funcionalidad de la versión inicial;
mawk, una versión conocida por su velocidad en algunos casos;
gawk, la versión de GNU disponible bajo el sistema operativo principal, con una modificación que existe para trabajar en la red TCP / IP;
jawk, una versión que se ejecuta en la máquina virtual Java.

Ver también

Bibliografía

Alfred V. Aho, Peter J. Weinberger y Brian W. Kernighan, AWK Programming Language , París / Reading (Mass.) / Amsterdam, etc., Ed. Addison-Wesley Francia,1985, 244 p. ( ISBN 2-87908-110-6 )
Steve Bourne ( transl. Michel Dupuy), Le Système UNIX , París, Dunod,1991, 398 p. ( ISBN 2-7296-0014-0 )
Para más información Shellunix.com

enlaces externos

(in) código fuente de la versión awk del libro de Aho, Weinberger y Kernighan.
(es) antisèche AWK
(es) página de manual de awk

awk