103.7 Lección 2

Uno de los usos más comunes de grep es facilitar la inspección de archivos largos, utilizando la expresión regular como filtro aplicado a cada línea. Se puede usar para mostrar sólo las líneas que comienzan con un término determinado. Por ejemplo, grep se puede usar para inspeccionar un archivo de configuración con módulos del kernel, mostrando sólo las líneas de opciones:

El carácter de barra vertical | se puede emplear para redirigir la salida de un comando directamente a la entrada de grep. El siguiente ejemplo usa una expresión entre corchetes para seleccionar líneas de la salida de fdisk -l, comenzando con Disk /dev/sda o Disk /dev/sdb:

La mera selección de líneas con coincidencias puede no ser apropiada para una tarea en particular, requiriendo ajustes en el comportamiento de grep a través de sus opciones. Por ejemplo, la opción -c o --count le dice a grep que muestre cuántas líneas tenían coincidencias:

La opción se puede colocar antes o después de la expresión regular. Otras opciones importantes de grep son:

Aunque se activa de forma predeterminada cuando se proporcionan varias rutas de archivo como entrada, la opción -H no está activada para archivos individuales. Eso puede ser crítico en situaciones especiales, como cuando grep es llamado directamente por find, por ejemplo:

En este ejemplo, find lista todos los archivos en /usr/share/doc y luego pasa cada uno a grep, que a su vez realiza una búsqueda que no distingue entre mayúsculas y minúsculas de 3d modeling dentro del archivo. La tubería (pipe) está ahí sólo para limitar la longitud de salida a 100 columnas. Sin embargo, tenga en cuenta que no hay forma de saber de qué archivo provienen las líneas. Este problema se resuelve agregando -H a grep:

Ahora es posible identificar los archivos donde se encontró cada coincidencia. Para que la lista sea aún más informativa, se pueden agregar líneas iniciales y finales a las líneas con coincidencias:

La opción -1 le indica a grep que incluya una línea antes y una línea después cuando encuentre una línea con una coincidencia. Estas líneas adicionales se denominan líneas de contexto y se identifican en la salida con un signo menos después del nombre del archivo. Se puede obtener el mismo resultado con -C 1 o --context=1 y se pueden indicar otras cantidades de líneas de contexto.

Hay dos programas complementarios a grep: egrep y fgrep. El programa egrep es equivalente al comando grep -E, que incorpora características adicionales además de las expresiones regulares básicas. Por ejemplo, con egrep es posible usar características extendidas de expresión regular, como ramificaciones:

En este ejemplo, 3D modeling o 3D printing coincidirán con la expresión, no distingue entre mayúsculas y minúsculas. Para mostrar sólo las partes de un flujo de texto que coinciden con la expresión utilizada por egrep, use la opción -o.

El programa fgrep es equivalente a grep -F, es decir, no analiza expresiones regulares. Es útil en búsquedas simples donde el objetivo es hacer coincidir una expresión literal. Por lo tanto, los caracteres especiales como el signo de dólar y el punto se tomarán literalmente y no por su significado en una expresión regular.

El propósito del programa sed es modificar datos basados en texto de una manera no interactiva. Significa que toda la edición se realiza mediante instrucciones predefinidas, no escribiendo arbitrariamente directamente en un texto que se muestra en la pantalla. En términos modernos, sed puede entenderse como un analizador de plantillas: dado un texto como entrada, coloca contenido personalizado en posiciones predefinidas o cuando encuentra una coincidencia para una expresión regular.

Sed, como su nombre indica, es muy adecuado para texto transmitido a través de tuberías. Su sintaxis básica es sed -f SCRIPT cuando las instrucciones de edición se almacenan en el archivo SCRIPT o sed -e COMMANDS para ejecutar COMMANDS directamente desde la línea de comandos. Si no hay -f ni -e, sed utiliza el primer parámetro que no es una opción como archivo de script. También es posible usar un archivo como entrada simplemente dando su ruta como argumento a sed.

Las instrucciones sed se componen de un solo carácter, posiblemente precedidas por una dirección o seguidas de una o más opciones, y se aplican a cada línea a la vez. Las direcciones pueden ser un número de una sola línea, una expresión regular o un rango de líneas. Por ejemplo, la primera línea de una secuencia de texto se puede eliminar con 1d, donde 1 especifica la línea donde se aplicará el comando de eliminación d. Para aclarar el uso de sed, tome la salida del comando factor `seq 12`, que devuelve los factores primos de los números del 1 al 12:

La eliminación de la primera línea con sed se logra mediante 1d:

Se puede especificar un rango de líneas con una coma separadora:

Se puede utilizar más de una instrucción en la misma ejecución, separadas por punto y coma. En este caso, sin embargo, es importante encerrarlos entre comillas dobles para que el punto y coma no sea interpretado por el shell:

En este ejemplo, se ejecutaron dos instrucciones de eliminación, primero en las líneas que van del 1 al 7 y luego en la línea 11. Una dirección también puede ser una expresión regular, por lo que sólo las líneas con una coincidencia se verán afectadas por la instrucción:

La expresión regular :2.* coincide con cualquier aparición del número 2 en cualquier lugar después de dos puntos, lo que provoca la eliminación de las líneas correspondientes a los números con 2 como factor. Con sed, cualquier cosa colocada entre barras (/) se considera una expresión regular y, por defecto, se admiten todos los RE básicos. Por ejemplo, sed -e "/^#/d" /etc/services muestra el contenido del archivo /etc/services sin las líneas que comienzan con # (líneas de comentarios).

La instrucción de eliminación d es sólo una de las muchas instrucciones de edición proporcionadas por` sed`. En lugar de eliminar una línea, sed puede reemplazarla con un texto dado:

La instrucción c REMOVED simplemente reemplaza una línea con el texto REMOVED. En el caso del ejemplo, cada línea con una subcadena que coincida con la expresión regular :.*2.* se ve afectada por la instrucción c REMOVED. La instrucción a TEXT copia el texto indicado por TEXT en una nueva línea después de la línea con una coincidencia. La instrucción r FILE hace lo mismo, pero copia el contenido del archivo indicado por FILE. La instrucción w hace lo contrario de r, es decir, la línea se agregará al archivo indicado.

Con mucho, la instrucción sed más utilizada es s/FIND/REPLACE/, que se utiliza para reemplazar una coincidencia de la expresión regular FIND con el texto indicado por REPLACE. Por ejemplo, la instrucción s/hda/sda/ reemplaza una subcadena que coincide con el literal RE hda con sda. Sólo se reemplazará la primera coincidencia que se encuentre en la línea, a menos que la opción g se coloque después de la instrucción, como en s/hda/sda/g.

Un estudio de caso más realista ayudará a ilustrar las características de sed. Suponga que una clínica médica desea enviar mensajes de texto a sus clientes, recordándoles sus citas programadas para el día siguiente. Un escenario de implementación típico se basa en un servicio de mensajería instantánea profesional, que proporciona una API para acceder al sistema responsable de entregar los mensajes. Estos mensajes generalmente se originan en el mismo sistema que ejecuta la aplicación que controla las citas del cliente, activados a una hora específica del día o algún otro evento. En esta situación hipotética, la aplicación podría generar un archivo llamado citas.csv que contenga datos tabulados con todas las citas para el día siguiente, luego usado por sed para procesar los mensajes de texto de un archivo de plantilla llamado template.txt . Los archivos CSV son una forma estándar de exportar datos de consultas de bases de datos, por lo que las citas de muestra se pueden proporcionar de la siguiente manera:

La primera línea contiene las etiquetas de cada columna, que se utilizarán para hacer coincidir las etiquetas dentro del archivo de plantilla de muestra:

Los signos de menos de < y de mayor que > se colocaron alrededor de las etiquetas sólo para ayudar a identificarlas como etiquetas. El siguiente script de Bash analiza todas las citas en cola usando template.txt como plantilla de mensaje:

Un script de producción real también controlaría la autenticación, la verificación de errores y el registro, pero se trata de un ejemplo con funcionalidad básica para empezar. Las primeras instrucciones ejecutadas por sed se aplican sólo a la primera línea — the address 1 in 1s/^"//;1s/","/\n/g;1s/"$//p  — para eliminar las comillas iniciales y finales — 1s/^"// y 1s/"$//  — y reemplazar los separadores de campo con un carácter de nueva línea: 1s/","/\n/g. Solo se necesita la primera línea para cargar los nombres de las columnas, por lo que las líneas que no coincidan se suprimirán con la opción -n, lo que requiere que la marca p se coloque después del último comando sed para imprimir la línea coincidente. Luego, las etiquetas se almacenan en la variable TAGS como una matriz Bash. Otra variable de tipo matriz Bash es creada por el comando mapfile para almacenar las líneas que contienen las citas en la variable de matriz ROWS.

Se emplea un bucle for para procesar cada línea de cita que se encuentra en ROWS. Luego, las comillas y los separadores en la cita - la cita está en la variable ${ROWS[$r]} usada como una here string - se reemplazan por sed, de manera similar a los comandos usados para cargar las etiquetas. Los valores separados para la cita se almacenan en la variable de matriz VALS, donde los subíndices de matriz 0, 1 y 2 corresponden a los valores de NAME, TIME y PHONE.

Finalmente, un bucle anidado for recorre la matriz TAGS y reemplaza cada etiqueta que se encuentra en la plantilla con su valor correspondiente en VALS. La variable MSG contiene una copia de la plantilla renderizada, actualizada por el comando de sustitución s/<${TAGS[$c]}>/${VALS[$c]}/g en cada iteración de bucle a través de TAGS.

Esto da como resultado un mensaje como: "Hey Carol, don’t forget your appointment tomorrow at 11am." El mensaje se puede enviar como un parámetro a través de una solicitud HTTP con curl, como un mensaje de correo o cualquier otro método similar.

Los comandos grep y sed pueden usarse juntos cuando se requieren procedimientos de minería de texto más complejos. Como administrador del sistema, es posible que desee inspeccionar todos los intentos de inicio de sesión en un servidor, por ejemplo. El archivo /var/log/wtmp registra todos los inicios y cierres de sesión, mientras que el archivo /var/log/btmp registra los intentos fallidos de inicio de sesión. Están escritos en formato binario, que se pueden leer con los comandos last y lastb, respectivamente.

La salida de lastb muestra no solo el nombre de usuario utilizado en el intento de inicio de sesión incorrecto, sino también su dirección IP:

La opción -d traduce el número de IP al nombre de host correspondiente. El nombre de host puede proporcionar pistas sobre el ISP o el servicio de alojamiento utilizado para realizar estos intentos de inicio de sesión incorrectos. La opción -a coloca el nombre de host en la última columna, lo que facilita el filtrado aún por aplicar. La opción --time-format notime suprime la hora en que se produjo el intento de inicio de sesión. El comando lastb puede tardar algún tiempo en completarse si hubo demasiados intentos de inicio de sesión incorrectos, por lo que la salida se limitó a diez entradas con la opción -n 10.

No todas las direcciones IP remotas tienen un nombre de host asociado, por lo que el DNS inverso no se aplica a ellas y se pueden descartar. Aunque se podría escribir una expresión regular para que coincida con el formato esperado para un nombre de host al final de la línea, probablemente sea más sencillo escribir una expresión regular para que coincida con una letra del alfabeto o con un solo dígito al final de la línea. El siguiente ejemplo muestra cómo el comando grep toma el listado en su entrada estándar y elimina las líneas sin nombre de host:

El comando grep con la opción -v, muestra solo las líneas que no coinciden con la expresión regular dada. Una expresión regular que coincida con cualquier línea que termine con un número (es decir, [0-9]$) capturará solo las entradas sin un nombre de host. Por lo tanto, grep -v '[0-9]$' mostrará solo las líneas que terminan con un nombre de host.

La salida se puede filtrar aún más, manteniendo solo el nombre de dominio y eliminando las otras partes de cada línea. El comando sed puede hacerlo con un comando de sustitución para reemplazar toda la línea con una referencia al nombre de dominio en ella:

El paréntesis de escape en .* \(.*\)$ indica a sed que recuerde esa parte de la línea, es decir, la parte entre el último carácter de espacio y el final de la línea. En el ejemplo, se hace referencia a esta parte con \1 y se usa para reemplazar la línea completa.

Está claro que la mayoría de los hosts remotos intentan iniciar sesión más de una vez, por lo que el mismo nombre de dominio se repite. Para suprimir las entradas repetidas, primero se deben ordenar (con el comando sort) y luego pasar al comando uniq:

Esto muestra cómo se pueden combinar diferentes comandos para producir el resultado deseado. La lista de nombres de host se puede utilizar para escribir reglas de bloqueo de firewall o para tomar otras medidas para hacer cumplir la seguridad del servidor.