02.Linux重定向与管道

徐亮伟, 江湖人称标杆徐。多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。擅长Web集群架构与自动化运维，曾负责国内某大型电商运维工作。
个人博客"徐亮伟架构师之路"累计受益数万人。
笔者Q:552408925、572891887
架构师群:471443208

为何要使用重定向

1.当屏幕输出的信息很重要，而且希望保存重要的信息时；
2.后台执行中的程序，不希望他干扰屏幕正常的输出结果时；
3.系统的例行命令, 例如定时任务的执行结果，希望他可以存下来时；
4.一些执行命令，我们已经知道他可能出现错误信息, 想将他直接丢弃时;
5.错误日志与标准正确日志需要分别输出至不同的文件;

1.1标准输入与输出

执行一个shell程序时通常会自动打开三个标准文件

标准输入（STDIN，文件描述符为0）：通常对应终端的键盘，也可从其他文件或命令或者文件内容中输入。
标准输出（STDOUT，文件描述符为1）：默认输出到屏幕。
错误输出（STDERR，文件描述符为2）：默认输出到屏幕。
文件名称（filename，文件描述符为3+）

进程将从标准输入中得到数据，将正常输出打印至屏幕终端，将错误的输出信息也打印至屏幕终端。
进程使用文件描述符(file descriptors)来管理打开的文件

以cat命令为例, cat命令的功能是从命令行给出的文件中读取数据，并将这些数据直接送到标准输出。若使用如下命令：

[root@xuliangwei ~]# cat /etc/passwd

将会把文件/etc/passwd的内容依次显示到屏幕上。但如果cat命令行中没有参数, 它就会从标准输入中读取数据, 并将其送到标准输出。

[root@xuliangwei ~]# cat
hello
hello
^C
//用户输入的每一行都立刻被cat命令输出到屏幕上。

输入输出过程检测

//持续追踪查看文件内容
[root@xuliangwei ~]# tail -f /etc/passwd
ctrl+z 将进程转到后台

//查看运行的进程
[root@xuliangwei ~]# ps
PID TTY          TIME CMD
5848 pts/1    00:00:00 bash
6885 pts/1    00:00:00 tail
6888 pts/1    00:00:00 ps

//查看6885进程下的文件描述符
[root@xuliangwei ~]# ls -l /proc/6885/fd
total 0
lrwx------ 1 root root 64 Dec  3 06:57 0 -> /dev/pts/1
lrwx------ 1 root root 64 Dec  3 06:57 1 -> /dev/pts/1
lrwx------ 1 root root 64 Dec  3 06:56 2 -> /dev/pts/1
lr-x------ 1 root root 64 Dec  3 06:57 3 -> /etc/passwd
lr-x------ 1 root root 64 Dec  3 06:57 4 -> inotify

//Linux查看标准输入输出设备
[root@xuliangwei ~]# ls -l /dev/std*
lrwxrwxrwx 1 root root 15 Dec  2 22:30 /dev/stderr -> /proc/self/fd/2
lrwxrwxrwx 1 root root 15 Dec  2 22:30 /dev/stdin -> /proc/self/fd/0
lrwxrwxrwx 1 root root 15 Dec  2 22:30 /dev/stdout -> /proc/self/fd/1

1.2输出重定向

重定向: 改变标准输入、标准输出的方向的就是重定向

标准覆盖输出重定向 >
标准追加输出重定向 >>
错误覆盖输出重定向 2>
错误追加输出重定向 2>>
输入重定向 <

类型 操作符 用途
标准覆盖输出重定向 > 将命令的执行结果输出到指定的文件中, 而不是直接显示在屏幕上
标准追加输出重定向 >> 将命令执行的结果追加输出到指定文件
标准输入重定向 << 将命令中接收输入的途径由默认的键盘更改为指定的文件

案例1: 标准输出重定向(覆盖)

//标准输出重定向, 先清空,后写入, 如果文件不存在则创建
[root@xuliangwei ~]# ifconfig eth0 > abc

案例2: 标准输出重定向(追加)

//标准追加输出重定向, 向配置文件末尾追加内容
[xuliangwei@xuliangwei ~]$ echo "This is network conf" >> if

案例3: 错误输出重定向

//正确输出以及错误输出重定向至一个文件
[root@xuliangwei ~]# useradd xuliangwei
[root@xuliangwei ~]# su - xuliangwei

//将标准输出和标准错误输出重定向到不同文件
[xuliangwei@xuliangwei ~]$ find /etc -name "*.conf" 1>a 2>b

案例4: 正确和错误都输入到相同位置

//将标准输出和标准错误输出重定向到同一个文件, 混合输出
[xuliangwei@xuliangwei ~]$ find /etc -name "*.conf" &>ab

//合并两个文件内容至一个文件
[xuliangwei@xuliangwei ~]$ cat a b > c

案例5: 正确和错误都输入到相同位置

//重定向到相同的位置
[root@xuliangwei ~]# ls /root /error >ab  2>&1

案例6: 重定向到空设备/dev/null

//空设备，即将产生的输出丢掉
[root@xuliangwei ~]# ls /root /error >ab 2>/dev/null
[root@xuliangwei ~]# ls /root /error >ab &>/dev/null


//思考
[root@xuliangwei ~]# cp /etc/passwd /dev/null
[root@xuliangwei ~]# cp /etc/passwd /etc/passwd1 2>/dev/null

如果/dev/null 设备被删除 
[root@xuliangwei ~]# rm -f /dev/null

//1.手动创建
[root@xuliangwei ~]# mknod -m 666 /dev/null c 1 3
//2.重启自动创建

MAJOR主设备号  MINOR从设备号
主设备号相同: 表示为同一种设备类型，也可以认为 kernel 使用的是相同的驱动 
从设备号:在同一类型设备中的一个序号

案例7: 脚本中使用重定向

[root@xuliangwei ~]# vim ping.sh 
ping -c1 192.168.69.113
if [ $? -eq 0 ];then
    echo "192.168.69.113 is up." 
else
    echo "192.168.69.113 is down." 
fi
[root@xuliangwei ~]# chmod +x ping.sh 
[root@xuliangwei ~]# ./ping.sh

//改进后版
[root@xuliangwei ~]# vim ping.sh
ping -c1 192.168.69.113 &>/dev/null
if [ $? -eq 0 ];then
    echo "192.168.69.113 is up." 
else
    echo "192.168.69.113 is down." 
fi

案例8: 脚本中使用重定向

[root@xuliangwei ~]# vim ping2.sh 
ping -c1 192.168.69.113 &>/dev/null 
if [ $? -eq 0 ];then
    echo "192.168.69.113 is up." >>up.txt 
else
    echo "192.168.69.113 is down." >>down.txt 
fi
[root@xuliangwei ~]# chmod +x ping2.sh 
[root@xuliangwei ~]# ./ping2.sh

1.3输入重定向

标准输入: < 等价 0<

案例1

//没有改变输入的方向，默认键盘
[root@xuliangwei ~]# mail alice 
Subject: hello
1111 
2222
3333
.   //结束
EOT

//检查是否收到邮件
[root@xuliangwei ~]# su - alice
[root@xuliangwei ~]# mail


//输入重定向，来自于文件
[root@xuliangwei ~]# mail -s "test01" alice < /etc/hosts

案例2

////没有改变输入的方向，默认键盘，此时等待输入
[root@xuliangwei ~]# grep 'root' 
xxx
xxx

[root@xuliangwei ~]# grep 'root' < /etc/passwd
root:x:0:0:root:/root:/bin/bash

案例3

[root@xuliangwei ~]# dd if=/dev/zero of=/file1.txt bs=1M count=20
[root@xuliangwei ~]# dd </dev/zero >/file2.txt bs=1M count=20

案例4

//mysql 表结构导入
[root@xuliangwei ~]# mysql -uroot -p123 < bbs.sql

案例5: 利用重定向建立多行的文件

//手动执行 shell 命令
[root@xuliangwei ~]# echo "111" > file1.txt 
[root@xuliangwei ~]# cat file1.txt
111
[root@xuliangwei ~]# cat >file2.txt
111
222
333
^D

[root@xuliangwei ~]# cat >>file3.txt
aaa
bbb
ccc
^D

案例6: 利用重定向建立多行的文件

//脚本 script 创建多行文件
[root@xuliangwei ~]# vim create_file.sh 
cat >file200.txt <<EOF
111
222
333
yyy
ccc
EOF


[root@xuliangwei ~]# vim vm.sh
cat <<-EOF
+------------------- --- ---- --- ---- --- --- ---- --- --+ ||
| ====================== | 
| 虚拟机基本管理 v5.0 |
| by xuliangwei |
| ====================== | 
| 1. 安装 KVM |
| 2. 安装或重置 CentOS-6.9 | 
| 3. 安装或重置 CentOS-7.4 | 
| 5. 安装或重置 Windows-7  | 
| 6. 删除所有虚拟机 |
| q. 退出管理程序 |
+------------------- --- ---- --- ---- --- --- ---- --- --+ 
EOF

案例7: 两条命令同时重定向

[root@xuliangwei ~]# ls; date &>/dev/null
[root@xuliangwei ~]# ls &>/dev/null; date &>/dev/null
[root@xuliangwei ~]# (ls; date) &>/dev/null

//后台执行
[root@xuliangwei ~]# (while :; do date; sleep 2; done) &
[1] 6378
[root@xuliangwei ~]# (while :; do date; sleep 2; done) &>date.txt &
[root@xuliangwei ~]# jobs
[1]+ 运行中 ( while :; do date; sleep 2;
done ) &>/date.txt &

扩展点: subshell

[root@xuliangwei ~]# cd /boot; ls

//subshell 中执行
[root@xuliangwei ~]# (cd /boot; ls)

//如果不希望某些命令的执行对当前 shell 环境产生影响，请在subshell中执行

1.4进程管道技术

管道操作符号 "|" 连接左右两个命令, 将左侧的命令的标准输出, 交给右侧命令的标准输入

格式: cmd1 | cmd2 [...|cmdn]

案例1: 将/etc/passwd 中的用户按 UID 大小排序

[root@xuliangwei ~]# sort -t":" -k3 -n /etc/passwd 
[root@xuliangwei ~]# sort -t":" -k3 -n /etc/passwd -r 
[root@xuliangwei ~]# sort -t":" -k3 -n /etc/passwd |head

案例2: 统计当前/etc/passwd 中用户使用的 shell 类型

//思路:取出第七列(shell) | 排序(把相同归类)| 去重
[root@xuliangwei ~]# awk -F: '{print $7}' /etc/passwd
[root@xuliangwei ~]# awk -F: '{print $7}' /etc/passwd |sort
[root@xuliangwei ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq
[root@xuliangwei ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq -c

案例3: 统计出最占CPU的5个进程

[root@xuliangwei ~]# ps aux --sort=-%cpu |head -6

案例4: 统计网站的访问情况 top 20

//思路: 打印所有访问的连接 | 过滤访问网站的连接 | 打印用户的 IP | 排序 | 去重

[root@xuliangwei ~]# yum -y install httpd
[root@xuliangwei ~]# systemctl start httpd
[root@xuliangwei ~]# systemctl stop firewalld

[root@xuliangwei ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c
[root@xuliangwei ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c |sort -k1 -rn |head -n 20

案例5: 打印当前所有 IP

[root@xuliangwei ~]# ip addr |grep 'inet ' |awk '{print $2}' |awk -F"/" '{print $1}'
127.0.0.1
192.168.69.112

案例6: 打印根分区已用空间的百分比(仅打印数字)

[root@xuliangwei ~]# df |grep '/$' |awk '{print $5}' |awk -F"%" '{print $1}'

1.4.1tee管道技术

[root@xuliangwei ~]# ip addr |grep 'inet ' |tee ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'
127.0.0.1
192.168.69.112
192.168.122.1

[root@xuliangwei ~]# cat ip.txt
inet 127.0.0.1/8 scope host lo
inet 192.168.69.112/24 brd 192.168.69.255 scope global ens32
inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0

重定向与tee区别

[root@xuliangwei ~]# date > date.txt 
[root@xuliangwei ~]# date |tee date.txt

1.4.2参数传递xargs

将参数列表转换成小块分段传递给其他命令
读入stdin的数据转换为参数添加至命令后面
让一些不支持管道的命令可以使用管道。

管道命令符能让大家能进一步掌握命令之间的搭配使用方法，进一步提高命令输出值的处理效率。

[root@xuliangwei ~]# grep "/sbin/nologin" /etc/passwd | wc -l
33

[root@xuliangwei ~]# head -5 /etc/passwd|tail -1
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

//使用grep过滤输出信息
[root@xuliangwei ~]# ls -l /etc |grep pass
-rw-r--r--   1 root root   4653 Dec  2 15:54 passwd
-rw-r--r--.  1 root root   4606 Dec  2 15:54 passwd-
-rw-r--r--.  1 root root   1454 Sep 23  2014 passwd.OLD

//管道和标准输出以及标准错误输出, 使用普通用户执行如下命令
find /etc/ -name "p*"|grep passwd
find /etc/ -name "p*"|grep passwd > a
find /etc/ -name "p*"|grep passwd > b
find /etc/ -name "p*"|grep passwd &> ab

注意事项:

1.在管道后面的命令，都不应该在写文件名
2.在管道中只有标准输出才可以传递下一个命令, 标准错误输出会直接输出终端显示, 建议在使用管道前将标准错误输出重定向。
例如: find /etc -name "*.conf" 2>/dev/null | grep rc
3.有些命令不支持管道技术, 但是可以通过xargs来实现管道传递。
例如: which cat|xargs ls-l
例如: ls |xargs rm -rvf
例如: ls |xargs cp -rvft /tmp/ -> ls | xargs -I {} cp -rvf {} /tmp
例如: ls |xargs mv -t /tmp/ -> ls | xargs -I {} mv {} /tmp



« 02.Linux系统磁盘进阶
02.MySQL安装管理 »

Copyright © 2015 Powered by MWeb,  Theme used GitHub CSS.

TOP