英文：jelvy，编译：伯乐在线-巽离
如有好文章投稿，请点击→这里相识详情
纯熟地操纵下令行是一项常常被我们忽视的技能，又大概说我们将它看的太过秘密。不外作为一名软件工程师，把握这一技能可以很洪流平上提拔我们工作的机动性，进步工作服从。这篇文章是我在与Linux打交道的过程中总结出的一些小本领。有些很底子，有些也相称专业，不太好懂。这篇文章不长，不外假如你能在工作中充实利用这里先容的技能的话，那你也知之甚多了。
这里的很多内容一开始已出如今Quora，但思量到Github的用户性子，他们比我有天赋而且可以随时提出改进意见，因此利用Github更符合。假如你在本文中发现了错误大概存在可以改进的地方，请果断提交Issue或PullRequest！(固然在提交前请看一下必读节和已有的PR/issue）。
必读
这篇文档对新手与专家两适宜。我们的目标是覆盖面广（只管包罗统统紧张的内容），具体（给出最常见的具体的例子）以及简便（克制一些不须要以及不干系的东西）。这里先容的小本领大概在某个特定情境下至关紧张，又大概可以或许明显地节省时间。
本文为Linux所写，除了“仅限MacOS体系”一节。别的节中的大部分内容都实用于别的Unix体系或MacOS体系，乃至Cygwin。
固然我们先容大多数本领对其他shell以及Bash脚本同样管用，但是本文的关注点是：交互式Bash。
这里涵盖了“标准”Unix下令以及其他必要安装指定软件包的下令——只要这个下令充足紧张，充足管用，我就会在这里提一提。
编注：为了控制篇幅，有些内容包罗在引用内里。你也可以通过google之类的工具来搜刮具体信息。利用apt-get/yum/dnf/pacman/pip/brew等下令来安装新程序。
利用Explainshell来获取下令、选项、管道等相干信息的资助。
底子
学习底子的bash用法，具体地说，阅读bash的man手册（manbash并通读一遍）；很简单而且不长。其他的shell也同样可以，不外bash是最通用的（假如只学习zsh,fish等，大概在你本身的工作环境中会用的很顺畅，但是换个场景就歇菜了，比如在服务器上操纵）。
至少学习一种文本编辑器。最好是vim(vi)，在终端随机编辑文档方面，其他编辑器跟它相比没有一点竞争力（纵然大部分时间你用的是其他一些大型IDE，比如Emacs，大概一些其他时髦的编辑器）。
知道怎样通过man来阅读文档(好奇心重的人大概就直接manman了，列出差别章节号，如：1表现平凡的shell下令，5表现文件格式和规范，8代表体系管理下令等)。学会利用apropos来查找man手册。要知道有些下令不是可实行文件，而是bash内置的，对于这种下令呢，可以利用help大概help-d来获取资助(比方cd)。
学会利用和来重定向输入输出，学会利用|来创建管道。相识用于覆盖输出文件，用户追加到输出文件。学习标准输出stdout和标准错误stderr。
学习文件通配符*(大概尚有?和{…})和引用，明白双引号和单引号的区别。(具体信息看下面的变量睁开)
纯熟把握bash的任务管理器：、ctrl-z、ctrl-c、jobs、fg、bg、kill等等。
认识ssh,而且知道怎样通过ssh-agent，ssh-add等实现无暗码认证。
根本的文件管理下令：ls和ls-l(特别地，你得知道ls-l结果中的每一列是什么意思)，less,head,tail和tail-f(最好也弄清楚less+F是嘛意思)，ln和ln-s(相识硬链接和软毗连的区别和优缺点),chown,chmod,du(磁盘利用环境:du-hk*)。对文件体系来说，df,mount,fdisk,mkfs,lsblk。
根本的网络管理下令：ip大概ifconfig，dig。
纯熟把握正则表达式，以及grep/egrep工具的多种标记。有须要知道-i,-o,-A以及-B选项的意思。
学会利用apt-get,dnf大概pacman(根据差别的发行版选择)来查找大概安装软件包。确保你安装了pip来安装python相干的下令行工具。(下面先容的那些工具都可以利用pip来安装)
一样平常利用
在Bash中，利用Tab键来补全下令，利用ctrl-r来查询汗青下令。
在Bash中，利用ctrl-w来删除上一个单词，ctrl-u删除整行下令。利用alt-b和alt-f来逐单词向前向后跳转，ctrl-k将鼠标位置到行末的全部字符删除，ctrl-l清屏。查察manreadline中的”KeyBindings”这一节相识Bash中默认的组合键。尚有其他的很多，比如说alt-.可以用来上翻之前的下令，alt-*扩展为当前目次下的全部文件。
假如你偏好vi风格的组合键，可以set-ovi。
利用history下令查察近期的下令。尚有其他很多简写下令，比如!$表现上一个参数，!!实行上一条下令等。不外通常我们更常用的是ctrl-r和alt-.。
回到上一个工作目次：cd–
假如你下令敲到一半发现尚有其他事没做，想要稍后实行，怎么办呢？利用alt-#给这条下令行首加上#，再回车当做一条解释(大概利用ctrl-a,#,回车)。之后通过汗青下令找它返来继承往下敲。
Xargs大概parallel下令也很管用。我们还可以利用-L大概-P选项限定每行参数个数。假如对实行结果不确定的话，可以先用xargsecho查察。同样，-I{}选项用起来也很顺手。比方：
find.-name'*.py'|xargsgrepsome_function
cathosts|xargs-I{}sshroot@{}hostname
【增补：find.-name“.dsc”|xargs-L2echo可以将当前目次下全部.dsc文件列出，而且限定每行表现两项。
find.-name“.dsc”|xargs-I{}mv{}{}.bak可以将当前目次下全部后缀为.dsc的文件更名为.dsc.bak
-I选项告知xargs用每项的名称更换{}】
Pstree-p可以很清楚的展示进程树。
利用pgrep和pkill来根据名称找出进程大概向进程发送信号(留意-f的用法)
相识一些发送给进程的信号。比如，可以利用kill-STOP[pid]来克制进程。Man7signal查察全部列表。
利用nohup大概disown下令让程序在背景不停运行。
通过netstat-lntp大概ss-plat下令来查抄哪些进程正在监听端口(默认环境下监听TCP端口，利用-u监听UDP)。
利用lsof查察全部打开的套接字和文件。详情自man
利用alias给常用下令创建别名。比方aliasll=’ls-latr’为我们创建新的别名ll。
在Bash脚本中，利用set-x来调试输出。尽大概的利用严格模式。假如盼望制止我们的程序发生错误的环境下还继承运行，可以通过设置set-e来限定。还可以利用set-opipefail来严格限定错误(话说这种题目比力玄妙，必要多意会)。对于比力复杂而扳连甚多的脚本，可以利用trap。
在Bash脚本中，子shell(用括号包罗)可以用来很方便的构造下令。一个常见用法是临时切换到差别的工作目次，比方：
#在当前目次工作
(cd/some/other/dirother-command)
#继承在原目次工作
请留意，在Bash中有多种变量睁开的方式。
查抄某变量是否存在：${name:?errormessage}。比方：假如某个Bash脚本必要一个参数，input_file=${1:?usage:$0input_file}就可以。
数学睁开式：i=$(((i+1)%5))
序列：{1..10}
截断字符串：${var%suffix}和${var#prefix}，比方var=foo.pdf，下令echo${var%.pdf}.txt打印foo.txt。
通过(somecommand)这种方式可以将下令的输出视为文件。比方，比力本地和长途的/etc/hosts文件：
diff/etc/hosts(sshsomehostcat/etc/hosts)
要知道Bash中“heredocuments”的用法，比如catEOF…【manbash,搜刮HereDocuments】
在Bash中，通过:some-commandlogfile21的方式来重定向标准输出和标准错误。通常的，为了包管你实行的下令不会在标准输入中残留一个打开的文件句柄，导致无法操纵终端，最佳实践是加上/dev/null.
利用manascii查察十六进制和十进制值的ASCII表。manunicode，manutf-8，以及manlatin1有助于你去相识通用的编码信息。
利用screen大概tmux下令来操纵多屏，尤其是在毗连长途session、断开大概重连session等环境下非常实用。另一个轻量级的生存会话的工具是dtach。
ssh中，相识怎样利用-L或-D（偶尔必要用-R）去开启隧道黑白常有效的，比方当你必要从一台长途服务器上访问web。
优化ssh设置偶然间大概很管用，比方下面这个~/.ssh/config修改了一些设置，相对于利用默认设置的其他服务器来说，它可以有效克制特定网络环境下毗连被扬弃，利用压缩数据(有效用于低带宽毗连中的scp操纵)，以及多通道等：
TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
Compression=yes
ControlMasterauto
ControlPath/tmp/%r@%h:%p
ControlPersistyes
SSH尚有其他一些安全相干的选项，须警惕利用，比方在单个子网、主机大概可信托的网络中：
StrictHostKeyChecking=no，ForwardAgent=yes
获取文件的八进制格式的权限，这种权限在体系设置中很管用，但是ls并不表现，而且很轻易搞砸。可以利用这条下令：
stat-c'%A%a%n'/etc/timezone
从别的一条下令中，以交互的方式选择值，可以利用percol大概fzf。
利用fpp来与其他下令输出的文件交互(如git)【facebookPathPicker,github上的项目，比方gitstatus|fpp,find.-name“*.vala”|fpp】
对一个简单的web服务器来说，将当前目次下全部的目次（包罗子目次）展示给所处网络的全部用户，利用：python-mSimpleHTTPServer7777（利用端口7777和Python2）或python-mhttp.server7777（利用端口7777和Python3）。
以某种权限来实行下令，利用sudo（root权限）或sudo-u（其他用户）。利用su大概sudobash来启动一个指定用户权限运行的shell。利用su-模仿其他用户的登录。
文件和数据处理惩罚
在当前目次下找到某名称的文件，find.-iname‘*something’(或其他雷同方式)。找到其他恣意位置的某个文件，利用locatesomething(但请留意：updatedb大概无法索引到新增的文件)
在源代码或数据文件中搜刮，利用ag(比grep-r更好)。
将HTML文件转化为文本格式：lynx-dump-stdin
可以试试pandoc来对Markdown、HTML以及其他各种文件举行格式转换。
假如某些环境下你必要处理惩罚XML数据，那么试试xmlstarlet吧，固然它有点汗青沧桑感但简直挺好用的。
对JSON数据来说，用jq。
对于Excel大概CSV文件，csvkit提供诸如in2csv,csvcut,csvjoin,csvgrep等实用小工具。
关于AmazonS3，s3cmd很方便而s4cmd更快。Amazon官方的aws工具是其他AWS相干工作的基石。
相识怎样利用sort和uniq，包罗uniq的-u参数和-d参数，详见后文“一行下令”节。别的可以相识一下comm。
相识怎样利用cut，paste和join来更改文件。很多人都会利用cut，但险些都不会利用join。
相识怎样运用wc去盘算新行数（-l），字符数（-m），单词数（-w）以及字节数（-c）。
知道用tee来将标准输入的内容复制到文件大概标准输出，就像ls-al|teefile.txt
要知道语言环境大概对很多下令行工具产生玄妙地影响，包罗排序的次序和性能。大多数Linux的安装过程会将LANG或其他有关的变量设置本地化。但是请留意当你改变语言环境后，排序的结果大概会随之变革。而且国际化大概会大大低落sort或其他下令的运行服从。某些环境下（比方聚集运算、去重操纵等）你可以放心的利用exportLC_ALL=C来忽略掉国际化并利用基于字节的次序。
相识awk和sed关于数据的简单处理惩罚的用法。比方，将文本文件中第三列的全部数字求和：
awk'{x+=$3}END{printx}'
这可比Python实现的代码量少三倍也快三倍。
perl-pi.bak-e's/old-string/new-string/g'my-files-*.txt
更换一个或多个文件中出现的字符串：
perl-pi.bak-e's/old-string/new-string/g'my-files-*.txt
利用rename完成批量文件的重定名。对于更复杂的环境，可以利用repren[https://github.com/jlevy/repren]
#将备份文件foo.bak还原至foo
rename‘s/.bak$//’*.bak
#将全部的文件名、目次、内容等全部重定名
repren--full--preserve-case--fromfoo--tobar.
利用shuf从一个文件中随机选取行。
相识sort的参数。处理惩罚数字方面，利用-n大概-h来处理惩罚可读性数字（比方du-h的输出）。明白关键字的工作原理（-t和-k）。请留意！假如你想要仅按第一个域来排序必要-k1,1；-k1意味着按整行排序。稳固排序（sort-s）在某些环境下很有效。比方，以第二个域为主关键字，第一个域为次关键字举行排序，你可以利用sort-k1，1|sort-s-k2，2。
假如你想在Bash下令行中写tab制表符(举个栗子：sort的-t参数指定分隔符：sort-t”tab”-k2sortfile)，按下ctrl-v[Tab]或键入$’t’（后者大概更好，由于你可以复制粘贴它）。
标准的源代码对比及归并工具是diff和patch。利用diffstat查察变动总览数据。留意到diff-r对整个文件夹有效。利用diff-rtree1tree2|diffstat查察变动总览数据。
对于二进制文件，利用hd使其以十六进制表现以及利用bvi来编辑二进制。
同样对于二进制文件，利用strings（加上grep等等）答应你查找一些文本。
二进制文件对比（Delta压缩），利用xdelta3。
利用iconv更改文本编码。而更高级的用法，可以利用uconv，它支持一些高级的Unicode功能。比方，这条下令将全部元音字母转为小写并移除了：
uconv-futf-8-tutf-8-x'::Any-Lower;::Any-NFD;[:NonspacingMark:];::Any-NFC;'input.txtoutput.txt
拆分文件，查察split（按巨细拆分）和csplit（按模式拆分）。
利用zless，zmore，zcat和zgrep对压缩过的文件举行操纵。
体系调试
对于web调试来说，curl和curl-I都是很趁手的工具，它们的好基友wget也不错，大概是更时尚一点的httpie。
利用iostat、netstat、top（htop更佳）和dstat去获取硬盘、cpu和网络的状态。纯熟把握这些工具可以使你快速的对体系的当前状态有一个大概相识。
若要对体系有一个深度的总体认识，利用glances。它在一个终端窗口中向你提供一些体系级的数据。这对于快速的查抄各个子体系非常有资助。
若要相识内存状态，运行并明白free和vmstat的输出。尤其留意“cached”的值，它指的是Linux内核用来作为文件缓存的内存巨细，因此它与空闲内存无关。
Java体系调试则是另一码事了，不外有一个简单的小本领可以用于Oracle的JVM或其他JVM，运行kill-3pid会将一个完备的栈轨迹和堆概述（包罗GC的细节）生存到标准输出/日记文件。
利用mtr去跟踪路由，用于确定网络题目。
用ncdu来查察磁盘利用环境，它比常用的下令，如du-sh*，更节流时间。
查找正在利用带宽的套接字毗连或进程，利用iftop或nethogs。
ab工具（捆绑于Apache）可以简单粗暴地查抄web服务器的性能。对于更复杂的负载测试，利用siege。
wireshark，tshark和ngrep可用于复杂的网络调试。
相识strace和ltrace。当你想知道程序运行失败、挂起乃至瓦解的缘故起因，大概你想对性能有个总体相识的话，这两个工具非常管用。留意profile参数（-c）和附加到一个运行的进程参数（-p）。
相识ldd下令来查抄共享库等等。
知道怎样用gdb来调试运行程序并获取堆栈轨迹。
学会利用/proc。它在调试正在出现的题目的时间偶然会结果惊人。比如：/proc/cpuinfo，/proc/meminfo，/proc/cmdline，/proc/xxx/cwd，/proc/xxx/exe，/proc/xxx/fd/，/proc/xxx/smaps。
假如想调试已经发生的题目，sar显得很管用。它会列出CPU、内存、网络等汗青统计数据。
关于更深条理的体系分析以及性能分析，看看stap（SystemTap），perf，以及sysdig。
查察你当前利用的体系，利用uname大概uname-a（Unix／kernel信息）orlsb_release-a（Linux发行版信息）。
假如某些题目看起来稍显搞笑，试试查察dmesg信息（大概是硬件或驱动题目）。
一行下令
一些组合下令：
当你必要对文本文件做聚集交、并、差运算时，sort/uniq连合出击显得非常管用。假设a与b是两个内容差别且去重的文件。这种方式服从很高，而且对各种巨细的文件都实用，不管是在小文件还是上G的大文件。（sort不受内存束缚，不外假如/tmp所处的根分区容量有限，你大概必要-T参数），参阅前文中关于LC_ALL和sort的-u参数的部分。
catab|sort|uniqc#cisaunionb
catab|sort|uniq-dc#cisaintersectb
catabb|sort|uniq-uc#cissetdifferencea-b
利用grep.*下令来查抄目次下全部文件的内容，比方那些包罗很多设置设置的目次：/sys/,/proc/,/etc。
对文本文件中第三列数据盘算总和(相比python快三倍，代码量却只有python的1/3):
awk'{x+=$3}END{printx}'myfile
假如想查察目次树中文件的巨细大概日期，下面这条下令雷同递归的ls-l,但是输出结果比ls-lR更易读：
find.-typef-ls
Xargs大概parallel下令也很管用。我们还可以利用-L大概-P选项限定每行参数个数。假如对实行结果不确定的话，可以先用xargsecho查察。同样，-I{}选项用起来也很顺手。比方：【前面已经有了，内容重复】
find.-name'*.py'|xargsgrepsome_function
cathosts|xargs-I{}sshroot@{}hostname
假设你有一个雷同于web服务器日记文件的文本文件，而且某个特定值只会出如今某些行上，比如会在URL中出现的acct_id参数。假如你想盘算出每个acct_id值有多少次哀求，利用如下代码：
运行这个函数从这篇文档中随机获取一条小本领（分析Markdown文件并抽取项目）：
functiontaocl(){
curl-shttps://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md|
pandoc-fmarkdown-thtml|
xmlstarletfo--html--dropdtd|
xmlstarletsel-t-v"(html/body/ul/li[count(p)0])[$RANDOMmodlast()+1]"|
xmlstarletunesc|fmt-80
}
管用的小冷门
expr：盘算表达式、布尔操纵或正则匹配
m4：简单地宏处理惩罚器
yes：多次打印字符串
cal：日历
env：实行一个下令（脚本文件中很有效）
printenv:打印环境变量(在调试时大概脚本中很管用)
look:找出以某字符串开头的英文单词(大概文件中的某一行)
cut,paste和join:数据处理惩罚
fmt:格式化文本段落
pr:将文本格式化为页数据大概列数据
fold：封装文本中的行【比如-w指定宽度，不利用默认的80】
Column:将文本格式化为列大概表数据
expand和unexpand：制表符与空格之间转换
nl：添加行号
seq：打印序列数字
bc：盘算器
factor：分解因数【比方factor100，输出2255】
gpg：加密并署名文件
toe：终端范例列表
nc：网络调试及数据传输
socat：套接字署理，与netcat雷同
slurm：网络负载监督器
dd：在文件或装备间传输数据
file：确定文件范例
tree：以树的情势表现路径和文件，雷同于ls，不外这条下令会递归表现
stat：文件信息
time：实行下令，并盘算实行时间
tac：反向输出文件
Shuf：将文件中的数据随机选择分列
comm：逐行比力已排序的文件
pv：监控通过管道的数据
hd和bvi：生存大概编辑二进制文件
strings：提取二进制文件的文本内容
Tr：字符转换与处理惩罚
Iconv或uconv：文本编码的转换
Spit和scplit：分割文件
Sponge:在写之前读取全部输入，在对同一个文件读写很管用，比方：grep-vsomethingsome-file|spongesome-file【将文件中全部匹配something的行都删除】
units：单位转化与盘算；将一种计量单位转换为另一种等效的计量单位（参阅/usr/share/units/definitions.units）
7z:一种高效的压缩工具
Ldd：查察动态库的信息
Nm：提取可实行文件大概obj文件的符号
Ab：web服务器性能分析工具
Strace：调试体系调用
Mtr：网络调试跟踪工具
Cssh：可视化的并发shell
Rsync：可用于长途文件目次同步
Wireshark和tshark：抓取包与网络调试
Ngrep：网络层的grep工具
Host和dig：DNS查找
Lsof：处理惩罚文件形貌符和socket信息【列出全部打开的文件】
dstat：通用的系齐备计工具
glances：高条理的多子体系概览
iostat：CPU和硬盘利用状态
htop：top的加强版
last：登入汗青记录
w：当前登岸用户
id：用户/组ID信息
sar：体系汗青数据统计
iftop或nethogs：套接字及进程的网络利用率
ss：套接字数据统计
dmesg：引导及体系错误信息
hdparm：SATA/ATA磁盘操纵及性能分析
lsb_release：Linux发行版信息
lsblk：列出块装备信息：树状图展示你的磁盘以及磁盘分区信息
lshw，lscpu，lspci，lsusb和dmidecode：查察硬件信息，包罗CPU、BIOS、RAID、显卡、其他装备等
fortune，ddate和sl：开个打趣……假如对心灵鸡汤大概奔驰的小火车感爱好的话，可以本身试试
仅限MacOS
以下是仅限于MacOS体系的本领
用brew（Homebrew）大概port（MacPorts）举行包管理。这些可以用来在Mac体系上安装以上的大多数下令。
用pbcopy复制任何下令的输出到桌面应用，用pbpaste粘贴输入。
用open大概open-a/Applications/Whatever.app利用桌面应用打开文件。
Spotlight：用mdfind搜刮文件，用mdls列出元数据（比方照片的EXIF信息）。
留意MacOS体系是基于BSDUNIX的，很多下令（比方ps，ls，tail，awk，sed）都和Linux中有些微的差别，受SystemV-styleUnix和GNU工具影响很大。你可以通过标题为“BSDGeneralCommandsManual”的man页面发现这些差别。在有些环境下GNU版本的下令也大概被安装（比方gawk和gsed对应GNU中的awk和sed）。假如要写跨平台的Bash脚本，克制利用这些下令（比方，思量Python大概perl）大概颠末细致的测试。
免责声明
除了特别不起眼的功能外，为了方便各人阅读，这里写了一些shell脚本代码。但是陪伴着力气而来的是责任。总之，运行需审慎。
看完本文有劳绩？请分享给更多人
关注「Linux爱好者」，提拔Linux技能
CopyrightYourWebSite.SomeRightsReserved.
京ICP备2023016396号-1PoweredByESCLINK.
我要评论