目錄：

介紹工作原理正則表達(dá)式基本語(yǔ)法數(shù)字定址和正則定址基本子命令實(shí)戰(zhàn)練習(xí)

介紹

熟悉 Linux 的同學(xué)一定知道大名鼎鼎的 Linux 三劍客，它們是 grep、awk、sed，我們今天要聊的主角就是 sed。

sed 全名叫 stream editor，流編輯器，用程序的方式來(lái)編輯文本，與 vim 的交互式編輯方式截然不同。它的功能十分強(qiáng)大，加上正則表達(dá)式的支持，可以進(jìn)行大量的復(fù)雜文本的編輯操作。

實(shí)際上 sed 提供的功能非常復(fù)雜，有專門(mén)的書(shū)籍講解它。本文不會(huì)講 sed 的全部東西，只會(huì)從 sed 的工作原理、常見(jiàn)使用方法等方面進(jìn)行說(shuō)明和講解，同時(shí)也會(huì)給出大量的實(shí)踐用例來(lái)幫助更好的理解 sed 基本用法。文中的知識(shí)點(diǎn)真正掌握后，足以應(yīng)付平時(shí)工作中的基本需求。

它有自己的使用場(chǎng)景：

• 自動(dòng)化程序中，不適合交互方式編輯的；

• 大批量重復(fù)性的編輯需求；

• 編輯命令太過(guò)復(fù)雜，在交互文本編輯器難以輸入的情況；

工作原理

sed 作為一種非交互式編輯器，它使用預(yù)先設(shè)定好的編輯指令對(duì)輸入的文本進(jìn)行編輯，完成之后輸出編輯結(jié)果。

簡(jiǎn)單描述 sed 工作原理：

• sed 從輸入文件中讀取內(nèi)容，每次處理一行內(nèi)容，并把當(dāng)前的一行內(nèi)容存儲(chǔ)在臨時(shí)的緩沖區(qū)中，稱為 模式空間。

• 接著用 sed 命令處理緩存區(qū)中的內(nèi)容；

• 處理完畢后，把緩存區(qū)的內(nèi)容送往屏幕；

• 接著處理下一行；

這樣不斷重復(fù)，直到文件末尾，文件內(nèi)容并沒(méi)有改變，除非你使用重定向輸出或指定了 i 參數(shù)

正則表達(dá)式

sed 基本上就是在玩正則表達(dá)式模式匹配，所以，會(huì)玩 sed 的人，正則表達(dá)式能力一般都比較強(qiáng)。正則表達(dá)式內(nèi)容相對(duì)較多，本節(jié)不會(huì)重點(diǎn)講解正則表達(dá)式。

為了能夠讓大部分朋友比較輕松地學(xué)習(xí)本文知識(shí)，這里還是簡(jiǎn)單介紹下正則表達(dá)式的基本內(nèi)容。如果是專門(mén)做正則編程開(kāi)發(fā)的，可以去買(mǎi)本正則的書(shū)籍來(lái)看。

（一）基本正則表達(dá)式

• .，表示匹配任意一個(gè)字符，除了換行符，類似 Shell 通配符中的 ?；

• *，表示前邊字符有 0 個(gè)或多個(gè)；

• .*，表示任意一個(gè)字符有 0 個(gè)或多個(gè)，也就是能匹配任意的字符；

• ^，表示行首，也就是每一行的開(kāi)始位置，^abc 匹配以 abc 開(kāi)頭的字符串；

• $，表示行尾，也就是每一行的結(jié)尾位置，}$ 匹配以大括號(hào)結(jié)尾的字符串；

• {}，表示前邊字符的數(shù)量范圍，{2}，表示重復(fù) 2 次，{2,}重復(fù)至少 2次，{2,4} 重復(fù) 2-4 次；

• []，括號(hào)中可以包含表示字符集的表達(dá)式，使用方法大概如下幾種

（二）擴(kuò)展正則表達(dá)式

擴(kuò)展正則表達(dá)式使用頻率上沒(méi)有基本表達(dá)式那么高，但依然很重要，很多情況下沒(méi)有擴(kuò)展正則是搞不定的，sed 命令使用擴(kuò)展正則時(shí)需要加上選項(xiàng) -r。

• ?：表示前置字符有 0 個(gè)或 1 個(gè)；

• +：表示前置字符有 1 個(gè)或多個(gè)；

• |：表示匹配其中的一項(xiàng)即可；

• ()：表示分組，(a|b)b 表示可以匹配 ab 或 bb 子串，且命令表達(dá)式中可以通過(guò) \1、\2 來(lái)表示匹配的變量

• {}：和基本正則中的大括號(hào)中意義相同，只不過(guò)使用時(shí)不用加 轉(zhuǎn)義符號(hào)；

基本語(yǔ)法

先介紹下 sed 的基本語(yǔ)法。

sed [選項(xiàng)] 'command' filename

選項(xiàng)部分，常見(jiàn)選項(xiàng)包括：-n、-e、-i、-f、-r 等。

command 子命令格式：

[地址1, 地址2] [函數(shù)] [參數(shù)(標(biāo)記)]

選項(xiàng)簡(jiǎn)單說(shuō)明：

• -n，表示安靜模式。默認(rèn) sed 會(huì)把每行內(nèi)容處理完畢后打印到屏幕上，加上選項(xiàng)后就不會(huì)輸出到屏幕上。

• -e，如果需要用 sed 對(duì)文本內(nèi)容進(jìn)行多種操作，則需要執(zhí)行多條子命令來(lái)進(jìn)行操作；

• -i，默認(rèn) sed 只會(huì)處理模式空間的副本內(nèi)容，不會(huì)直接修改文件，如果需要修改文件，就要指定 -i 選項(xiàng)；

• -f，如果命令操作比較多時(shí)，用 -e 會(huì)有點(diǎn)力不從心，這時(shí)需要把多個(gè)子命令寫(xiě)入腳本文件，使用 -f 選項(xiàng)指定執(zhí)行該腳本；

• -r：如果需要支持?jǐn)U展正則表達(dá)式，那么需要添加 -r 選項(xiàng)；

數(shù)字定址和正則定址

默認(rèn)情況下 sed 會(huì)對(duì)每一行內(nèi)容進(jìn)行匹配、處理、輸出，有時(shí)候我們不需要對(duì)所有內(nèi)容進(jìn)行操作，只需要修改一種一部分，比如 1-10 行，偶數(shù)行，或包括 hello 字符串的行。

這種情況下，就需要我們?nèi)ザㄎ惶囟ǖ男衼?lái)進(jìn)行處理，而不是全部?jī)?nèi)容，這里把定位指定的行叫做 定址。

（一）數(shù)字定址

數(shù)字定址其實(shí)就是通過(guò)數(shù)字去指定要操作的行，有幾種方式，每種方式都有不同的應(yīng)用場(chǎng)景。

# 只將第4行中hello替換為A
$ sed '4s/hello/A/g' file.txt
# 將第2-4行中hello替換為A
$ sed '2,4s/hello/A/g' file.txt
# 從第2行開(kāi)始，往下數(shù)4行，也就是2-6行
$ sed '2,+4s/hello/A/g' file.txt
# 將最后1行中hello替換為A
$ sed '$s/hello/A/g' file.txt
# 除了第1行，其它行將hello替換為A
$ sed '1!s/hello/A/g' file.txt

（二）正則定址

正則定址，是通過(guò)正則表達(dá)式的匹配來(lái)確定需要處理編輯哪些行，其它行就不需要處理

# 將匹配到hello的行執(zhí)行刪除操作，d 表示刪除
$ sed '/hello/d' file.txt
# 刪除空行，"^$" 表示空行
$ sed '/^$/d' file.txt
# 將匹配到以ts開(kāi)頭的行到以te開(kāi)頭的行之間所有行進(jìn)行刪除
$ sed '/^ts/,/^te/d' file.txt

（三）數(shù)字定址和正則定址混用

數(shù)字定址和正則定址可以配合使用

# 匹配從第1行到ts開(kāi)頭的行，把匹配的行執(zhí)行刪除
$ sed '1,/^ts/d' file.txt

基本子命令

（一）替換子命令s

子命令 s 為替換子命令，是平時(shí) sed 使用最多的命令，因?yàn)橹С终齽t表達(dá)式，功能很強(qiáng)大，基本可以替代 grep 的基本用法。

基本語(yǔ)法：

[address]s/pat/rep/flags

替換子命令基本用法

# 將每行的hello替換為HELLO，只替換匹配到的第一個(gè)
$ sed 's/hello/HELLO/' file.txt
# 將匹配到的hello全部替換為HELLO，g表示替換一行所有匹配到的
$ sed 's/hello/HELLO/g' file.txt
# 將第2次匹配到的hello替換
$ sed 's/hello/A/2' file.txt
# 將第2次后匹配到的所有都替換
$ sed 's/hello/A/2g' file.txt
# 在行首加#號(hào)
$ sed 's/^/#/g' file.txt
# 在行尾加?xùn)|西
$ sed 's/$/xxx/g' file.txt

正則表達(dá)式的簡(jiǎn)單使用

# 使用擴(kuò)展正則表達(dá)式，結(jié)果為：A
$ echo "hello 123 world" | sed -r 's/[a-z]+ [0-9]+ [a-z]+/A/'

# <b>This</b> is what <span style="x">I</span> meant
# 要求：去掉上述html文件中的tags
$ sed 's/<[^>]*>//g' file.txt

多個(gè)匹配

# 將1-3行的my替換為your，且3行以后的This替換為T(mén)hat
$ sed '1,3s/my/your/g; 3,$s/This/That/g' my.txt
# 等價(jià)于
$ sed -e '1,3s/my/your/g' -e '3,$s/This/That/g' my.txt

使用匹配到的變量

# 將匹配到的字符串前后加雙引號(hào)，結(jié)果為：My "name" chopin
# "&"表示匹配到的整個(gè)結(jié)果集
$ echo "My name chopin" | sed 's/name/"&"/'

# 如下命令，結(jié)果為：hello=world，"\1"和"\2"表示圓括號(hào)匹配到的值
$ echo "hello,123,world" | sed 's/\([^,]\),.*,\(.*\)/\1=\2/'

其它幾個(gè)常見(jiàn)用法

# 只將修改匹配到行內(nèi)容打印出來(lái)，-n關(guān)閉了模式空間的打印模式
$ sed -n 's/i/A/p' file.txt

# 替換是忽略大小寫(xiě)，將大小寫(xiě)i替換為A
$ sed -n 's/i/A/i' file.txt

# 將替換后的內(nèi)容另存為一個(gè)文件
$ sed -n 's/i/A/w b.txt' file.txt
$ sed -n 's/i/A/' file.txt > b.txt

注意，sed 修改匹配到的內(nèi)容后，默認(rèn)行為是不保存到原文件，直接輸出修改后模式空間的內(nèi)容，如果要修改原文件需要指定 -i 選項(xiàng)。

（二）追加行子命令a

子命令 a 表示在指定行下邊插入指定的內(nèi)容行；

# 將所有行下邊都添加一行內(nèi)容A
$ sed 'a A' file.txt
# 將文件中1-2行下邊都添加一行內(nèi)容A
$ sed '1,2a A' file.txt

（三）插入行子命令i

子命令 i 和 a 使用基本一樣，只不過(guò)是在指定行上邊插入指定的內(nèi)容行

# 將文件中1-2行上邊都添加一行內(nèi)容A
$ sed '1,2i A'

（四）替換行子命令c

子命令 c 是表示把指定的行內(nèi)容替換為自己需要的行內(nèi)容

# 將文件所有行都分別替換為A
$ sed 'c A' file.txt
# 將文件中1-2行內(nèi)容替換為A，注意：兩行內(nèi)容變成了一行A
$ sed '1,2c A' file.txt
# 將1-2行內(nèi)容分別替換為A行內(nèi)容
$ sed '1,2c A\nA' file.txt

（五）刪除行子命令d

子命令 d 表示刪除指定的內(nèi)容行，這個(gè)很容理解

# 將文件中1-3行內(nèi)容刪除
$ sed '1,3d' file.txt
# 將文件中This開(kāi)頭的行內(nèi)容刪除
$ sed '/^This/d' file.txt

（六）設(shè)置行號(hào)子命令=

子命令 =，可以將行號(hào)打印出來(lái)

# 將指定行上邊顯示行號(hào)
$ sed '1,2=' file.txt
# 可以將行號(hào)設(shè)置在行首
$ sed '=' file.txt | sed 'N;s/\n/\t/'

（七）子命令N

子命令 N，把下一行內(nèi)容納入當(dāng)緩存區(qū)做匹配，注意的是第一行的 \n 仍然保留

其實(shí)就是當(dāng)前行的下一行內(nèi)容也讀進(jìn)緩存區(qū)，一起做匹配和修改，舉個(gè)例子吧

# 將偶數(shù)行內(nèi)容合并到奇數(shù)行
$ sed 'N;s/\n//' file.txt

哈哈，是不是很簡(jiǎn)單？

實(shí)戰(zhàn)練習(xí)

掌握了上邊的基礎(chǔ)命令操作后，基本上可以滿足平時(shí) 95% 的需求啦。sed 還有一些高級(jí)概念，比如：模式空間、保持空間、高級(jí)子命令、分支和測(cè)試等，平時(shí)使用概率非常小，本文就暫不講解了，有需要的同學(xué)可以私信我一起交流學(xué)習(xí)哈。

學(xué)習(xí)了這么多基礎(chǔ)用法后，只要你勤加練習(xí)，多實(shí)踐，多使用，一定可以得心應(yīng)手，極大提高的文本處理效率。下邊我簡(jiǎn)單再給出一些比較實(shí)用的操作實(shí)踐，希望對(duì)大家有幫助。

1. 刪除文件每行的第二個(gè)字符

$ sed -r 's/(.)(.)(.*)$/\1\3/' file.txt

2. 交換每行的第一個(gè)字符和第二個(gè)字符

$ sed -r ‘s/(.)(.)(.*)/\2\1\3/’ file.txt

3. 刪除文件中所有的數(shù)字

$ sed 's/[0-9]//g' file.txt

4. 用制表符替換文件中出現(xiàn)的所有空格

$ sed -r 's/ +/\t/g' file.txt

5. 把所有大寫(xiě)字母用括號(hào)()括起來(lái)

$ sed -r 's/([A-Z])/(\1)/g'

6. 隔行刪除

$ sed '0~213ixwwoc3' file.txt

7. 刪除所有空白行

$ sed '/^$/d' file.txt

好了，以上是 sed 命令常用的全部?jī)?nèi)容。想要熟練掌握，只有多實(shí)踐，多練習(xí)正則表達(dá)式的使用，一旦熟練掌握后，相信在日后工作中一定會(huì)產(chǎn)生巨大作用的。