Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

附录6 瑞士军刀

工欲善其事,必先利其器。

一把小刀,十八般武艺;一条命令,胜过千次点击。


一、命令行的哲学

图形界面让你点得到,命令行让你说得出。说得出,就能自动化、能复现、能组合。

1.1 Unix 哲学

原则说明
小而专每个程序只做一件事,并做到极致
文本流程序的输入输出都是纯文本,人人能读、人人能接
可组合用管道把小工具拼成大工具
沉默是金干得好就闭嘴,出错了才说话

grep 负责找,sed 负责改,awk 负责算,sort 负责排——它们谁都不全能,但拼起来几乎无所不能。

1.2 管道与重定向

# 管道:把上一个命令的输出,交给下一个命令当输入
cat access.log | grep "404" | wc -l

# 重定向:> 覆盖写,>> 追加写,< 读入
echo "hello" > a.txt
echo "world" >> a.txt
sort < a.txt

# 错误流:2> 重定向错误,2>&1 把错误并进标准输出
cargo build > build.log 2>&1

# 丢弃输出(黑洞)
cargo build > /dev/null 2>&1

# 命令替换:把命令的输出当参数用
echo "今天是 $(date +%F)"

# 逻辑连接:&& 成功才继续;|| 失败才执行;; 顺序执行不管成败
cargo test && echo "测试通过" || echo "测试失败"

# here-document:把一段文本喂给命令
mysql -u root -p db <<'EOF'
SELECT COUNT(*) FROM elevator_records;
EOF
符号作用
|管道,前一个的输出 → 后一个的输入
> / >>标准输出覆盖 / 追加到文件
2>标准错误重定向
2>&1错误合并到标准输出
&>标准输出与错误一起重定向(Bash)
<从文件读入
$(...)命令替换,取命令的输出
&& / ||成功才执行 / 失败才执行

小技巧:按 ↑ 翻历史命令,Ctrl+R 反向搜索历史命令,Ctrl+C 终止,Ctrl+U 清空当前行。


二、curl——网络传输万能刀

curl 支持 HTTP、HTTPS、FTP、SFTP、SMTP 等 20 多种协议,是测试接口、下载文件、调试网络的第一把刀。

2.1 最常用的三招

# 1. 抓取网页(输出到屏幕)
curl https://example.com

# 2. 下载并保存(-o 指定文件名,-O 用远端原名)
curl -o page.html https://example.com
curl -O https://example.com/data.csv

# 3. 跟随重定向、显示进度(-L 跟随 3xx,-# 显示进度条)
curl -L -# -O https://example.com/big.zip

2.2 常用参数速查

参数说明
-o 文件 / -O保存到指定文件 / 用远端文件名
-L跟随重定向(301/302)
-i / -I输出含响应头 / 只请求响应头(HEAD)
-d 'k=v&k2=v2'发送表单数据(POST)
-X POST指定请求方法(GET/POST/PUT/DELETE)
-H 'K: V'添加请求头
-F 'file=@a.png'上传文件(multipart/form-data)
-u 用户:密码Basic 认证
-b / -c发送 Cookie / 保存 Cookie 到文件
-s / -v静默模式 / 显示详细交互过程
--max-time 10总超时(秒)
-C -断点续传
--limit-rate 200k限速
-k跳过证书校验(仅调试)
-x http://proxy:8080走代理
--retry 3失败自动重试 3 次
-w '%{http_code}'输出指定统计信息

2.3 实战

# 测试一个 JSON 接口,只看状态码和耗时
curl -s -o /dev/null -w "状态=%{http_code} 耗时=%{time_total}s\n" https://api.github.com

# 发送 JSON(-d 默认表单编码,JSON 要手动加 Content-Type)
curl -X POST https://httpbin.org/post \
  -H 'Content-Type: application/json' \
  -d '{"room":"A1801","paid":132.5}'

# 下载所有记录(带 Cookie 登录态)
curl -L -b cookies.txt -c cookies.txt -O https://example.com/export.csv

# 大文件断点续传:中断后重跑同一条命令即可
curl -C - -O https://example.com/ubuntu.iso

# 只取响应头,看服务器类型、缓存策略
curl -sI https://www.rust-lang.org | head -5

curl 与 jq 是天生一对:

# 取 GitHub 上 Rust 仓库的 star 数
curl -s https://api.github.com/repos/rust-lang/rust | jq '.stargazers_count'

三、git——程序员的时光机

git 是分布式版本控制系统:每次提交都是完整快照,永远可以回到过去,也永远有后悔药。

3.1 一次性配置

git config --global user.name  "你的名字"
git config --global user.email "you@example.com"
git config --global init.defaultBranch main
git config --global core.autocrlf input    # Windows 建议开启

# 让日志更好看:一行、图形、全分支、带标签
git config --global alias.lg "log --oneline --graph --all --decorate"

3.2 日常三件套

命令说明
git status看当前状态(改了哪些文件)
git add 文件 / git add -p暂存修改 / 交互式逐块挑选
git commit -m "说明"提交
git init                     # 把当前目录变成仓库
git clone https://github.com/user/repo.git

git diff                     # 看未暂存的改动
git diff --staged            # 看已暂存的改动
git log --oneline -10        # 最近 10 条提交
git show HEAD                # 看最新一次提交的细节

3.3 分支:写代码的分身术

git switch -c feature/login   # 新建并切换分支(老写法:git checkout -b)
git switch main               # 切回 main
git branch -a                 # 列出所有分支(含远端)
git merge feature/login       # 把 feature/login 合并进当前分支
git rebase main               # 把当前分支的提交挪到 main 之后(历史更干净)
git branch -d feature/login   # 删除已合并的分支

3.4 与远端同步

git remote -v                        # 查看远端地址
git fetch origin                     # 只下载,不合并
git pull --rebase                    # 拉取并变基(推荐)
git push -u origin main              # 首次推送并建立追踪
git push                             # 之后直接推

3.5 后悔药大全

想干什么命令
丢弃工作区改动(未 add)git restore 文件
取消暂存(已 add 未 commit)git restore --staged 文件
修改最近一次提交信息git commit --amend
撤销某次提交(保留历史)git revert 提交号
回退到某次提交(重置暂存区)git reset --soft 提交号
暂存现场,先干别的git stash push -m "说明" / git stash pop
找回任何“消失“的提交git reflog

git reflog 记录了 HEAD 的每一次移动,是终极后悔药:只要提交过就找得回来。

3.6 高手工具

# 二分查找:定位"哪次提交引入了 bug"
git bisect start
git bisect bad                # 当前版本是坏的
git bisect good v1.0          # v1.0 是好的
# git 自动切到中间版本,手工测试后标记 good/bad,重复直到定位
git bisect reset              # 结束,回到原分支

# 也可以全自动:写个脚本,退出码 0 表示好版本
git bisect start HEAD v1.0
git bisect run cargo test

# 谁改了这行代码?(追责也算追星)
git blame -L 10,20 src/main.rs

# 把别的分支的某一次提交"摘"过来
git cherry-pick 提交号

# 一个仓库,多个工作目录(同时开两条线,互不干扰)
git worktree add ../hotfix hotfix-branch

四、grep——文本搜索之王

grep = Global Regular Expression Print:按行匹配,把命中的行打印出来。

4.1 常用参数

参数说明
-i忽略大小写
-v反向:输出不匹配的行
-n显示行号
-c只数数量
-l / -L只列文件名 / 只列不包含的文件名
-r递归搜索目录
-w整词匹配
-x整行匹配
-o只输出匹配到的部分
-q安静模式,靠退出码判断
-A n / -B n / -C n显示后 / 前 / 前后 n 行上下文
-E扩展正则(等价 egrep)
-F按纯文本匹配,不解释正则
-PPerl 正则(支持 \d、\b 等)
-m 5最多匹配 5 行后停止
--exclude-dir=.git排除目录

4.2 实战

# 在代码里找函数定义(递归 + 行号 + 忽略大小写)
grep -rn "fn main" --include="*.rs" src/

# 统计日志里 404 出现次数
grep -c " 404 " access.log

# 找错误行,并看前后 2 行上下文
grep -n -C 2 "ERROR" app.log

# 反向过滤:排除注释行和空行
grep -vE '^\s*(#|$)' config.conf

# 只提取 IP 地址(-o 只留匹配部分)
grep -oE '([0-9]{1,3}\.){3}[0-9]{1,3}' access.log | sort -u

# 找哪些文件引用了某个库(只列文件名)
grep -rl "serde" --include="*.toml" .

# 用退出码做判断:找到了就执行
grep -q "TODO" src/main.rs && echo "还有未完成的任务"

正则小抄:^ 行首、$ 行尾、. 任意字符、* 零或多次、+ 一次或多次、? 零或一次、[abc] 字符集、[^abc] 反向字符集、\b 词边界、\d 数字、\w 单词字符、{2,4} 数量范围、| 或。

搜索大型代码库时,可以试试更快的 ripgrep(命令名 rg),用法与 grep -r 类似但默认跳过分隔文件和 .gitignore 中的文件。


五、sed——流编辑器

sed = Stream EDitor。它逐行读取文本,按脚本加工后输出,是批量替换的利器。

5.1 工作原理

读入一行 → 放入"模式空间" → 依次执行脚本命令 → 输出(默认)→ 读下一行

5.2 替换:九成场景只用 s//

# 语法:s/查找/替换/标志
sed 's/old/new/'    file     # 每行只替换第一处
sed 's/old/new/g'   file     # g = 每行全部替换
sed 's/old/new/gi'  file     # i = 忽略大小写

# 分隔符可换,处理路径时特别有用
sed 's|/usr/local|/opt|g' file
sed 's#a/b#c/d#g' file

5.3 地址:对哪些行动手

地址写法含义
5第 5 行
2,8第 2 到 8 行
$最后一行
/正则/匹配正则的行
/开始/,/结束/从匹配“开始“的行到匹配“结束“的行
1~3从 1 开始,每隔 3 行(GNU sed)
!取反,如 /TODO/!d 表示删除不含 TODO 的行
# 只替换第 3 行
sed '3s/old/new/' file

# 只替换匹配 dev 的行
sed '/dev/s/8080/9090/' config.conf

# 删除匹配的行
sed '/^#/d' config.conf       # 删注释行
sed '/^\s*$/d' config.conf    # 删空行(含只有空格的行)

5.4 常用命令

命令作用
s/旧/新/替换
d删除行
p打印行(常配 -n 只输出指定行)
a 文本在匹配行后追加一行
i 文本在匹配行前插入一行
c 文本用文本替换整行
y/abc/xyz/字符逐一替换(如大小写转换)
q处理到此处退出
=打印行号

5.5 实战

# 1. 原地修改(-i),并留一份 .bak 备份
sed -i.bak 's/localhost/127.0.0.1/g' config.conf

# 2. 只打印第 10-20 行(-n 关闭默认输出,p 手动打印)
sed -n '10,20p' file.txt

# 3. 提取 <title> 标签内容
sed -n 's/.*<title>\(.*\)<\/title>.*/\1/p' page.html

# 4. 删除行尾空白(含 Windows 的 \r,处理跨平台换行神器)
sed -i 's/[[:space:]]*$//' file.txt
sed -i 's/\r$//' file.txt

# 5. 在匹配行后面插一行
sed '/^\[dependencies\]/a serde = "1"' Cargo.toml

# 6. 每行前加行号
sed = file.txt | sed 'N;s/\n/\t/'

# 7. 批量重命名文件(配合 shell 循环)
for f in *.jpeg; do mv "$f" "$(echo "$f" | sed 's/jpeg/jpg/')"; done

口诀:改内容用 s,删行用 d,看范围用 -n 加 p,批量改文件记得先 -i.bak。


六、awk——文本处理的语言

awk 不只是命令,它是一门完整的文本处理语言:按行读取、按列处理、能算能判能统计。

6.1 程序结构

BEGIN { 处理之前执行一次 }
匹配条件 { 对每一行执行的动作 }
END   { 处理之后执行一次 }
# 打印每一行(默认动作就是 print $0)
awk '{print}' file.txt

# 打印第一列和第三列
awk '{print $1, $3}' data.txt

# 带表头表尾的统计报告
awk 'BEGIN {print "开始统计"} {sum += $1} END {print "合计:", sum}' nums.txt

6.2 内置变量

变量含义
$0整行
$1…$n第 1…n 列
$NF最后一列;$(NF-1) 倒数第二列
NF当前行的列数
NR已读行数(总行号)
FNR当前文件内的行号
FS / OFS输入 / 输出列分隔符(默认空白 / 空格)
RS输入行分隔符
# -F 指定分隔符(处理 CSV / /etc/passwd)
awk -F: '{print $1}' /etc/passwd
awk -F, '{print $2, $4}' data.csv        # 简单 CSV
awk -F'\t' '{print $NF}' data.tsv        # 制表符分隔

6.3 条件与正则

# 只处理第 3 列大于 100 的行
awk '$3 > 100 {print $1, $3}' data.txt

# 匹配正则的行(等价于 grep,但能做后续处理)
awk '/ERROR/ {count++} END {print count+0}' app.log

# 多条件:与 &&、或 ||、非 !
awk -F, '$3 > 60 && $4 == "及格" {print $1}' scores.csv

# 只打印前 5 行(NR 行号)
awk 'NR <= 5' file.txt

# 跳过表头
awk 'NR > 1 {print $1}' data.csv

6.4 数组与统计(awk 的看家本领)

# 求和与平均
awk '{sum += $1} END {print "和:", sum, "平均:", sum/NR}' nums.txt

# 分组计数:统计每个 IP 的访问次数
awk '{count[$1]++} END {for (ip in count) print count[ip], ip}' access.log

# 去重(按某列)
awk '!seen[$2]++' data.txt

# 条件分组统计:每个房间的已交金额合计
awk -F, 'NR > 1 {sum[$1] += $3} END {for (r in sum) printf "%-8s %10.2f\n", r, sum[r]}' fees.csv

!seen[$2]++ 是 awk 最优雅的惯用法:第一次见到 $2 时值为 0,取非为真 → 打印;之后值为 1、2、3…,取非为假 → 跳过。

6.5 内置函数

函数说明
length(s)字符串长度(不带参数则整行)
substr(s, 起始, 长度)取子串
index(s, t)子串位置
split(s, 数组, 分隔符)拆分字符串到数组
sub(正则, 替换) / gsub(...)替换第一处 / 全部
match(s, 正则)匹配位置
sprintf(fmt, ...)格式化(不打印,返回值)
toupper / tolower大小写转换
int(x)取整
# printf 格式化输出表格
awk -F, 'BEGIN {printf "%-8s %10s\n", "房号", "金额"}
         NR > 1 {printf "%-8s %10.2f\n", $1, $3}' fees.csv

# 取子串:从第 1 列前 4 个字符分组(如按年份统计)
awk '{sum[substr($1, 1, 4)] += $2} END {for (y in sum) print y, sum[y]}' data.txt

6.6 流程控制

# if / else
awk '{if ($3 > 90) print $1, "优秀"; else print $1, "加油"}' scores.txt

# next 跳过本行后续处理;exit 立即结束
awk '/^#/ {next} {print}' config.conf
awk 'NR > 100 {exit} {print}' big.txt

# 处理多个文件,FNR 区分文件
awk 'FNR == 1 {print "== " FILENAME}' a.txt b.txt

七、其他神器

7.1 find——按条件找文件

find . -name "*.rs"                      # 按名字(-iname 忽略大小写)
find . -type d -name "target"            # 只找目录
find . -size +10M                        # 大于 10MB 的文件
find . -mtime -7                         # 最近 7 天修改过
find . -name "*.log" -delete             # 找到就删(危险,先去掉 -delete 看看)
find . -name "*.tmp" -exec rm {} \;      # 对每个结果执行命令
find . -name "*.rs" -exec wc -l {} +     # + 号批量传参,比 \; 快
find . -empty                            # 空文件/空目录

处理含空格的文件名:用 -print0 配 xargs -0,否则会被拆断。

7.2 xargs——把“输入“变成“参数“

# 把 grep 找到的文件名,逐个交给 sed 处理
grep -rl "old_name" --include="*.rs" . | xargs sed -i 's/old_name/new_name/g'

# 每行一个参数;-P 4 开 4 个并发
cat urls.txt | xargs -n 1 -P 4 curl -O

# -I{} 占位符:把参数放在命令的任意位置
find . -name "*.bak" | xargs -I{} mv {} /tmp/backup/

# 配合 -0 处理诡异文件名
find . -name "*.log" -print0 | xargs -0 rm

7.3 sort / uniq——排序与去重

sort file                  # 字典序
sort -n file               # 按数值
sort -rn file              # 数值逆序
sort -u file               # 排序并去重
sort -k2 -t, file.csv      # 按逗号分隔的第 2 列
sort -h sizes.txt          # 按人类可读大小(1K、2M)

uniq file                  # 去相邻重复行(先 sort!)
uniq -c file               # 统计相邻重复次数
uniq -d file               # 只输出重复过的行

7.4 cut / tr / wc / head / tail / tee

cut -d, -f1,3 data.csv     # 取第 1、3 列
cut -c1-10 file            # 取每行前 10 个字符

tr 'a-z' 'A-Z' < file      # 小写转大写
tr -d '\r' < win.txt       # 删除所有 \r(等效 dos2unix)
tr -s ' ' < file           # 压缩连续空格为一个

wc -l file                 # 行数(-w 词数,-c 字节数)
head -n 20 file            # 前 20 行(head -20 亦可)
tail -n 20 file            # 后 20 行
tail -f app.log            # 实时跟随日志(Ctrl+C 退出)

command | tee out.txt      # 一边输出到屏幕,一边存文件
command | tee -a out.txt   # 追加模式

7.5 jq——JSON 的 awk

curl -s https://api.github.com/repos/rust-lang/rust | jq '.'          # 美化
jq '.stargazers_count' data.json              # 取字段
jq -r '.name' data.json                       # -r 去掉引号(裸字符串)
jq '.[0]' list.json                           # 取数组第一个元素
jq '.[] | .room' data.json                    # 遍历数组取字段
jq '[.[] | select(.paid > 100)]' data.json    # 过滤
jq 'length' list.json                         # 数组长度
jq 'keys' obj.json                            # 键列表
jq -c '.items[]' big.json                     # -c 紧凑输出,一行一条
jq -r '.[] | [.room, .paid] | @csv' data.json # 转 CSV

7.6 tar / ssh / rsync / diff

# 打包与解包
tar -czf backup.tar.gz src/          # c 创建 z gzip f 文件名
tar -xzf backup.tar.gz               # x 解包
tar -tzf backup.tar.gz               # t 列表(先看看里面有什么)
tar -czf b.tgz --exclude=target src/ # 排除目录

# 远程登录与传文件
ssh -i ~/.ssh/id_rsa -p 2222 user@host
ssh -N -L 8080:localhost:80 user@host   # 本地端口转发
scp -r dist/ user@host:/var/www/        # 复制目录

# rsync:增量同步之王(只传差异部分)
rsync -avz --progress src/ user@host:/backup/
rsync -avz --delete --exclude="*.log" src/ user@host:/backup/

# 比较与打补丁
diff -u old.rs new.rs > patch.diff
patch -p1 < patch.diff
diff -rq dir1 dir2                     # 递归对比,只报告差异

7.7 帮助与文档

man grep              # 手册(q 退出,/ 搜索)
grep --help           # 速查参数
tldr tar              # 只看常用例子(需安装 tldr)
apropos "copy file"   # 搜索相关命令
history | grep curl   # 翻自己的历史命令

7.8 Windows 用户怎么办

Windows 10/11 自带 curl.exe(PowerShell 里 curl 是别名,要写 curl.exe 才是真 curl)。想要完整的瑞士军刀,推荐三选一:

方案说明
Git Bash装 Git 就自带,含 grep/sed/awk/sort 等全套 GNU 工具
WSL装 Linux 子系统,原汁原味
MSYS2 / Cygwin单独的 Unix 工具链

Windows CMD 对照表:

UnixCMDPowerShell
lsdirGet-ChildItem(别名 ls)
cattypeGet-Content(别名 cat)
grepfindstrSelect-String
rmdelRemove-Item
cpcopyCopy-Item
mvmoveMove-Item
whichwhereGet-Command
curlcurl.execurl.exe

注意:PowerShell 不是 Bash,for f in *.txt; do ... 这类循环语法会报错。要么用 PowerShell 语法(ForEach-Object),要么开 Git Bash 执行。


八、openssl——密码学界的瑞士军刀

openssl 是 OpenSSL 库的命令行前端。它既是哈希机、加解密器、随机数发生器,又是证书工厂和 TLS 探针——安全相关的零碎活儿,一把刀几乎全能包办。

openssl version -a                      # 版本、构建信息、默认配置目录
openssl list -providers                 # OpenSSL 3.x 的算法提供者(default / legacy / fips)
openssl list -cipher-algorithms         # 支持的对称算法
openssl list -digest-algorithms         # 支持的摘要算法
openssl list -public-key-algorithms     # 支持的公钥算法

命令结构永远是 openssl <动词> [选项],动词就是你要做的事:dgst(摘要)、enc(对称加解密)、rand(随机数)、genpkey(生成密钥)、req(证书请求)、x509(证书处理)、s_client(TLS 客户端)。

Linux、macOS 一般自带 OpenSSL;Windows 可以用 Git Bash 自带的 openssl,或安装 Win64 OpenSSL。注意 OpenSSL 1.1.1 已于 2023 年 9 月停止维护,新项目请用 3.x。

8.1 摘要(dgst):指纹与完整性

openssl dgst -sha256 file.tar.gz        # 计算 SHA-256
openssl dgst -sha3-256 file             # SHA-3
openssl dgst -sm3 file                  # 国密 SM3(见第 71 章)
echo -n "abc" | openssl dgst -sha256    # 从标准输入算(-n 不加换行)

openssl dgst -sha256 -r file            # coreutils 格式,可直接交给 sha256sum -c
openssl dgst -sha256 -hmac "secret" msg # HMAC:带密钥的消息认证码

示例输出:

SHA2-256(msg.txt)= 853867ce5b3bea173bc7b3b2c5f5f74445c9be20f9fcfe96eb65e2b9ce62fa29
SM3(msg.txt)= df89b14eaf53f44d7ac52aa138c4f418b7e335d6099df101c684b7447c616144

校验下载文件:把官方公布的哈希存成 SHA256SUMS,然后 sha256sum -c SHA256SUMS;用 OpenSSL 生成的 -r 格式与此兼容。

摘要 ≠ 加密:哈希不可逆,只能验证完整性,不能保密。

8.2 对称加密(enc):最容易踩坑的一节

enc 有两种用法,对应两种密钥来源。

A. 用口令派生密钥(日常文件加密)

# 加密(会交互式提示输入口令,口令不会进入 shell 历史)
openssl enc -aes-256-cbc -pbkdf2 -iter 100000 -salt -in secret.txt -out secret.enc

# 解密
openssl enc -d -aes-256-cbc -pbkdf2 -iter 100000 -in secret.enc -out secret.txt

关键参数:

参数说明
-pbkdf2用 PBKDF2 从口令派生密钥(不加则用旧的 EVP_BytesToKey)
-iter 100000迭代次数,3.x 默认 10000,建议 ≥ 100000;加解密必须一致
-salt加盐,1.1.0 起默认开启;-nosalt 会削弱安全性
-a输出 Base64,方便贴进邮件、JSON、配置文件
-d解密
-md sha256派生密钥用的摘要,1.1.0 起默认 SHA-256

B. 直接给密钥和 IV(脚本、跨语言对接)

# -K 密钥(64 个十六进制字符 = 32 字节),-iv 初始向量(32 个十六进制字符 = 16 字节)
openssl enc -aes-256-cbc -nosalt \
  -K 0123456789abcdeffedcba987654321000112233445566778899aabbccddeeff \
  -iv 000102030405060708090a0b0c0d0e0f \
  -in secret.txt -out secret2.enc

-K 给的是密钥本身,-iv 给的是初始向量,都不要手工拼凑:密钥用 openssl rand -hex 32 生成,IV 用 openssl rand -hex 16 生成,且每次加密都换。

三个必须知道的坑:

  1. enc 不做认证。密文被改动一个字节,解密出来是乱码但不报错(还有 padding oracle 风险)。它只负责“看不懂“,不负责“没被动过“。
  2. enc 不支持 AEAD。执行 openssl enc -aes-256-gcm ... 会直接报错:enc: AEAD ciphers not supported。要 GCM/CCM 这类带认证的模式,请改用编程库(第 71 章有 Rust 示例)、openssl cms,或者 age 这类现代工具。
  3. 老密文解不开,多半是摘要变了。1.1.0 起派生密钥的默认摘要由 MD5 变成 SHA-256,解 2016 年前用 enc 加密的数据要补 -md md5。

8.3 随机数、编码与口令哈希

openssl rand -hex 32              # 32 字节随机数 → 64 位十六进制
openssl rand -base64 24           # 24 字节随机数 → Base64(适合当口令/密钥)
openssl rand -out key.bin 32      # 直接写入文件

openssl base64 -in a.bin -out a.b64
openssl base64 -d -in a.b64 -out a.bin

openssl passwd -6 -salt abcdefgh password   # 生成 /etc/shadow 风格 SHA-512 口令哈希
$6$abcdefgh$yVfUwsw5T.JApa8POvClA1pQ5peiq97DUNyXCZN5IrF.BMSkiaLQ5kvpuEm/VQ1Tvh/KV2TcaWh8qinoW5dhA1

生成密钥、IV、盐,一律用 openssl rand(或 getrandom)。不要用 $RANDOM、时间戳、/dev/urandom 手搓——这些“看起来随机“的东西往往一点不随机。

8.4 密钥:生成、查看、导出

# RSA 3072(兼容性最好,性能一般)
openssl genpkey -algorithm RSA -pkeyopt rsa_keygen_bits:3072 -out key.pem

# EC P-256(TLS 首选:密钥短、速度快)
openssl genpkey -algorithm EC -pkeyopt ec_paramgen_curve:P-256 -out ec.pem

# Ed25519(现代签名算法,短密钥高强度)
openssl genpkey -algorithm ED25519 -out ed.pem

# SM2(国密,OpenSSL 3.x 内置)
openssl genpkey -algorithm SM2 -out sm2.pem

# 查看私钥参数、导出公钥
openssl pkey -in key.pem -text -noout
openssl rsa -in key.pem -pubout -out key.pub.pem
openssl pkey -in ec.pem -pubout -out ec.pub.pem
算法典型用途命令里的关键点
RSA 3072/4096兼容老系统、证书签名-pkeyopt rsa_keygen_bits:3072
EC P-256TLS、移动端、性能敏感场景-pkeyopt ec_paramgen_curve:P-256
Ed25519SSH、签名、现代协议-algorithm ED25519
SM2国密合规场景-algorithm SM2

私钥默认是明文 PEM。要么 chmod 600 并用磁盘加密保护,要么生成时就加密:openssl genpkey ... -aes-256-cbc -pass pass:你的口令。

8.5 证书:自签、请求、查看、转换

自签证书(本地开发、内网服务常用)

openssl req -x509 -new -key key.pem -out cert.pem -days 365 \
  -subj "/CN=example.com" \
  -addext "subjectAltName=DNS:example.com,DNS:*.example.com,IP:127.0.0.1"

现代浏览器和 TLS 库只看 SAN(subjectAltName),不再看 CN。只写 /CN=... 的证书在 Chrome、Rustls 里会直接报“名称不匹配“。

发起 CSR 给 CA 签名

openssl req -new -key key.pem -out req.csr -subj "/CN=demo.example.com"
openssl req -in req.csr -noout -text -verify   # 检查内容与自签名

查看证书

openssl x509 -in cert.pem -noout -subject -issuer -dates -fingerprint -sha256
openssl x509 -in cert.pem -noout -text                  # 全部字段
openssl x509 -in cert.pem -noout -ext subjectAltName     # 只看 SAN
subject=CN = example.com
issuer=CN = example.com
notBefore=Oct 18 15:31:54 2026 GMT
notAfter=Oct 18 15:31:54 2027 GMT
sha256 Fingerprint=78:54:2D:57:82:E8:1F:75:72:FC:BA:E6:EF:01:8A:F8:BF:69:78:18:17:1D:CA:3E:A2:27:CA:A3:66:DD:D8:3D

格式转换(PEM ⇄ DER、打包成 PFX)

openssl x509 -in cert.pem -outform der -out cert.der     # PEM → DER
openssl x509 -inform der -in cert.der -out cert.pem      # DER → PEM

# 证书 + 私钥打包成 PKCS#12(Windows / Java 常用,注意设口令)
openssl pkcs12 -export -inkey key.pem -in cert.pem -out bundle.p12 -passout pass:******
openssl pkcs12 -in bundle.p12 -nodes -passin pass:****** # 拆回 PEM(-nodes:私钥不加密)

-nodes 是 “no DES”,意思是不加密私钥,拆出来的文件要立刻妥善保管。

8.6 签名与验签

# 用私钥签名(dgst 内部先做 SHA-256,再对摘要签名)
openssl dgst -sha256 -sign key.pem -out sig.bin msg.txt

# 用公钥验签
openssl dgst -sha256 -verify key.pub.pem -signature sig.bin msg.txt
# 输出:Verified OK

# 公钥也可以从证书里取
openssl x509 -in cert.pem -pubkey -noout > pub.pem
想做的事命令用什么密钥
保证内容没被篡改、且来源可信dgst -sign / dgst -verify私钥签、公钥验
保证内容只有对方能看pkeyutl -encrypt / pkeyutl -decrypt公钥加密、私钥解密
只想验证完整性(不防伪造)dgst / sha256sum不需要密钥

8.7 TLS 诊断(s_client):网站的体检仪

# 最常用:看协议版本、加密套件、证书概况
openssl s_client -connect example.com:443 -servername example.com -brief

# 打印完整证书链(排查中间证书缺失)
openssl s_client -connect example.com:443 -servername example.com -showcerts

# 只关心证书到期时间
echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null \
  | openssl x509 -noout -enddate

# 非 HTTPS 协议的 STARTTLS 探测
openssl s_client -connect mail.example.com:25 -starttls smtp
openssl s_client -connect db.example.com:5432 -starttls postgres

# 校验证书链(用自定义 CA)
openssl verify -CAfile ca.pem cert.pem

-brief 的典型输出:

CONNECTION ESTABLISHED
Protocol version: TLSv1.3
Ciphersuite: TLS_AES_256_GCM_SHA384
Peer certificate: CN = example.com
Hash used: SHA256
Signature type: ECDSA
Server Temp Key: X25519, 253 bits

-servername 必须带:一个 IP 上可能挂着几十个站点(SNI),不指定就只能拿到默认站点的证书。

Windows 上常看到 Verification error: unable to get local issuer certificate,意思是本机的 CA 根证书路径没配好(OpenSSL 默认去 /usr/local/ssl 之类的位置找),不代表站点有问题。用 -CAfile 指定根证书即可。

在线体检更省事:badssl.com 提供了过期证书、错误域名、弱协议等各种“病号“,testssl.sh 能把几十项配置一次查完。

8.8 常见坑与安全清单

坑表现正确做法
口令写在命令行-pass pass:xxx 会被 ps / 进程列表看到交互式输入,或 -pass file:pw.txt、-pass env:VAR、-pass stdin
以为 enc 能防篡改密文被改后解密成乱码但不报错需要完整性就用 AEAD、签名或 sha256sum 校验
用 ECB 模式-aes-256-ecb 相同明文块出相同密文用 CBC/CTR,且 IV 每次随机
复用 IVCTR/OFB 下最致命,等于泄露明文异或值每次加密生成新的随机 IV,和密文一起存
老算法不可用Error setting cipher ...3.x 里旧算法在 legacy provider:加 -provider legacy -provider default
证书只写 CN浏览器报名称不匹配一定加 subjectAltName
私钥没保护明文 PEM 被拷走即失守chmod 600 + 磁盘加密,或生成时给私钥加密

8.9 一页速查表

任务命令
看版本openssl version -a
算 SHA-256openssl dgst -sha256 文件
算 SM3openssl dgst -sm3 文件
HMACopenssl dgst -sha256 -hmac 密钥 文件
口令加密文件openssl enc -aes-256-cbc -pbkdf2 -iter 100000 -in 明文 -out 密文
解密文件openssl enc -d -aes-256-cbc -pbkdf2 -iter 100000 -in 密文 -out 明文
生成随机密钥openssl rand -hex 32
生成 RSA 私钥openssl genpkey -algorithm RSA -pkeyopt rsa_keygen_bits:3072 -out key.pem
导出公钥openssl pkey -in key.pem -pubout -out key.pub.pem
自签证书openssl req -x509 -new -key key.pem -out cert.pem -days 365 -addext "subjectAltName=DNS:example.com"
看证书信息openssl x509 -in cert.pem -noout -subject -dates -fingerprint -sha256
证书转 DERopenssl x509 -in cert.pem -outform der -out cert.der
打包 PFXopenssl pkcs12 -export -inkey key.pem -in cert.pem -out bundle.p12
签名文件openssl dgst -sha256 -sign key.pem -out sig.bin 文件
验签openssl dgst -sha256 -verify pub.pem -signature sig.bin 文件
查 TLS 配置openssl s_client -connect 域名:443 -servername 域名 -brief
查证书期限echo | openssl s_client -connect 域名:443 -servername 域名 2>/dev/null | openssl x509 -noout -enddate

九、组合技:一条命令的威力

小刀单用削铅笔,组合起来能造飞机。下面每一条都是一行命令完成的真实任务。

9.1 日志分析

# 访问量 Top 10 的 IP
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10

# 各 HTTP 状态码占比
awk '{print $9}' access.log | sort | uniq -c | sort -rn

# 每个 IP 的流量合计(第 10 列是字节数)
awk '{sum[$1] += $10} END {for (ip in sum) print sum[ip], ip}' access.log | sort -rn | head

# 统计每分钟的请求量,找出流量尖峰
awk '{print substr($4, 2, 17)}' access.log | uniq -c | sort -rn | head

9.2 批量文件操作

# 把项目中所有 old_api() 替换成 new_api(),并列出改动的文件
grep -rl "old_api" --include="*.rs" . | xargs sed -i.bak 's/old_api/new_api/g'
grep -rl "new_api" --include="*.rs" . | wc -l

# 找出最大的 10 个目录
du -h --max-depth=1 . | sort -rh | head -10

# 清理 30 天前的日志
find /var/log -name "*.log" -mtime +30 -exec rm {} \;

9.3 数据统计(CSV)

假设 fees.csv 形如:房号,月份,金额

# 每户合计与总合计
awk -F, 'NR > 1 {sum[$1] += $3; total += $3}
         END {for (r in sum) print r, sum[r]; print "总计", total}' fees.csv

# 按月统计(排序输出)
awk -F, 'NR > 1 {m[$2] += $3} END {for (month in m) print month, m[month]}' fees.csv | sort

# 找出单笔超过 500 的记录(相当于带格式化的 grep)
awk -F, 'NR > 1 && $3 > 500 {print $0}' fees.csv

9.4 接口监控与自动化

# 每 5 秒看一次接口状态码
watch -n 5 'curl -s -o /dev/null -w "%{http_code}\n" https://example.com'

# 每天备份数据库并保留 7 份
sqlite3 electricity_data.db ".backup backup_$(date +%F).db"
ls -t backup_*.db | tail -n +8 | xargs -r rm

9.5 git 组合技

# 查看两周内自己改了哪些文件
git log --since="2 weeks ago" --author="$(git config user.name)" --name-only --pretty=format:

# 找出贡献最多的 5 位作者
git shortlog -sn --all | head -5

# 统计每人增删行数
git log --numstat --pretty=format: | awk 'NF==3 {add[$3] += $1; del[$3] += $2}
     END {for (f in add) printf "%-30s +%d -%d\n", f, add[f], del[f]}' | sort -k2 -rn | head

十、打造你自己的瑞士军刀(Rust 版)

这些工具的原理并不神秘,用 Rust 几十行就能复刻一个迷你版。

10.1 迷你 grep(minigrep)

use std::env;
use std::fs::File;
use std::io::{BufRead, BufReader};

fn main() {
    let args: Vec<String> = env::args().collect();
    if args.len() < 3 {
        eprintln!("用法: minigrep <关键字> <文件>");
        std::process::exit(1);
    }
    let (pattern, path) = (&args[1], &args[2]);

    let file = match File::open(path) {
        Ok(f) => f,
        Err(e) => {
            eprintln!("无法打开 {path}: {e}");
            std::process::exit(1);
        }
    };

    let pattern = pattern.to_lowercase();
    for (no, line) in BufReader::new(file).lines().enumerate() {
        let line = line.expect("读取失败");
        if line.to_lowercase().contains(&pattern) {
            println!("{}:{}", no + 1, line);
        }
    }
}
rustc -O minigrep.rs
./minigrep error app.log        # 等价于 grep -i -n error app.log

10.2 迷你 wc

use std::io::{self, BufRead};

fn main() {
    let (mut lines, mut words, mut bytes) = (0usize, 0usize, 0usize);
    for line in io::stdin().lock().lines() {
        let line = line.expect("读取失败");
        lines += 1;
        words += line.split_whitespace().count();
        bytes += line.len() + 1; // +1 补回换行符
    }
    println!("{lines} {words} {bytes}");
}
cargo build --release
cat app.log | ./target/release/miniwc

10.3 迷你 awk(按列求和)

use std::io::{self, BufRead};

fn main() {
    let mut sum = 0.0_f64;
    for line in io::stdin().lock().lines() {
        let line = line.expect("读取失败");
        if let Some(field) = line.split(',').nth(2) {
            if let Ok(value) = field.trim().parse::<f64>() {
                sum += value;
            }
        }
    }
    println!("合计: {sum:.2}");
}
cat fees.csv | ./target/release/minisum    # 等价于 awk -F, '{sum += $3} END {print sum}'

这些迷你工具加起来不到 60 行,却覆盖了 grep、wc、awk 的核心思路:读入文本流 → 按行/列切割 → 统计或过滤 → 输出文本流。理解了这一层,命令行就再也没有魔法。


十一、参考资料