附录6 瑞士军刀
工欲善其事,必先利其器。
一把小刀,十八般武艺;一条命令,胜过千次点击。
一、命令行的哲学
图形界面让你点得到,命令行让你说得出。说得出,就能自动化、能复现、能组合。
1.1 Unix 哲学
| 原则 | 说明 |
|---|---|
| 小而专 | 每个程序只做一件事,并做到极致 |
| 文本流 | 程序的输入输出都是纯文本,人人能读、人人能接 |
| 可组合 | 用管道把小工具拼成大工具 |
| 沉默是金 | 干得好就闭嘴,出错了才说话 |
grep 负责找,sed 负责改,awk 负责算,sort 负责排——它们谁都不全能,但拼起来几乎无所不能。
1.2 管道与重定向
# 管道:把上一个命令的输出,交给下一个命令当输入
cat access.log | grep "404" | wc -l
# 重定向:> 覆盖写,>> 追加写,< 读入
echo "hello" > a.txt
echo "world" >> a.txt
sort < a.txt
# 错误流:2> 重定向错误,2>&1 把错误并进标准输出
cargo build > build.log 2>&1
# 丢弃输出(黑洞)
cargo build > /dev/null 2>&1
# 命令替换:把命令的输出当参数用
echo "今天是 $(date +%F)"
# 逻辑连接:&& 成功才继续;|| 失败才执行;; 顺序执行不管成败
cargo test && echo "测试通过" || echo "测试失败"
# here-document:把一段文本喂给命令
mysql -u root -p db <<'EOF'
SELECT COUNT(*) FROM elevator_records;
EOF
| 符号 | 作用 |
|---|---|
| | 管道,前一个的输出 → 后一个的输入 |
> / >> | 标准输出覆盖 / 追加到文件 |
2> | 标准错误重定向 |
2>&1 | 错误合并到标准输出 |
&> | 标准输出与错误一起重定向(Bash) |
< | 从文件读入 |
$(...) | 命令替换,取命令的输出 |
&& / || | 成功才执行 / 失败才执行 |
小技巧:按
↑翻历史命令,Ctrl+R反向搜索历史命令,Ctrl+C终止,Ctrl+U清空当前行。
二、curl——网络传输万能刀
curl 支持 HTTP、HTTPS、FTP、SFTP、SMTP 等 20 多种协议,是测试接口、下载文件、调试网络的第一把刀。
2.1 最常用的三招
# 1. 抓取网页(输出到屏幕)
curl https://example.com
# 2. 下载并保存(-o 指定文件名,-O 用远端原名)
curl -o page.html https://example.com
curl -O https://example.com/data.csv
# 3. 跟随重定向、显示进度(-L 跟随 3xx,-# 显示进度条)
curl -L -# -O https://example.com/big.zip
2.2 常用参数速查
| 参数 | 说明 |
|---|---|
-o 文件 / -O | 保存到指定文件 / 用远端文件名 |
-L | 跟随重定向(301/302) |
-i / -I | 输出含响应头 / 只请求响应头(HEAD) |
-d 'k=v&k2=v2' | 发送表单数据(POST) |
-X POST | 指定请求方法(GET/POST/PUT/DELETE) |
-H 'K: V' | 添加请求头 |
-F 'file=@a.png' | 上传文件(multipart/form-data) |
-u 用户:密码 | Basic 认证 |
-b / -c | 发送 Cookie / 保存 Cookie 到文件 |
-s / -v | 静默模式 / 显示详细交互过程 |
--max-time 10 | 总超时(秒) |
-C - | 断点续传 |
--limit-rate 200k | 限速 |
-k | 跳过证书校验(仅调试) |
-x http://proxy:8080 | 走代理 |
--retry 3 | 失败自动重试 3 次 |
-w '%{http_code}' | 输出指定统计信息 |
2.3 实战
# 测试一个 JSON 接口,只看状态码和耗时
curl -s -o /dev/null -w "状态=%{http_code} 耗时=%{time_total}s\n" https://api.github.com
# 发送 JSON(-d 默认表单编码,JSON 要手动加 Content-Type)
curl -X POST https://httpbin.org/post \
-H 'Content-Type: application/json' \
-d '{"room":"A1801","paid":132.5}'
# 下载所有记录(带 Cookie 登录态)
curl -L -b cookies.txt -c cookies.txt -O https://example.com/export.csv
# 大文件断点续传:中断后重跑同一条命令即可
curl -C - -O https://example.com/ubuntu.iso
# 只取响应头,看服务器类型、缓存策略
curl -sI https://www.rust-lang.org | head -5
curl 与 jq 是天生一对:
# 取 GitHub 上 Rust 仓库的 star 数
curl -s https://api.github.com/repos/rust-lang/rust | jq '.stargazers_count'
三、git——程序员的时光机
git 是分布式版本控制系统:每次提交都是完整快照,永远可以回到过去,也永远有后悔药。
3.1 一次性配置
git config --global user.name "你的名字"
git config --global user.email "you@example.com"
git config --global init.defaultBranch main
git config --global core.autocrlf input # Windows 建议开启
# 让日志更好看:一行、图形、全分支、带标签
git config --global alias.lg "log --oneline --graph --all --decorate"
3.2 日常三件套
| 命令 | 说明 |
|---|---|
git status | 看当前状态(改了哪些文件) |
git add 文件 / git add -p | 暂存修改 / 交互式逐块挑选 |
git commit -m "说明" | 提交 |
git init # 把当前目录变成仓库
git clone https://github.com/user/repo.git
git diff # 看未暂存的改动
git diff --staged # 看已暂存的改动
git log --oneline -10 # 最近 10 条提交
git show HEAD # 看最新一次提交的细节
3.3 分支:写代码的分身术
git switch -c feature/login # 新建并切换分支(老写法:git checkout -b)
git switch main # 切回 main
git branch -a # 列出所有分支(含远端)
git merge feature/login # 把 feature/login 合并进当前分支
git rebase main # 把当前分支的提交挪到 main 之后(历史更干净)
git branch -d feature/login # 删除已合并的分支
3.4 与远端同步
git remote -v # 查看远端地址
git fetch origin # 只下载,不合并
git pull --rebase # 拉取并变基(推荐)
git push -u origin main # 首次推送并建立追踪
git push # 之后直接推
3.5 后悔药大全
| 想干什么 | 命令 |
|---|---|
| 丢弃工作区改动(未 add) | git restore 文件 |
| 取消暂存(已 add 未 commit) | git restore --staged 文件 |
| 修改最近一次提交信息 | git commit --amend |
| 撤销某次提交(保留历史) | git revert 提交号 |
| 回退到某次提交(重置暂存区) | git reset --soft 提交号 |
| 暂存现场,先干别的 | git stash push -m "说明" / git stash pop |
| 找回任何“消失“的提交 | git reflog |
git reflog 记录了 HEAD 的每一次移动,是终极后悔药:只要提交过就找得回来。
3.6 高手工具
# 二分查找:定位"哪次提交引入了 bug"
git bisect start
git bisect bad # 当前版本是坏的
git bisect good v1.0 # v1.0 是好的
# git 自动切到中间版本,手工测试后标记 good/bad,重复直到定位
git bisect reset # 结束,回到原分支
# 也可以全自动:写个脚本,退出码 0 表示好版本
git bisect start HEAD v1.0
git bisect run cargo test
# 谁改了这行代码?(追责也算追星)
git blame -L 10,20 src/main.rs
# 把别的分支的某一次提交"摘"过来
git cherry-pick 提交号
# 一个仓库,多个工作目录(同时开两条线,互不干扰)
git worktree add ../hotfix hotfix-branch
四、grep——文本搜索之王
grep = Global Regular Expression Print:按行匹配,把命中的行打印出来。
4.1 常用参数
| 参数 | 说明 |
|---|---|
-i | 忽略大小写 |
-v | 反向:输出不匹配的行 |
-n | 显示行号 |
-c | 只数数量 |
-l / -L | 只列文件名 / 只列不包含的文件名 |
-r | 递归搜索目录 |
-w | 整词匹配 |
-x | 整行匹配 |
-o | 只输出匹配到的部分 |
-q | 安静模式,靠退出码判断 |
-A n / -B n / -C n | 显示后 / 前 / 前后 n 行上下文 |
-E | 扩展正则(等价 egrep) |
-F | 按纯文本匹配,不解释正则 |
-P | Perl 正则(支持 \d、\b 等) |
-m 5 | 最多匹配 5 行后停止 |
--exclude-dir=.git | 排除目录 |
4.2 实战
# 在代码里找函数定义(递归 + 行号 + 忽略大小写)
grep -rn "fn main" --include="*.rs" src/
# 统计日志里 404 出现次数
grep -c " 404 " access.log
# 找错误行,并看前后 2 行上下文
grep -n -C 2 "ERROR" app.log
# 反向过滤:排除注释行和空行
grep -vE '^\s*(#|$)' config.conf
# 只提取 IP 地址(-o 只留匹配部分)
grep -oE '([0-9]{1,3}\.){3}[0-9]{1,3}' access.log | sort -u
# 找哪些文件引用了某个库(只列文件名)
grep -rl "serde" --include="*.toml" .
# 用退出码做判断:找到了就执行
grep -q "TODO" src/main.rs && echo "还有未完成的任务"
正则小抄:
^行首、$行尾、.任意字符、*零或多次、+一次或多次、?零或一次、[abc]字符集、[^abc]反向字符集、\b词边界、\d数字、\w单词字符、{2,4}数量范围、|或。
搜索大型代码库时,可以试试更快的 ripgrep(命令名
rg),用法与grep -r类似但默认跳过分隔文件和.gitignore中的文件。
五、sed——流编辑器
sed = Stream EDitor。它逐行读取文本,按脚本加工后输出,是批量替换的利器。
5.1 工作原理
读入一行 → 放入"模式空间" → 依次执行脚本命令 → 输出(默认)→ 读下一行
5.2 替换:九成场景只用 s//
# 语法:s/查找/替换/标志
sed 's/old/new/' file # 每行只替换第一处
sed 's/old/new/g' file # g = 每行全部替换
sed 's/old/new/gi' file # i = 忽略大小写
# 分隔符可换,处理路径时特别有用
sed 's|/usr/local|/opt|g' file
sed 's#a/b#c/d#g' file
5.3 地址:对哪些行动手
| 地址写法 | 含义 |
|---|---|
5 | 第 5 行 |
2,8 | 第 2 到 8 行 |
$ | 最后一行 |
/正则/ | 匹配正则的行 |
/开始/,/结束/ | 从匹配“开始“的行到匹配“结束“的行 |
1~3 | 从 1 开始,每隔 3 行(GNU sed) |
! | 取反,如 /TODO/!d 表示删除不含 TODO 的行 |
# 只替换第 3 行
sed '3s/old/new/' file
# 只替换匹配 dev 的行
sed '/dev/s/8080/9090/' config.conf
# 删除匹配的行
sed '/^#/d' config.conf # 删注释行
sed '/^\s*$/d' config.conf # 删空行(含只有空格的行)
5.4 常用命令
| 命令 | 作用 |
|---|---|
s/旧/新/ | 替换 |
d | 删除行 |
p | 打印行(常配 -n 只输出指定行) |
a 文本 | 在匹配行后追加一行 |
i 文本 | 在匹配行前插入一行 |
c 文本 | 用文本替换整行 |
y/abc/xyz/ | 字符逐一替换(如大小写转换) |
q | 处理到此处退出 |
= | 打印行号 |
5.5 实战
# 1. 原地修改(-i),并留一份 .bak 备份
sed -i.bak 's/localhost/127.0.0.1/g' config.conf
# 2. 只打印第 10-20 行(-n 关闭默认输出,p 手动打印)
sed -n '10,20p' file.txt
# 3. 提取 <title> 标签内容
sed -n 's/.*<title>\(.*\)<\/title>.*/\1/p' page.html
# 4. 删除行尾空白(含 Windows 的 \r,处理跨平台换行神器)
sed -i 's/[[:space:]]*$//' file.txt
sed -i 's/\r$//' file.txt
# 5. 在匹配行后面插一行
sed '/^\[dependencies\]/a serde = "1"' Cargo.toml
# 6. 每行前加行号
sed = file.txt | sed 'N;s/\n/\t/'
# 7. 批量重命名文件(配合 shell 循环)
for f in *.jpeg; do mv "$f" "$(echo "$f" | sed 's/jpeg/jpg/')"; done
口诀:改内容用
s,删行用d,看范围用-n加p,批量改文件记得先-i.bak。
六、awk——文本处理的语言
awk 不只是命令,它是一门完整的文本处理语言:按行读取、按列处理、能算能判能统计。
6.1 程序结构
BEGIN { 处理之前执行一次 }
匹配条件 { 对每一行执行的动作 }
END { 处理之后执行一次 }
# 打印每一行(默认动作就是 print $0)
awk '{print}' file.txt
# 打印第一列和第三列
awk '{print $1, $3}' data.txt
# 带表头表尾的统计报告
awk 'BEGIN {print "开始统计"} {sum += $1} END {print "合计:", sum}' nums.txt
6.2 内置变量
| 变量 | 含义 |
|---|---|
$0 | 整行 |
$1…$n | 第 1…n 列 |
$NF | 最后一列;$(NF-1) 倒数第二列 |
NF | 当前行的列数 |
NR | 已读行数(总行号) |
FNR | 当前文件内的行号 |
FS / OFS | 输入 / 输出列分隔符(默认空白 / 空格) |
RS | 输入行分隔符 |
# -F 指定分隔符(处理 CSV / /etc/passwd)
awk -F: '{print $1}' /etc/passwd
awk -F, '{print $2, $4}' data.csv # 简单 CSV
awk -F'\t' '{print $NF}' data.tsv # 制表符分隔
6.3 条件与正则
# 只处理第 3 列大于 100 的行
awk '$3 > 100 {print $1, $3}' data.txt
# 匹配正则的行(等价于 grep,但能做后续处理)
awk '/ERROR/ {count++} END {print count+0}' app.log
# 多条件:与 &&、或 ||、非 !
awk -F, '$3 > 60 && $4 == "及格" {print $1}' scores.csv
# 只打印前 5 行(NR 行号)
awk 'NR <= 5' file.txt
# 跳过表头
awk 'NR > 1 {print $1}' data.csv
6.4 数组与统计(awk 的看家本领)
# 求和与平均
awk '{sum += $1} END {print "和:", sum, "平均:", sum/NR}' nums.txt
# 分组计数:统计每个 IP 的访问次数
awk '{count[$1]++} END {for (ip in count) print count[ip], ip}' access.log
# 去重(按某列)
awk '!seen[$2]++' data.txt
# 条件分组统计:每个房间的已交金额合计
awk -F, 'NR > 1 {sum[$1] += $3} END {for (r in sum) printf "%-8s %10.2f\n", r, sum[r]}' fees.csv
!seen[$2]++是 awk 最优雅的惯用法:第一次见到$2时值为 0,取非为真 → 打印;之后值为 1、2、3…,取非为假 → 跳过。
6.5 内置函数
| 函数 | 说明 |
|---|---|
length(s) | 字符串长度(不带参数则整行) |
substr(s, 起始, 长度) | 取子串 |
index(s, t) | 子串位置 |
split(s, 数组, 分隔符) | 拆分字符串到数组 |
sub(正则, 替换) / gsub(...) | 替换第一处 / 全部 |
match(s, 正则) | 匹配位置 |
sprintf(fmt, ...) | 格式化(不打印,返回值) |
toupper / tolower | 大小写转换 |
int(x) | 取整 |
# printf 格式化输出表格
awk -F, 'BEGIN {printf "%-8s %10s\n", "房号", "金额"}
NR > 1 {printf "%-8s %10.2f\n", $1, $3}' fees.csv
# 取子串:从第 1 列前 4 个字符分组(如按年份统计)
awk '{sum[substr($1, 1, 4)] += $2} END {for (y in sum) print y, sum[y]}' data.txt
6.6 流程控制
# if / else
awk '{if ($3 > 90) print $1, "优秀"; else print $1, "加油"}' scores.txt
# next 跳过本行后续处理;exit 立即结束
awk '/^#/ {next} {print}' config.conf
awk 'NR > 100 {exit} {print}' big.txt
# 处理多个文件,FNR 区分文件
awk 'FNR == 1 {print "== " FILENAME}' a.txt b.txt
七、其他神器
7.1 find——按条件找文件
find . -name "*.rs" # 按名字(-iname 忽略大小写)
find . -type d -name "target" # 只找目录
find . -size +10M # 大于 10MB 的文件
find . -mtime -7 # 最近 7 天修改过
find . -name "*.log" -delete # 找到就删(危险,先去掉 -delete 看看)
find . -name "*.tmp" -exec rm {} \; # 对每个结果执行命令
find . -name "*.rs" -exec wc -l {} + # + 号批量传参,比 \; 快
find . -empty # 空文件/空目录
处理含空格的文件名:用
-print0配xargs -0,否则会被拆断。
7.2 xargs——把“输入“变成“参数“
# 把 grep 找到的文件名,逐个交给 sed 处理
grep -rl "old_name" --include="*.rs" . | xargs sed -i 's/old_name/new_name/g'
# 每行一个参数;-P 4 开 4 个并发
cat urls.txt | xargs -n 1 -P 4 curl -O
# -I{} 占位符:把参数放在命令的任意位置
find . -name "*.bak" | xargs -I{} mv {} /tmp/backup/
# 配合 -0 处理诡异文件名
find . -name "*.log" -print0 | xargs -0 rm
7.3 sort / uniq——排序与去重
sort file # 字典序
sort -n file # 按数值
sort -rn file # 数值逆序
sort -u file # 排序并去重
sort -k2 -t, file.csv # 按逗号分隔的第 2 列
sort -h sizes.txt # 按人类可读大小(1K、2M)
uniq file # 去相邻重复行(先 sort!)
uniq -c file # 统计相邻重复次数
uniq -d file # 只输出重复过的行
7.4 cut / tr / wc / head / tail / tee
cut -d, -f1,3 data.csv # 取第 1、3 列
cut -c1-10 file # 取每行前 10 个字符
tr 'a-z' 'A-Z' < file # 小写转大写
tr -d '\r' < win.txt # 删除所有 \r(等效 dos2unix)
tr -s ' ' < file # 压缩连续空格为一个
wc -l file # 行数(-w 词数,-c 字节数)
head -n 20 file # 前 20 行(head -20 亦可)
tail -n 20 file # 后 20 行
tail -f app.log # 实时跟随日志(Ctrl+C 退出)
command | tee out.txt # 一边输出到屏幕,一边存文件
command | tee -a out.txt # 追加模式
7.5 jq——JSON 的 awk
curl -s https://api.github.com/repos/rust-lang/rust | jq '.' # 美化
jq '.stargazers_count' data.json # 取字段
jq -r '.name' data.json # -r 去掉引号(裸字符串)
jq '.[0]' list.json # 取数组第一个元素
jq '.[] | .room' data.json # 遍历数组取字段
jq '[.[] | select(.paid > 100)]' data.json # 过滤
jq 'length' list.json # 数组长度
jq 'keys' obj.json # 键列表
jq -c '.items[]' big.json # -c 紧凑输出,一行一条
jq -r '.[] | [.room, .paid] | @csv' data.json # 转 CSV
7.6 tar / ssh / rsync / diff
# 打包与解包
tar -czf backup.tar.gz src/ # c 创建 z gzip f 文件名
tar -xzf backup.tar.gz # x 解包
tar -tzf backup.tar.gz # t 列表(先看看里面有什么)
tar -czf b.tgz --exclude=target src/ # 排除目录
# 远程登录与传文件
ssh -i ~/.ssh/id_rsa -p 2222 user@host
ssh -N -L 8080:localhost:80 user@host # 本地端口转发
scp -r dist/ user@host:/var/www/ # 复制目录
# rsync:增量同步之王(只传差异部分)
rsync -avz --progress src/ user@host:/backup/
rsync -avz --delete --exclude="*.log" src/ user@host:/backup/
# 比较与打补丁
diff -u old.rs new.rs > patch.diff
patch -p1 < patch.diff
diff -rq dir1 dir2 # 递归对比,只报告差异
7.7 帮助与文档
man grep # 手册(q 退出,/ 搜索)
grep --help # 速查参数
tldr tar # 只看常用例子(需安装 tldr)
apropos "copy file" # 搜索相关命令
history | grep curl # 翻自己的历史命令
7.8 Windows 用户怎么办
Windows 10/11 自带 curl.exe(PowerShell 里 curl 是别名,要写 curl.exe 才是真 curl)。想要完整的瑞士军刀,推荐三选一:
| 方案 | 说明 |
|---|---|
| Git Bash | 装 Git 就自带,含 grep/sed/awk/sort 等全套 GNU 工具 |
| WSL | 装 Linux 子系统,原汁原味 |
| MSYS2 / Cygwin | 单独的 Unix 工具链 |
Windows CMD 对照表:
| Unix | CMD | PowerShell |
|---|---|---|
ls | dir | Get-ChildItem(别名 ls) |
cat | type | Get-Content(别名 cat) |
grep | findstr | Select-String |
rm | del | Remove-Item |
cp | copy | Copy-Item |
mv | move | Move-Item |
which | where | Get-Command |
curl | curl.exe | curl.exe |
注意:PowerShell 不是 Bash,
for f in *.txt; do ...这类循环语法会报错。要么用 PowerShell 语法(ForEach-Object),要么开 Git Bash 执行。
八、openssl——密码学界的瑞士军刀
openssl 是 OpenSSL 库的命令行前端。它既是哈希机、加解密器、随机数发生器,又是证书工厂和 TLS 探针——安全相关的零碎活儿,一把刀几乎全能包办。
openssl version -a # 版本、构建信息、默认配置目录
openssl list -providers # OpenSSL 3.x 的算法提供者(default / legacy / fips)
openssl list -cipher-algorithms # 支持的对称算法
openssl list -digest-algorithms # 支持的摘要算法
openssl list -public-key-algorithms # 支持的公钥算法
命令结构永远是 openssl <动词> [选项],动词就是你要做的事:dgst(摘要)、enc(对称加解密)、rand(随机数)、genpkey(生成密钥)、req(证书请求)、x509(证书处理)、s_client(TLS 客户端)。
Linux、macOS 一般自带 OpenSSL;Windows 可以用 Git Bash 自带的
openssl,或安装 Win64 OpenSSL。注意 OpenSSL 1.1.1 已于 2023 年 9 月停止维护,新项目请用 3.x。
8.1 摘要(dgst):指纹与完整性
openssl dgst -sha256 file.tar.gz # 计算 SHA-256
openssl dgst -sha3-256 file # SHA-3
openssl dgst -sm3 file # 国密 SM3(见第 71 章)
echo -n "abc" | openssl dgst -sha256 # 从标准输入算(-n 不加换行)
openssl dgst -sha256 -r file # coreutils 格式,可直接交给 sha256sum -c
openssl dgst -sha256 -hmac "secret" msg # HMAC:带密钥的消息认证码
示例输出:
SHA2-256(msg.txt)= 853867ce5b3bea173bc7b3b2c5f5f74445c9be20f9fcfe96eb65e2b9ce62fa29
SM3(msg.txt)= df89b14eaf53f44d7ac52aa138c4f418b7e335d6099df101c684b7447c616144
校验下载文件:把官方公布的哈希存成
SHA256SUMS,然后sha256sum -c SHA256SUMS;用 OpenSSL 生成的-r格式与此兼容。摘要 ≠ 加密:哈希不可逆,只能验证完整性,不能保密。
8.2 对称加密(enc):最容易踩坑的一节
enc 有两种用法,对应两种密钥来源。
A. 用口令派生密钥(日常文件加密)
# 加密(会交互式提示输入口令,口令不会进入 shell 历史)
openssl enc -aes-256-cbc -pbkdf2 -iter 100000 -salt -in secret.txt -out secret.enc
# 解密
openssl enc -d -aes-256-cbc -pbkdf2 -iter 100000 -in secret.enc -out secret.txt
关键参数:
| 参数 | 说明 |
|---|---|
-pbkdf2 | 用 PBKDF2 从口令派生密钥(不加则用旧的 EVP_BytesToKey) |
-iter 100000 | 迭代次数,3.x 默认 10000,建议 ≥ 100000;加解密必须一致 |
-salt | 加盐,1.1.0 起默认开启;-nosalt 会削弱安全性 |
-a | 输出 Base64,方便贴进邮件、JSON、配置文件 |
-d | 解密 |
-md sha256 | 派生密钥用的摘要,1.1.0 起默认 SHA-256 |
B. 直接给密钥和 IV(脚本、跨语言对接)
# -K 密钥(64 个十六进制字符 = 32 字节),-iv 初始向量(32 个十六进制字符 = 16 字节)
openssl enc -aes-256-cbc -nosalt \
-K 0123456789abcdeffedcba987654321000112233445566778899aabbccddeeff \
-iv 000102030405060708090a0b0c0d0e0f \
-in secret.txt -out secret2.enc
-K给的是密钥本身,-iv给的是初始向量,都不要手工拼凑:密钥用openssl rand -hex 32生成,IV 用openssl rand -hex 16生成,且每次加密都换。
三个必须知道的坑:
enc不做认证。密文被改动一个字节,解密出来是乱码但不报错(还有 padding oracle 风险)。它只负责“看不懂“,不负责“没被动过“。enc不支持 AEAD。执行openssl enc -aes-256-gcm ...会直接报错:enc: AEAD ciphers not supported。要 GCM/CCM 这类带认证的模式,请改用编程库(第 71 章有 Rust 示例)、openssl cms,或者age这类现代工具。- 老密文解不开,多半是摘要变了。1.1.0 起派生密钥的默认摘要由 MD5 变成 SHA-256,解 2016 年前用
enc加密的数据要补-md md5。
8.3 随机数、编码与口令哈希
openssl rand -hex 32 # 32 字节随机数 → 64 位十六进制
openssl rand -base64 24 # 24 字节随机数 → Base64(适合当口令/密钥)
openssl rand -out key.bin 32 # 直接写入文件
openssl base64 -in a.bin -out a.b64
openssl base64 -d -in a.b64 -out a.bin
openssl passwd -6 -salt abcdefgh password # 生成 /etc/shadow 风格 SHA-512 口令哈希
$6$abcdefgh$yVfUwsw5T.JApa8POvClA1pQ5peiq97DUNyXCZN5IrF.BMSkiaLQ5kvpuEm/VQ1Tvh/KV2TcaWh8qinoW5dhA1
生成密钥、IV、盐,一律用
openssl rand(或getrandom)。不要用$RANDOM、时间戳、/dev/urandom手搓——这些“看起来随机“的东西往往一点不随机。
8.4 密钥:生成、查看、导出
# RSA 3072(兼容性最好,性能一般)
openssl genpkey -algorithm RSA -pkeyopt rsa_keygen_bits:3072 -out key.pem
# EC P-256(TLS 首选:密钥短、速度快)
openssl genpkey -algorithm EC -pkeyopt ec_paramgen_curve:P-256 -out ec.pem
# Ed25519(现代签名算法,短密钥高强度)
openssl genpkey -algorithm ED25519 -out ed.pem
# SM2(国密,OpenSSL 3.x 内置)
openssl genpkey -algorithm SM2 -out sm2.pem
# 查看私钥参数、导出公钥
openssl pkey -in key.pem -text -noout
openssl rsa -in key.pem -pubout -out key.pub.pem
openssl pkey -in ec.pem -pubout -out ec.pub.pem
| 算法 | 典型用途 | 命令里的关键点 |
|---|---|---|
| RSA 3072/4096 | 兼容老系统、证书签名 | -pkeyopt rsa_keygen_bits:3072 |
| EC P-256 | TLS、移动端、性能敏感场景 | -pkeyopt ec_paramgen_curve:P-256 |
| Ed25519 | SSH、签名、现代协议 | -algorithm ED25519 |
| SM2 | 国密合规场景 | -algorithm SM2 |
私钥默认是明文 PEM。要么
chmod 600并用磁盘加密保护,要么生成时就加密:openssl genpkey ... -aes-256-cbc -pass pass:你的口令。
8.5 证书:自签、请求、查看、转换
自签证书(本地开发、内网服务常用)
openssl req -x509 -new -key key.pem -out cert.pem -days 365 \
-subj "/CN=example.com" \
-addext "subjectAltName=DNS:example.com,DNS:*.example.com,IP:127.0.0.1"
现代浏览器和 TLS 库只看 SAN(subjectAltName),不再看 CN。只写
/CN=...的证书在 Chrome、Rustls 里会直接报“名称不匹配“。
发起 CSR 给 CA 签名
openssl req -new -key key.pem -out req.csr -subj "/CN=demo.example.com"
openssl req -in req.csr -noout -text -verify # 检查内容与自签名
查看证书
openssl x509 -in cert.pem -noout -subject -issuer -dates -fingerprint -sha256
openssl x509 -in cert.pem -noout -text # 全部字段
openssl x509 -in cert.pem -noout -ext subjectAltName # 只看 SAN
subject=CN = example.com
issuer=CN = example.com
notBefore=Oct 18 15:31:54 2026 GMT
notAfter=Oct 18 15:31:54 2027 GMT
sha256 Fingerprint=78:54:2D:57:82:E8:1F:75:72:FC:BA:E6:EF:01:8A:F8:BF:69:78:18:17:1D:CA:3E:A2:27:CA:A3:66:DD:D8:3D
格式转换(PEM ⇄ DER、打包成 PFX)
openssl x509 -in cert.pem -outform der -out cert.der # PEM → DER
openssl x509 -inform der -in cert.der -out cert.pem # DER → PEM
# 证书 + 私钥打包成 PKCS#12(Windows / Java 常用,注意设口令)
openssl pkcs12 -export -inkey key.pem -in cert.pem -out bundle.p12 -passout pass:******
openssl pkcs12 -in bundle.p12 -nodes -passin pass:****** # 拆回 PEM(-nodes:私钥不加密)
-nodes是 “no DES”,意思是不加密私钥,拆出来的文件要立刻妥善保管。
8.6 签名与验签
# 用私钥签名(dgst 内部先做 SHA-256,再对摘要签名)
openssl dgst -sha256 -sign key.pem -out sig.bin msg.txt
# 用公钥验签
openssl dgst -sha256 -verify key.pub.pem -signature sig.bin msg.txt
# 输出:Verified OK
# 公钥也可以从证书里取
openssl x509 -in cert.pem -pubkey -noout > pub.pem
| 想做的事 | 命令 | 用什么密钥 |
|---|---|---|
| 保证内容没被篡改、且来源可信 | dgst -sign / dgst -verify | 私钥签、公钥验 |
| 保证内容只有对方能看 | pkeyutl -encrypt / pkeyutl -decrypt | 公钥加密、私钥解密 |
| 只想验证完整性(不防伪造) | dgst / sha256sum | 不需要密钥 |
8.7 TLS 诊断(s_client):网站的体检仪
# 最常用:看协议版本、加密套件、证书概况
openssl s_client -connect example.com:443 -servername example.com -brief
# 打印完整证书链(排查中间证书缺失)
openssl s_client -connect example.com:443 -servername example.com -showcerts
# 只关心证书到期时间
echo | openssl s_client -connect example.com:443 -servername example.com 2>/dev/null \
| openssl x509 -noout -enddate
# 非 HTTPS 协议的 STARTTLS 探测
openssl s_client -connect mail.example.com:25 -starttls smtp
openssl s_client -connect db.example.com:5432 -starttls postgres
# 校验证书链(用自定义 CA)
openssl verify -CAfile ca.pem cert.pem
-brief 的典型输出:
CONNECTION ESTABLISHED
Protocol version: TLSv1.3
Ciphersuite: TLS_AES_256_GCM_SHA384
Peer certificate: CN = example.com
Hash used: SHA256
Signature type: ECDSA
Server Temp Key: X25519, 253 bits
-servername必须带:一个 IP 上可能挂着几十个站点(SNI),不指定就只能拿到默认站点的证书。Windows 上常看到
Verification error: unable to get local issuer certificate,意思是本机的 CA 根证书路径没配好(OpenSSL 默认去/usr/local/ssl之类的位置找),不代表站点有问题。用-CAfile指定根证书即可。在线体检更省事:badssl.com 提供了过期证书、错误域名、弱协议等各种“病号“,testssl.sh 能把几十项配置一次查完。
8.8 常见坑与安全清单
| 坑 | 表现 | 正确做法 |
|---|---|---|
| 口令写在命令行 | -pass pass:xxx 会被 ps / 进程列表看到 | 交互式输入,或 -pass file:pw.txt、-pass env:VAR、-pass stdin |
以为 enc 能防篡改 | 密文被改后解密成乱码但不报错 | 需要完整性就用 AEAD、签名或 sha256sum 校验 |
| 用 ECB 模式 | -aes-256-ecb 相同明文块出相同密文 | 用 CBC/CTR,且 IV 每次随机 |
| 复用 IV | CTR/OFB 下最致命,等于泄露明文异或值 | 每次加密生成新的随机 IV,和密文一起存 |
| 老算法不可用 | Error setting cipher ... | 3.x 里旧算法在 legacy provider:加 -provider legacy -provider default |
| 证书只写 CN | 浏览器报名称不匹配 | 一定加 subjectAltName |
| 私钥没保护 | 明文 PEM 被拷走即失守 | chmod 600 + 磁盘加密,或生成时给私钥加密 |
8.9 一页速查表
| 任务 | 命令 |
|---|---|
| 看版本 | openssl version -a |
| 算 SHA-256 | openssl dgst -sha256 文件 |
| 算 SM3 | openssl dgst -sm3 文件 |
| HMAC | openssl dgst -sha256 -hmac 密钥 文件 |
| 口令加密文件 | openssl enc -aes-256-cbc -pbkdf2 -iter 100000 -in 明文 -out 密文 |
| 解密文件 | openssl enc -d -aes-256-cbc -pbkdf2 -iter 100000 -in 密文 -out 明文 |
| 生成随机密钥 | openssl rand -hex 32 |
| 生成 RSA 私钥 | openssl genpkey -algorithm RSA -pkeyopt rsa_keygen_bits:3072 -out key.pem |
| 导出公钥 | openssl pkey -in key.pem -pubout -out key.pub.pem |
| 自签证书 | openssl req -x509 -new -key key.pem -out cert.pem -days 365 -addext "subjectAltName=DNS:example.com" |
| 看证书信息 | openssl x509 -in cert.pem -noout -subject -dates -fingerprint -sha256 |
| 证书转 DER | openssl x509 -in cert.pem -outform der -out cert.der |
| 打包 PFX | openssl pkcs12 -export -inkey key.pem -in cert.pem -out bundle.p12 |
| 签名文件 | openssl dgst -sha256 -sign key.pem -out sig.bin 文件 |
| 验签 | openssl dgst -sha256 -verify pub.pem -signature sig.bin 文件 |
| 查 TLS 配置 | openssl s_client -connect 域名:443 -servername 域名 -brief |
| 查证书期限 | echo | openssl s_client -connect 域名:443 -servername 域名 2>/dev/null | openssl x509 -noout -enddate |
九、组合技:一条命令的威力
小刀单用削铅笔,组合起来能造飞机。下面每一条都是一行命令完成的真实任务。
9.1 日志分析
# 访问量 Top 10 的 IP
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10
# 各 HTTP 状态码占比
awk '{print $9}' access.log | sort | uniq -c | sort -rn
# 每个 IP 的流量合计(第 10 列是字节数)
awk '{sum[$1] += $10} END {for (ip in sum) print sum[ip], ip}' access.log | sort -rn | head
# 统计每分钟的请求量,找出流量尖峰
awk '{print substr($4, 2, 17)}' access.log | uniq -c | sort -rn | head
9.2 批量文件操作
# 把项目中所有 old_api() 替换成 new_api(),并列出改动的文件
grep -rl "old_api" --include="*.rs" . | xargs sed -i.bak 's/old_api/new_api/g'
grep -rl "new_api" --include="*.rs" . | wc -l
# 找出最大的 10 个目录
du -h --max-depth=1 . | sort -rh | head -10
# 清理 30 天前的日志
find /var/log -name "*.log" -mtime +30 -exec rm {} \;
9.3 数据统计(CSV)
假设 fees.csv 形如:房号,月份,金额
# 每户合计与总合计
awk -F, 'NR > 1 {sum[$1] += $3; total += $3}
END {for (r in sum) print r, sum[r]; print "总计", total}' fees.csv
# 按月统计(排序输出)
awk -F, 'NR > 1 {m[$2] += $3} END {for (month in m) print month, m[month]}' fees.csv | sort
# 找出单笔超过 500 的记录(相当于带格式化的 grep)
awk -F, 'NR > 1 && $3 > 500 {print $0}' fees.csv
9.4 接口监控与自动化
# 每 5 秒看一次接口状态码
watch -n 5 'curl -s -o /dev/null -w "%{http_code}\n" https://example.com'
# 每天备份数据库并保留 7 份
sqlite3 electricity_data.db ".backup backup_$(date +%F).db"
ls -t backup_*.db | tail -n +8 | xargs -r rm
9.5 git 组合技
# 查看两周内自己改了哪些文件
git log --since="2 weeks ago" --author="$(git config user.name)" --name-only --pretty=format:
# 找出贡献最多的 5 位作者
git shortlog -sn --all | head -5
# 统计每人增删行数
git log --numstat --pretty=format: | awk 'NF==3 {add[$3] += $1; del[$3] += $2}
END {for (f in add) printf "%-30s +%d -%d\n", f, add[f], del[f]}' | sort -k2 -rn | head
十、打造你自己的瑞士军刀(Rust 版)
这些工具的原理并不神秘,用 Rust 几十行就能复刻一个迷你版。
10.1 迷你 grep(minigrep)
use std::env;
use std::fs::File;
use std::io::{BufRead, BufReader};
fn main() {
let args: Vec<String> = env::args().collect();
if args.len() < 3 {
eprintln!("用法: minigrep <关键字> <文件>");
std::process::exit(1);
}
let (pattern, path) = (&args[1], &args[2]);
let file = match File::open(path) {
Ok(f) => f,
Err(e) => {
eprintln!("无法打开 {path}: {e}");
std::process::exit(1);
}
};
let pattern = pattern.to_lowercase();
for (no, line) in BufReader::new(file).lines().enumerate() {
let line = line.expect("读取失败");
if line.to_lowercase().contains(&pattern) {
println!("{}:{}", no + 1, line);
}
}
}
rustc -O minigrep.rs
./minigrep error app.log # 等价于 grep -i -n error app.log
10.2 迷你 wc
use std::io::{self, BufRead};
fn main() {
let (mut lines, mut words, mut bytes) = (0usize, 0usize, 0usize);
for line in io::stdin().lock().lines() {
let line = line.expect("读取失败");
lines += 1;
words += line.split_whitespace().count();
bytes += line.len() + 1; // +1 补回换行符
}
println!("{lines} {words} {bytes}");
}
cargo build --release
cat app.log | ./target/release/miniwc
10.3 迷你 awk(按列求和)
use std::io::{self, BufRead};
fn main() {
let mut sum = 0.0_f64;
for line in io::stdin().lock().lines() {
let line = line.expect("读取失败");
if let Some(field) = line.split(',').nth(2) {
if let Ok(value) = field.trim().parse::<f64>() {
sum += value;
}
}
}
println!("合计: {sum:.2}");
}
cat fees.csv | ./target/release/minisum # 等价于 awk -F, '{sum += $3} END {print sum}'
这些迷你工具加起来不到 60 行,却覆盖了 grep、wc、awk 的核心思路:读入文本流 → 按行/列切割 → 统计或过滤 → 输出文本流。理解了这一层,命令行就再也没有魔法。
十一、参考资料
- curl 官方文档——一切参数的出处
- Pro Git(中文版)——最权威的 Git 免费书
- GNU grep 手册
- GNU sed 手册
- GNU awk 手册
- AWK 一行流(awk1line)——经典的一句话脚本集
- jq 手册
- explainshell——粘贴命令,逐段解释
- tldr pages——比 man 更实用的例子手册
- 命令行的艺术(The Art of Command Line)
- ripgrep——更快的 grep
- Rust 官方文档——用 Rust 重写你自己的工具时
- OpenSSL 官方文档——
openssl所有子命令与参数的出处 - openssl 手册页索引——按子命令查(
openssl-enc、openssl-req、openssl-x509、openssl-s_client) - OpenSSL 安全策略与已知漏洞——升级前先看这里
- Mozilla SSL 配置生成器——生成服务器端 TLS 配置与对应的 openssl 自检命令
- badssl.com——过期证书、错误域名、弱协议等“病号“合集,练手
s_client的靶场 - testssl.sh——一条命令体检 TLS 配置
- Let’s Encrypt / Certbot——自动签发与续期免费证书