CSV 是一种非常方便的数据交换格式。业务人员可以方便的在 Excel 进行编辑,然后上传到业务系统中。但是对于 Developer,Excel 略显笨重,并且编程方便并不那么友好。
本文将介绍一种方式,在 shell script 中处理 CSV 文件。内容涉及:
提取数据行
统计行数
输出指定列
按列排序
比较两列数据
其中将使用如下指令:
cat
grep
awk
wc
sort
vimdiff
提取数据行
中国城市近 4 年房产价格:
City,,,,
Beijing,22000,30000,35000,38000
Shanghai,20000,25000,30000,35000
Shaanxi-xi'an,6000,5800,5700,6000
Shaanxi-baoji,1000,1200,2000,2000
提取 Shaanxi 价格
cat apartment_prices.csv | grep ^Shaanxi
# output
# Shaanxi-xi'an,6000,5800,5700,6000
# Shaanxi-baoji,1000,1200,2000,2000
提取非 Shaanxi 价格
cat apartment_prices.csv | grep -v ^Shaanxi
# output
# City,,,,
# Beijing,22000,30000,35000,38000
# Shanghai,20000,25000,30000,35000
cat 用于输出 apartment_prices.csv 文件内容,grep 用于按照正则过滤我们需要的文件。
grep ^Shaanxi:提取以 Shaanxi 开头的数据行,^ 在 Regex 中用于指定行首。
grep -v ^Shaanxi:-v 参数为 --invert-match,提取不满足 Regex 条件的数据。
统计行数
中国城市近 4 年房产价格:
City,,,,
Beijing,22000,30000,35000,38000
Shanghai,20000,25000,30000,35000
Shaanxi-xi'an,6000,5800,5700,6000
Shaanxi-baoji,1000,1200,2000,2000
总数据行:
cat apartment_prices.csv | wc -l
# 5
wc -l:wc(Word Count) 用于行数,字数等数据统计,-l 代表按行数统计。
数据行数(没有header):
cat apartment_prices.csv | tail -n +2
# Beijing,22000,30000,35000,38000
# Shanghai,20000,25000,30000,35000
# Shaanxi-xi'an,6000,5800,5700,6000
# Shaanxi-baoji,1000,1200,2000,2000
cat apartment_prices.csv | tail -n +2 | wc -l
# 4
tail -n +2: tail 用于从文件尾部读取数据,-n +2 指定从第二行读取到行尾。我们常用 tail -f logfile.log 来监控 log 输出。
Shaanxi数据量:
cat apartment_prices.csv | grep ^Shaanxi | wc -l
# 2
输出指定列
中国城市近 4 年房产价格:
City,,,,
Beijing,22000,30000,35000,38000
Shanghai,20000,25000,30000,35000
Shaanxi-xi'an,6000,5800,5700,6000
Shaanxi-baoji,1000,1200,2000,2000
输出 年的数据:
cat apartment_prices.csv | awk -F, '{ print $3; }'
awk -F, '{ print $3; }':awk 是 linux 中非常强大的列表处理工具,linux 系统中的几乎所有输出都可以用 awk 处理。
-F,:指定列分隔符为 ',' (CSV格式),默认为空格,制表符。
pring $3: 输出 第3列 数据。
output:
#
# 30000
# 25000
# 5800
# 1200
# 输出前 3 列
cat apartment_prices.csv | awk -F, '{ print $1","$2","$3; }'
output:
City,,
Beijing,22000,30000
Shanghai,20000,25000
Shaanxi-xi'an,6000,5800
Shaanxi-baoji,1000,1200
按列排序
中国城市近 4 年房产价格:
City,,,,
Beijing,22000,30000,35000,38000
Shanghai,20000,25000,30000,35000
Shaanxi-xi'an,6000,5800,5700,6000
排序 年数据:
# 仅输出数据 的数据
cat apartment_prices.csv | tail -n +2 | awk -F, '{ print $3 }' | sort -g
sort -g:sort 用于排序数据,默认按照数据长度排序,-g 指定按照数字值排序。
output:
1200
5800
25000
30000
# 输出 city 信息
cat apartment_prices.csv | tail -n +2 | awk -F, '{ print $1 "," $3 }' | sort -t ',' -k 2 -g
sort -t ',' -k 2 -g: -k 2 指定按照第二列排序,-t , 指定列分隔符。
output:
Shaanxi-baoji,1200
Shaanxi-xi'an,5800
Shanghai,25000
Beijing,30000
比较两列数据
比较数据需要将数据输出到文件,然后使用git diff 或者 vim -d file1 file2 来比较。
比如比较 和 的数据
# 1. 提取 年的数据
cat apartment_prices.csv | tail -n +2 | awk -F, '{ print $4; }' >
# 2. 提取 年的数据
cat apartment_prices.csv | tail -n +2 | awk -F, '{ print $5; }' >
# 3. git diff
git diff
output diff:
diff --git a/ b/
index 162645c..6accdc5 100644
--- a/
+++ b/
@@ -1,4 +1,4 @@
+38000
35000
-30000
-5700
+6000
2000
实战应用
最近业务人员需要更新产品的数据,通常情况,业务人员使用 Excel 做好产品数据,然后使用 CSV 格式导入到系统中。但是由于遗留系统的原因,CSV数据需要导入到不同的系统中。遗留系统的数据同步需要 Developer 手动进行。
在整个数据同步过程中,涉及数据提取,比较,校验等过程。由于 Excel 对于 Developer 并不那么友好,因此用到了本文中的处理方法,使用 shell script 处理 CSV 文件。
参考资料