文本 去除重复行（sublime Text3 ,正则表达式）

去除重复行的方法很多，这里通过正则表达式实现；

农林牧渔子类农林牧渔子类农林牧渔子类农林牧渔子类卫生和社会工作子类卫生和社会工作子类卫生和社会工作子类卫生和社会工作子类交通运输、仓储和邮政业子类交通运输、仓储和邮政业子类交通运输、仓储和邮政业子类交通运输、仓储和邮政业子类交通运输、仓储和邮政业子类交通运输、仓储和邮政业子类交通运输、仓储和邮政业子类交通运输、仓储和邮政业子类建筑业子类建筑业子类建筑业子类建筑业子类信息传输、软件和信息服务业子类信息传输、软件和信息服务业子类信息传输、软件和信息服务业子类信息传输、软件和信息服务业子类住宿和餐饮业子类住宿和餐饮业子类住宿和餐饮业子类住宿和餐饮业子类卫生和社会工作子类卫生和社会工作子类卫生和社会工作子类卫生和社会工作子类文化、体育和娱乐业子类文化、体育和娱乐业子类文化、体育和娱乐业子类文化、体育和娱乐业子类制造业子类制造业子类制造业子类制造业子类制造业子类制造业子类制造业子类制造业子类制造业子类制造业子类制造业子类制造业子类农林牧渔子类农林牧渔子类农林牧渔子类农林牧渔子类渔船船员子类渔船船员子类渔船船员子类渔船船员子类渔船船员子类渔船船员子类渔船船员子类渔船船员子类制造业子类制造业子类制造业子类制造业子类

正则表达式

(.*)(?=.*\n\1)

或

(^.*\n)(?=\1)

(.*) 任意字符 并捕获在第一组

(?=.*\n\1) 这是断言, 表示后面内容将是 任意个字符加上第一组所捕获的内容

替换为空

结果

农林牧渔子类卫生和社会工作子类交通运输、仓储和邮政业子类建筑业子类信息传输、软件和信息服务业子类住宿和餐饮业子类卫生和社会工作子类文化、体育和娱乐业子类制造业子类农林牧子类渔船船员子类制造业子类

再去除空行(安装插件DeleteBlankLines或者录制执行正则表达式的宏)，排序F9都可以使用sublime Text3