最近在做自然语言处理的数据预处理部分——实体词,提取、抓取的数据集中包含中英文,那么我们只需要英文,不需要中文,于是就写了一个简单的脚本实现txt文本数据分类。
原数据如下(为了写这篇博客特意只提取了数据的一部分):
代码如下:
file_open = open(r'C:\Users\Administrator\Desktop\words.txt', 'r', encoding='gbk')lines = file_open.readlines()A = set()B = set()for line in lines:B.add(line)for char in line:if u'\u4e00' <= char <= u'\u9fff':A.add(line)else:breakwith open('C:/Users/Administrator/Desktop/2.txt', 'w+') as f:for stu in A:print(stu)f.write("".join(stu))C = B - Awith open('C:/Users/Administrator/Desktop/3.txt', 'w+') as t:for stb in C:print(stb)t.write("".join(stb))
分类结果如下:
1、中文文本
2、英文文本