作者:胡言R语言中文社区专栏作者
知乎ID:
/people/hu-yan-81-25
前言
我的天空里没有太阳,总是黑夜,但并不暗,因为有东西代替了太阳。虽然没有太阳那么明亮,但对我来说已经足够。凭借着这份光,我便能把黑夜当成白天。你明白吗?我从来就没有太阳,所以不怕失去。”
每每读完一本东野圭吾的书,我都要感慨一次:《白夜行》真是太好看了!
本文利用R和python分别对该书做分词并画词云,为今后更深一层的文本分析打基础。
一、R语言wordcloud
R语言最常用的分词包为jiebaR和Rwordseg,jiebaR分词对名称识别更有优势,Rwordseg效率更高。安装包时需要为电脑安装java,安装过程较繁琐,请各位看官自行百度。
2library(Rwordseg) 3library(wordcloud2)1library(rJava)
将《白夜行》小说txt版本读入R,查看wordbase有7851行:
2wordbase<-read.csv("white_night.txt") 3dim(wordbase)1setwd('C:/Users/Administrator/Documents/GitHub/play_0925_wordcloud_whitenight')
OutPut
1##[1]78511
清除小说中的各种标点符号,这里用到类似正则表达式的gsub()函数:
2word_clean$msg<-gsub(pattern="",replacement="",wordbase[,1]) 3word_clean$msg<-gsub("\t","",word_clean$msg) 4word_clean$msg<-gsub(",","???",word_clean$msg) 5word_clean$msg<-gsub("~|'","",word_clean$msg) 6word_clean$msg<-gsub("\\\"","",word_clean$msg) 7#head(word_clean)1word_clean<-NULL
将清理后的文本进行分词,此处手动加入不希望被拆散的词“亮司”、“雪穗”,jieba包对人名的识别很厉害,在后文python部分我们可以看一下二者的对比:
2seg_word<-segmentCN(as.character(word_clean)) 3head(seg_word)1insertWords(c('亮司','雪穗'))
OutPut
1##[1]"c""阿""日本""第一""畅销书""作家"
segmentCN()函数将文本拆成了单个的词汇。
将分词后的结果做频数统计:
2word=lapply(X=seg_word,FUN=strsplit,"") 3v=table(unlist(word)) 4v<-rev(sort(v)) 5d<-data.frame(word=names(v),cnt=v) 6d=subset(d,nchar(as.character(d$word))>1) 7d[1:30,]1words=unlist(lapply(X=seg_word,FUN=segmentCN))
OutPut
2##22雪穗雪穗823 3##23没有没有806 4##28什么什么716 5##49知道知道483 6##60一个一个410 7##66一成一成369 8##67他们他们355 9##72这么这么341 10##73自己自己335 11##74因为因为332 12##77这个这个3131##wordcnt.Var1cnt.Freq
上述结果为部分截取,我们可以看到雪穗是小说中出现次数最多的词,而亮司却不在前10位。
但是出现次数最多的词汇里,“没有”、“什么”、“一个”等词没有任何意义,因为任何作品都会
用到这些最常用的词,所以我们下一步需要去掉停用词stopwords。
2ssc=read.table("word_result2.txt",header=TRUE) 3class(ssc) 4ssc[1:10,] 5ssc=as.matrix(d) 6stopwords=read.table("wordclean_list.txt") 7class(stopwords) 8stopwords=as.vector(stopwords[,1]) 9wordResult=removeWords(ssc,stopwords) 10#去 11kkk=which(wordResult[,2]=="") 12wordResult=wordResult[-kkk,][,2:3] 13wordResult[1:40,]1write.table(v,file="word_result2.txt")
OutPut
2##22"雪穗""823" 3##90"男子""285" 4##118"调查""218" 5##121"警察""215" 6##122"电话""214" 7##123"东西""212" 8##131"回答""195" 9##132"发现""195" 10##137"工作""189" 11##149"公司""173" 12##155"声音""167"1##cnt.Var1cnt.Freq
去停用词后,出现频数很高的词汇,我们明显可以感到《白夜行》特有的严肃和悲凉的气息。
终于可以画词云了,
星星词云:
2mydata<-read.table('white_night_cloud.txt') 3#mydata<-filter(mydata,mydata$cnt>=10) 4wordcloud2(mydata,size=1,fontFamily='宋体')1write.table(wordResult,'white_night_cloud.txt')
亮司与雪穗:
2mydata<-read.table('white_night_cloud.txt') 3#mydata<-filter(mydata,mydata$cnt>=10) 4wordcloud2(mydata,size=4,fontFamily='楷体',figPath='boyandgirl.jpg')1write.table(wordResult,'white_night_cloud.txt')
二、python---wordcloud
python同样可以画词云,用到jieba、wordcloud模块。
画词云的过程中需要用到ttf格式的字体,需要手动下载。
2fromwordcloudimportWordCloud,ImageColorGenerator 3importjieba 4importpandasaspd 5importnumpyasnp 6fromscipy.miscimportimread 7fromPILimportImage1fromosimportpath
1
读取文本
用同样的文本,即《白夜行》小说的txt文件,
2line=txt.readlines()#读取文字 3type(line)#list无法完成jieba分词 4line=','.join(line)#将list转化为str 5type(line)1txt=open('white_night.txt',encoding="gbk")
2
构建停用词表
2stopwords=[line.strip()forlineinopen('wordclean_list.txt','r',encoding="gbk").readlines()] 3#stopwords={}.fromkeys([line.rstrip()forlineinstoplist])#字典 4foraddin['雪穗','桐原','笹垣','友彦','唐泽','秋吉','筱冢','今枝','典子','利子','一成','']: 5stopwords.append(add) 6#stopwords=','.join(stopwords)此处不需要转化为string1stoplist=open('wordclean_list.txt',encoding="gbk")
3
jieba分词
2#word_cut=','.join(word_list) 3word_cut=list(word_list) 4type(word_cut1word_list=jieba.cut(line,cut_all=False)
4
画词云
2 3back_color=imread('/Users/huxugang/Github/boyandgirl.jpeg') 4image_colors=ImageColorGenerator(back_color) 5 6wd=WordCloud(font_path='/Users/huxugang/Github/wordcloud_whitenight/simhei.ttf',\ 7background_color='white',max_words=500, 8max_font_size=30, 9random_state=15, 10width=1200,#图片的宽 11height=400,#图片的长 12mask=cloud_mask) 13 14WD=wd.generate(word_cut) 15 16importmatplotlib.pyplotasplt 17WD.to_file('whitenight.jpg') 18#显示词云图片 19plt.figure(figsize=(10,10)) 20plt.axis('off')#去掉坐标轴 21plt.imshow(WD.recolor(color_func=image_colors)) 22#plt.show()1cloud_mask=np.array(Image.open('/Users/huxugang/Github/boyandgirl.jpeg'))
总
结
比较R语言和python,个人感觉R语言的wordcloud更人性化一下,字体设置更方便,更漂亮。
python画的词云可以实现字体颜色向背景图片同化(R语言是否可以我尚不清楚,有机会再研究),字体设置不太方便。两种工具我都将继续学习,做更多更有趣的实践。
愿世间没有伤害,愿天底下的雪穗和亮司都能无忧无虑地成长,快乐幸福地度过一生。
往期精彩:
R语言决策树:NBA球员如何拿到大合同
R语言轻巧的时间包hms
R语言中文社区终文章整理(作者篇)
R语言中文社区终文章整理(类型篇)
公众号后台回复关键字即可学习
回复爬虫爬虫三大案例实战
回复Python1小时破冰入门
回复数据挖掘R语言入门及数据挖掘
回复人工智能三个月入门人工智能
回复数据分析师数据分析师成长之路
回复机器学习机器学习的商业应用
回复数据科学数据科学实战
回复常用算法 常用数据挖掘算法
给我【好看】
你也越好看!