1000字范文,内容丰富有趣,学习的好帮手!
1000字范文 > 如何用Python爬取网易云音乐的全部评论?

如何用Python爬取网易云音乐的全部评论?

时间:2018-10-23 14:35:49

相关推荐

如何用Python爬取网易云音乐的全部评论?

网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是接近百万或者是超过百万条.现在我就来分享一下如何爬取网易云音乐歌曲的全部评论,由于网易云音乐的评论都做了混淆加密处理,因此我们需要深入了解它的加密过程之后才能爬取到网易云音乐歌曲的全部评论。

一,首先分析数据的请求方式

网易云音乐歌曲页面的URL形式为/#/song?id=歌曲id号,这里我用Delacey的Dream it possible 为例进行讲解,它的URL为/#/song?id=38592976.接下来开始分析数据的请求方式.

由于网易云音乐的评论是通过Ajax传输,我们打开浏览器的开发者工具(检查元素),选中控制面板中的Network,再点击XHR(捕获ajax数据),然后点击左上角的重新加载,会看到下面图片中的数据请求列表

点击R_SO_4_38592976?csrf_token=cdee144903c5a32e6752f50180329fc9这一行,再点击Preview

发现我们所需要的数据就在这json格式的数据中,其中comments中是第一页的全部评论,一共20条,hotcomments是精彩评论一共有15条,每首歌曲只有第一页评论才有精彩评论.接着看一下它的请求头,点击Headers

我们发现的它是个post请求,向下滑你会发现这个post请求还带有数据

<

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。