从这个标题来看就很有格局有没有？
今天教的是采集按摩店的数据，
不爬不知道呀，
光是一个城市的前10页数据，
都有1000多家店了，
全部爬完，那不得至少3000家以上？
现在的市场需求都那么大的吗？
今天不光教代码，还要带你们去逛逛…
就只是逛逛，我也没去过，就是好奇，才看看的。
很多会所的名字，一看名字就知道是家服务到位的店了~ ~ ~
代码主要内容【点击此处获取代码】
动态数据抓包json数据解析requests模块的使用保存csv环境介绍
python 3.8 解释器
pycharm 编辑器
开始代码，先导包
import requests # 数据请求模块 第三方模块 pip install requestsimport pprint # 格式化输出模块import csv # 保存csv模块
发送请求
# 因为它是字典数据类型data = {'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0','userid': '266252179','limit': '32','offset': 32,'cateId': '-1','q': '按摩',}headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'}response = requests.get(url=url, params=data, headers=headers) # 发送请求
加上请求头 作用: 伪装
User-Agent：表示浏览器基本信息
Cookie: 用户信息, 常用于检测是否有登陆账号
Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的
如果<Response [403]>：返回的response对象 403 状态码，表示你没有访问权限
200 表示请求成功
解析数据, 提取我们想要的一些数据内容 (店铺信息)
searchResult = response.json()['data']['searchResult']# for 遍历 提取列表中的每一个元素内容for index in searchResult:# pprint.pprint(index)href = f'https://www.嘻嘻.com/xiuxianyule/{index["id"]}/'dit = {'店铺名字': index['title'],'店铺类型': index['backCateName'],'店铺商圈': index['areaname'],'店铺评分': index['avgscore'],'店铺评论量': index['comments'],'人均消费': index['avgprice'],'维度': index['latitude'],'经度': index['longitude'],'详情页': href,}csv_writer.writerow(dit)print(dit)
翻页爬取
for page in range(0, 3201, 32):url = 'https://apimobile.嘻嘻.com/group/v4/poi/pcsearch/70'data = {'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0','userid': '266252179','limit': '32','offset': page,'cateId': '-1','q': '按摩',}
这个是第二页和第三页的数据内容，每次翻页offset + 32
最后是保存数据
f = open('按摩店top2.csv', mode='a', encoding='utf-8', newline='')csv_writer = csv.DictWriter(f, fieldnames=['店铺名字','店铺类型','店铺商圈','店铺评分','店铺评论量','人均消费','维度','经度','详情页',])csv_writer.writeheader() # 写入表头
可视化图表
导入数据
import pandas as pdimport numpy as npfrom pyecharts.charts import *from pyecharts import options as optsfrom pyecharts.globals import ThemeType #引入主题df = pd.read_csv('按摩店top2.csv',encoding='utf-8',engine="python")df.sample(5)
不同评分类型店铺数量
df4 = df.groupby('店铺评分')['店铺名字'].count()df4 = df4.sort_values(ascending=False)regions = df4.index.tolist()values = df4.tolist()c = (Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)).add("", [z for z in zip(regions,values)]).set_global_opts(title_opts=opts.TitleOpts(title="不同评分类型店铺数量",subtitle="数据来源：嘻嘻",pos_top="-1%",pos_left = 'center')).set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18)))c.render_notebook()
不同店铺类型店铺数量
df6 = df.groupby('店铺类型')['店铺名字'].count()df6 = df6.sort_values(ascending=False)[:10]df6 = df6.round(2)regions = df6.index.tolist()values = df6.tolist()c = (Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)).add("", [i for i in zip(regions,values)],radius=["40%", "75%"]).set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型店铺数量",pos_top="-1%",pos_left = 'center')).set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}",font_size=18)))c.render_notebook()
前10页的店铺，有1016家，评分5分的有714家
