Python爬取全国或城市的百度地图慧眼（百度迁徙）迁入、迁出大数据
百度地图慧眼（百度迁移）迁入迁出大数据的官网显示如图：
爬取百度迁移的大数据，Python代码实现如下：
import requestsimport timeimport pandas as pdimport datetime# 百度迁移方向 0迁入，1迁出MOVE = ('move_in', 'move_out')"""构造10个城市名和代码代码可以在民政部查找，连接地址 http://www./article/sj/xzqh///12251506.html上述连接是11月中华人民共和国县以上行政区划代码"""CITY = {'北京': '110000','上海': '310000','广州': '440100','深圳': '440300','成都': '510100','天津': '120000','南京': '30','杭州': '330100','重庆': '500000','武汉': '40'}def get_data_from_url(url):print('请求http数据', url)resp = requests.get(url, timeout=5)j = resp.json()if j['errmsg'] == 'SUCCESS':data_list = j['data']['list']return data_listelse:print('请求服务器数据失败!')return Nonedef get_data(city_code, direction, date):if city_code is None:# 根据日期获取当前全国热门的迁入/迁出城市url_nation = f'/migration/cityrank.json?dt=country&id=0&type={direction}&date={date}'return get_data_from_url(url_nation)else:# 根据城市码和日期获取当前城市的迁入/迁出数据url_city = f'/migration/cityrank.json?dt=city&id={city_code}&type={direction}&date={date}'return get_data_from_url(url_city)def get_date(year, month, day):d = datetime.date(year, month, day)return d.__format__('%Y%m%d')def main():# 拼接特定日期，年月日date = get_date(, 11, 11)# 获取给定日期、给定城市码的城市迁入/迁出数据data = get_data(city_code=CITY['成都'], direction=MOVE[0], date=date)df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])df.to_excel('1.xls', encoding='utf-8') # 数据写入excel文件print(df)time.sleep(3)# 获取给定日期全国热门城市迁入/迁出数据data = get_data(city_code=None, direction=MOVE[0], date=date)df = pd.DataFrame(data=data, columns=['city_name', 'province_name', 'value'])df.to_excel('2.xls', encoding='utf-8') # 数据写入excel文件if __name__ == '__main__':main()
输出结果，数据存入excel表格，11月11日全国热门迁入城市排名数据：
