1000字范文,内容丰富有趣,学习的好帮手!
1000字范文 > Python爬虫笔记——存储数据的基础知识(Csv Excel)

Python爬虫笔记——存储数据的基础知识(Csv Excel)

时间:2018-10-03 16:06:49

相关推荐

Python爬虫笔记——存储数据的基础知识(Csv Excel)

存储成csv格式文件和存储成Excel文件,这两种不同的存储方式需要引用的模块也是不同的。操作csv文件我们需要借助csv模块;操作Excel文件则需要借助openpyxl模块。

一、CSV

import csv#引用csv模块。csv_file = open('demo.csv','w',newline='',encoding='utf-8')#创建csv文件,我们要先调用open()函数,传入参数:文件名“demo.csv”、写入模式“w”、newline=''、encoding='utf-8'。

我们得创建一个新的csv文件,命名为“demo.csv”。

“w”就是writer,即文件写入模式,它会以覆盖原内容的形式写入新添加的内容。

加newline=’ '参数的原因是,可以避免csv文件出现两倍的行距(就是能避免表格的行与行之间出现空白行)。

加encoding=‘utf-8’,可以避免编码问题导致的报错或乱码。

CSV写入:

import csv#引用csv模块。csv_file = open('demo.csv','w',newline='',encoding='utf-8')#调用open()函数打开csv文件,传入参数:文件名“demo.csv”、写入模式“w”、newline=''、encoding='utf-8'。writer = csv.writer(csv_file)# 用csv.writer()函数创建一个writer对象。writer.writerow(['电影','豆瓣评分'])#调用writer对象的writerow()方法,可以在csv文件里写入一行文字 “电影”和“豆瓣评分”。writer.writerow(['银河护卫队','8.0'])#在csv文件里写入一行文字 “银河护卫队”和“8.0”。writer.writerow(['复仇者联盟','8.1'])#在csv文件里写入一行文字 “复仇者联盟”和“8.1”。csv_file.close()#写入完成后,关闭文件就大功告成啦!

【提醒】:writerow()函数里,需要放入列表参数,所以我们得把要写入的内容写成列表。就像[‘电影’,‘豆瓣评分’]。

CSV读取:

import csvcsv_file = open('demo.csv','r',newline='',encoding='utf-8')reader = csv.reader(csv_file)for row in reader:print(row)

第1、2行代码:导入csv模块。用open()打开“demo.csv”文件,‘r’是reader读取模式,newline=’'是避免出现两倍行距。encoding='utf-8’能避免编码问题导致的报错或乱码。

第3行代码:用csv.reader()函数创建一个reader对象。

第4、5行代码:用for循环遍历reader对象的每一行。打印row,就能读取出“demo.csv”文件里的内容。

二、Excel(openpyxl)

一个Excel文档也称为一个工作薄(workbook),每个工作薄里可以有多个工作表(wordsheet),当前打开的工作表又叫活动表。

每个工作表里有行和列,特定的行与列相交的方格称为单元格(cell)。比如上图第A列和第1行相交的方格我们可以直接表示为A1单元格。

安装方法:window电脑:在终端输入命令:pip install openpyxl,按下enter键。

import openpyxl #写入的代码:wb = openpyxl.Workbook() #利用openpyxl.Workbook()函数创建新的workbook(工作薄)对象,就是创建新的空的Excel文件。sheet = wb.active #wb.active就是获取这个工作薄的活动表,通常就是第一个工作表。sheet.title = 'new title' #可以用.title给工作表重命名。现在第一个工作表的名称就会由原来默认的“sheet1”改为"new title"。sheet['A1'] = '漫威宇宙' #把'漫威宇宙'赋值给第一个工作表的A1单元格,就是往A1的单元格中写入了'漫威宇宙'。rows = [['美国队长','钢铁侠','蜘蛛侠','雷神'],['是','漫威','宇宙', '经典','人物']] #先把要写入的多行内容写成列表,再放进大列表里,赋值给rows。for i in rows: #遍历rows,同时把遍历的内容添加到表格里,这样就实现了多行写入。sheet.append(i)print(rows)wb.save('Marvel.xlsx') #保存新建的Excel文件,并命名为“Marvel.xlsx”#读取的代码:wb = openpyxl.load_workbook('Marvel.xlsx') #调用openpyxl.load_workbook()函数,打开“Marvel.xlsx”文件。sheet = wb['new title'] #获取“Marvel.xlsx”工作薄中名为“new title”的工作表。sheetname = wb.sheetnames #sheetnames是用来获取工作薄所有工作表的名字的。如果你不知道工作薄到底有几个工作表,就可以把工作表的名字都打印出来。print(sheetname) A1_cell = sheet['A1']A1_value = A1_cell.valueprint(A1_value) #把“new title”工作表中A1单元格赋值给A1_cell,再利用单元格value属性,就能打印出A1单元格的值

总结

import requests,openpyxlwb=openpyxl.Workbook() #创建工作薄sheet=wb.active #获取工作薄的活动表sheet.title='Jay_song' #工作表重命名sheet['A1'] ='歌曲名'#加表头,给A1单元格赋值sheet['B1'] ='所属专辑' #加表头,给B1单元格赋值sheet['C1'] ='播放时长' #加表头,给C1单元格赋值sheet['D1'] ='播放链接' #加表头,给D1单元格赋值url = 'https://c./soso/fcgi-bin/client_search_cp'for x in range(2):params = {'ct': '24','qqmusic_ver': '1298','new_json': '1','remoteplace': 'sizer.yqq.song_next','searchid': '64405487069162918','t': '0','aggr': '1','cr': '1','catZhida': '1','lossless': '0','flag_qc': '0','p': str(x + 1),'n': '20','w': '周杰伦','g_tk': '5381','loginUin': '0','hostUin': '0','format': 'json','inCharset': 'utf8','outCharset': 'utf-8','notice': '0','platform': 'yqq.json','needNewCode': '0'}res_music = requests.get(url, params=params)json_music = res_music.json()list_music = json_music['data']['song']['list']for music in list_music:name = music['name']# 以name为键,查找歌曲名,把歌曲名赋值给namealbum = music['album']['name']# 查找专辑名,把专辑名赋给albumtime = music['interval']# 查找播放时长,把时长赋值给timelink = '/n/yqq/song/' + str(music['file']['media_mid']) + '.html\n'# 查找播放链接,把链接赋值给linksheet.append([name, album, time,url])# 把name、album、time和link写成列表,用append函数多行写入Excelprint('歌曲名:' + name + '\n' + '所属专辑:' + album +'\n' + '播放时长:' + str(time) + '\n' + '播放链接:'+ url)wb.save('Jay.xlsx') #最后保存并命名这个Excel文件,保存在编译文件所在目录位置print('文件已完成')

三、Excel(xlrd和xlwt)

3.1 xlrd和xlwt的安装

xlrd和xlwt是python的第三方库,所以是需要自己安装的,可以在python的官网/pypi下载该模块来安装,也可以通过其他手段,比如easy_install或者pip,我在Win7环境下已经安装好pip,所以就在命令符窗口中用如下命令来安装xlrd和xlwt。

pip install xlrd

pip install xlwt

3.2 xlrd使用介绍

1、导入模块

import xlrd

2、打开Excel文件读取数据

data = xlrd.open_workbook(‘excelFile.xls’)

3、使用技巧

获取一个工作表

table = data.sheets()[0] #通过索引顺序获取

table = data.sheet_by_index(0) #通过索引顺序获取

table = data.sheet_by_name(u’Sheet1’) #通过名称获取

获取整行和整列的值(数组)table.row_values(i)table.col_values(i)获取行数和列数nrows = table.nrows ncols = table.ncols循环行列表数据for i in range(nrows):print table.row_values(i)单元格cell_A1 = table.cell(0,0).valuecell_C4 = table.cell(2,3).value使用行列索引cell_A1 = table.row(0)[0].valuecell_A2 = table.col(1)[0].value简单的写入row = 0col = 0# 类型 0 empty,1 string, 2 number, 3 date, 4 boolean, 5 errorctype = 1 value = '单元格的值'xf = 0 # 扩展的格式化table.put_cell(row, col, ctype, value, xf)table.cell(0,0) #单元格的值'table.cell(0,0).value #单元格的值'

eg:

import osimport xlrdfrom datetime import date,datetime#打开Excel文件workbook = xlrd.open_workbook('09-10.11-38-12-HTTP-GOOD-1-Lte1sDataStat_Charts.xlsx')#输出Excel文件中所有sheet的名字print workbook.sheet_names()#根据sheet索引或者名称获取sheet内容Data_sheet = workbook.sheets()[0]CdfData_sheet = workbook.sheet_by_index(1)Charts_sheet = workbook.sheet_by_name(u'Charts')#获取sheet名称、行数和列数print Data_sheet.name, Data_sheet.nrows, Data_sheet.ncols,\CdfData_sheet.name, CdfData_sheet.nrows, CdfData_sheet.ncols,\Charts_sheet.name, Charts_sheet.nrows, Charts_sheet.ncols#获取整行和整列的值(列表) rows = Data_sheet.row_values(0) #获取第一行内容cols = Data_sheet.col_values(1) #获取第二列内容#print rows#print cols#获取单元格内容cell_A1 = Data_sheet.cell(0,0).valuecell_C1 = Data_sheet.cell(0,2).valuecell_B1 = Data_sheet.row(0)[1].valuecell_D2 = Data_sheet.col(3)[1].valueprint cell_A1, cell_B1, cell_C1, cell_D2#获取单元格内容的数据类型#ctype:0 empty,1 string, 2 number, 3 date, 4 boolean, 5 errorprint 'cell(0,0)数据类型:', Data_sheet.cell(0,0).ctypeprint 'cell(1,0)数据类型:', Data_sheet.cell(1,0).ctypeprint 'cell(1,1)数据类型:', Data_sheet.cell(1,1).ctypeprint 'cell(1,2)数据类型:', Data_sheet.cell(1,2).ctype#获取单元格内容为日期的数据date_value = xlrd.xldate_as_tuple(Data_sheet.cell_value(1,0),workbook.datemode)print date_valueprint '%d:%d:%d' %(date_value[3:])d = {'11:25:59':[1, 2, 3], '11:26:00':[2, 3, 4], '11:26:01':[3, 4, 5]}print d['11:25:59']print d['11:26:00']print d['11:26:01']print d['11:25:59'][0]print d['11:26:00'][0]print d['11:26:01'][0]

3.3 相关模块

相关模块:

csv python标准模块。推荐。

xlrd 读取 .xls, .xlsx 文件。

xlutils xlrd和xlwt的集合。

openpyxl 读写 Excel xlsx/xlsm文件 。纯python,效率不高。

Matplotlib 2D作图模块,适用于基于excel作图。

Pywin32 python windows扩展 ,不跨平台,通过COM口连接excel。

Pyxll 在excel中使用python替代vbs。/。类似模块有pyinex。Python For Excel /PythonForExcel/main.html

XlsxWriter 写xlsx文件。纯python。

3.4 快速入门

下面例子,创建一个名为mini.xls的文件,它有一个空sheet:‘xlwt was here’。代码见mini.py。

fromxlwt import *

w =Workbook()

ws = w.add_sheet(‘xlwtwas here’)

w.save(‘mini.xls’)

Workbook类初始化时有encoding和style_compression参数。

encoding,设置字符编码,一般要这样设置:w = Workbook(encoding=‘utf-8’),就可以在excel中输出中文了。默认是ascii。当然要记得在文件头部添加:

-- coding: utf-8--

style_compression 表示是否压缩,不常用。

Workbook 还有一些属性:

Owner 设置文档所有者。

country_code: 国家码

wnd_protect: 窗口保护

obj_protect: 对象保护

Protect: 保护

backup_on_save: 保存时备份

Hpos: 横坐标

Vpos: 纵坐标

Width: 宽度

Height: 高度

active_sheet: 活动sheet

tab_width: tab宽度

wnd_visible: 窗口是否可见

wnd_mini: 窗口最小化

hscroll_visible: 横向滚动条是否可见。

vscroll_visible: 纵向滚动条是否可见。

tabs_visible: tab是否可见。

dates_1904: 是否使用1904日期系统

use_cell_values: 单元格的值

default_style: 默认样式

colour_RGB: 颜色

方法有:add_style,add_font,add_str,del_str,str_index,add_rt,rt_index,add_sheet,get_sheet,raise_bad_sheetname,convert_sheetindex,setup_xcall,add_sheet_reference。

eg:

import osimport xlwtdef set_style(name, height, bold = False):style = xlwt.XFStyle() #初始化样式font = xlwt.Font() #为样式创建字体font.name = namefont.bold = boldfont.color_index = 4font.height = heightstyle.font = fontreturn styledef write_excel():#创建工作簿workbook = xlwt.Workbook(encoding='utf-8') #创建sheetdata_sheet = workbook.add_sheet('demo') row0 = [u'字段名称', u'大致时段', 'CRNTI', 'CELL-ID']row1 = [u'测试', '15:50:33-15:52:14', 22706, 4190202]#生成第一行和第二行for i in range(len(row0)):data_sheet.write(0, i, row0[i], set_style('Times New Roman', 220, True))data_sheet.write(1, i, row1[i], set_style('Times New Roman', 220, True))#保存文件workbook.save('demo.xls')if __name__ == '__main__': write_excel()print u'创建demo.xlsx文件成功'

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。