作者:TED
来源:TEDxPY
之前曾尝试用 Python 写过整理 Excel 表格的代码,记录在《Python 自动整理 Excel 表格》中。当时也是自己初试 pandas,代码中用到的也是结合需求搜索来的 merge 方法实现两个表格的“融合”,现在看来也不算复杂。起初没什么人看,也没留意;最近很意外地被几位朋友转载了去,竟也带着原文阅读破千了,吸引了不少新的关注。
由此想到,可能 pandas 处理表格并没有想象中被熟知,如果不接触可能完全意识不到会有这类工具的存在。
今天要分享的这个问题和之前的类似,也是表格合并:
首先是需求一:有 表 A.xlsx 和 表 B.xlsx,想将其纵向合并成同一张表格:
以及需求二:想在 表 C.xlsx 中提取第三列、在 表 D.xlsx 中提取前两列,整合成新的表格:
如果不用编程,纯手工操作其实并不难,选中区域、复制再粘贴就搞定了。工作量小的情况下,手工操作一番还挺快乐的;但如果文件几十上百份、甚至成百上千的话就一言难尽了。所以,工作量大时,编程代码来实现上述操作的优势就凸显了:修改代码中几个参数,设置几个循环遍历,等几秒钟便可轻松搞定。
下面看 Python 实现的思路和步骤,还是要用之前提到过的 pandas 库。
pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。
pandas 百度百科
关于 pandas 网上一堆这里先不赘述。此外,由于涉及 xlsx 格式的 Excel 表格读写,还需要 xlrd 和 openpyxl 模块的支持,可通过以下命令安装模块:
pip install xlrdpip install openpyxl
如果运行代码过程中,报错 No Module ... 可以尝试安装相应模块来解决。
需求一编码
模块准备就绪,首先是导入 pandas 模块,通过read_excel方法来读取表格内容。表 A 读取如下:
表 B 读取如下:
读取到的表格内容的数据格式是 Dataframe (pandas 中的一种数据格式),最左侧竖排 0 开始的数字是该数据格式的 index。
我们可以通过 pandas 中的 concat 方法来合并不同的 Dataframe。注意 concat 方法中有个参数是 axis,默认为 0表示按行即纵向合并,此处我们没有做设置使用的是默认值:
合并成功,但仍有问题,即最左侧的 index 和"序号" 一列中的数字并没有实现依据实际表格数据进行更新,仍是保持原样需要做调整。首先是通过 reset_index 来重置下 index:
此外还要对"序号"这一列中的数字更新处理:
OK,纵向合并完成,将合并后的数据通过 to_excel 方法保存到 xlsx 表格中:
最终,文件夹内会生成 result1.xlsx 表格文件,即合并后的结果了。
需求二编码
相较上个需求,此处额外多了一个提取某列,即定位数据格式中的部分数据,同时不同的是这次我们要横向按列合并提取出的内容。大致有些思路,仍是一步步来,首先仍是通过 read_excel 读取两个表格:
因为需求要定位到特定某列,故通过 iloc 方法实现通过索引定位并提取某行某列数据,首先是 iloc[:,2]获取 表 C 中的第三列(此处 ":" 代表所有行;2 代表由0开始的列索引值,即第三列):
以及 iloc[:,[0,1]] 获取 表 D 中的第一、二列(此处 ":"代表所有行;[0,1] 代表由0开始的列索引值,即第一列和第二列):
获取到了特定的数据内容,仍然通过concat 来合并,这里由于我们需要横向按列合并,故需要额外设置 axis参数为 1:
最终仍是通过 to_excel 方法保存 xlsx 格式表格文件:
至此,需求完成,任务搞定。
后续编码
接下来我们可能还有疑问,这样写出来的代码不还是只能将两份表格合并为一,怎么处理大量表格呢?
还记得学 Python 或其它编程语言开头都要学的 for 循环、定义方法么?基于刚实现的代码,我们就可以将整个合并流程定义成一个独立的方法,针对我们需要处理的大量文件,可以通过 for 循环来遍历、调用定义的方法来逐一完成处理。
由于我手头上没有太多文件,且提问题的朋友没做要求,所以后续代码没有展开。
此外,对于公众号的文章,我最初的观点是写自觉有趣的东西给大家当个乐子看。随着大家的反馈与提问,现在我对 "有趣" 的理解也丰富了些:除了博人眼球,用编程思路去优化现实中的问题也是很有意思的。
应懒癌朋友的要求,在这整理一下之前发过的几篇关于 Excel 表格处理以及 PDF 文件相关的文章,如有需要自取哈~
Excel 表格处理相关:
用 Python 整理 Excel 表格
摘要:将一份表格文件中不同 sheet 单页面中的数据汇总整理到一起
Python 自动整理 Excel 表格
摘要:将两份表格通过共有的数据信息进行合并融合
给无网络的办公电脑插上 Python 小翅膀
摘要:Windows 办公电脑在无网络情况下 Python 和 pandas 安装参考
本篇
摘要:提取表格内容进行横、纵向合并
PDF 文件处理相关:
Python 读取 PDF信息插入 Word 文档
摘要:批量在不同 PDF 中提取特定位置的数据插入到对应 Word 文档中
Python 办公小助手:读取 PDF 中表格并重命名
摘要:批量读取 PDF 中特定数据,并以读取到的数据重命名该 PDF 文件
这么一整理,也没几篇。。
以上,感谢阅读~
◆◆◆ ◆◆长按二维码关注我们数据森麟公众号的交流群已经建立,许多小伙伴已经加入其中,感谢大家的支持。大家可以在群里交流关于数据分析&数据挖掘的相关内容,还没有加入的小伙伴可以扫描下方管理员二维码,进群前一定要关注公众号奥,关注后让管理员帮忙拉进群,期待大家的加入。管理员二维码:猜你喜欢●笑死人不偿命的知乎沙雕问题排行榜●我用Python纪念了那些被烂片收割的智商税!●互联网大佬学历&背景大揭秘,看看是你的老乡还是校友●上万条数据撕开微博热搜的真相!●你相信逛B站也能学编程吗?