导读
主要利用pandas.read_csv接口对csv格式文件或txt文件进行读取，由于CSV格式文件使用非常频繁，功能强大，参数众多，因此在这里专门做详细介绍
使用示例
# 基础用法import pandas as pdpd.read_csv(path)ts_code symbol name area industry list_date0 000001.SZ 1 平安银行 深圳 银行 199104031 000002.SZ 2 万科A 深圳全国地产 199101292 000004.SZ 4 ST国华 深圳软件服务 199101143 000005.SZ 5 ST星源 深圳环境保护 199012104 000006.SZ 6 深振业A 深圳区域地产 19920427# 如何指定字符集类型 encoding=Nonepd.read_csv(path, encoding="utf8")# 如何指定表头/列名行 header=0pd.read_csv(path)# 作者是archiets_code symbol name area industry list_date000001.SZ 000001 平安银行 深圳 银行19910403000002.SZ 000002 万科A 深圳 全国地产 19910129000004.SZ 000004 ST国华 深圳 软件服务 19910114000005.SZ 000005 ST星源 深圳 环境保护 19901210pd.read_csv(path, header=1)ts_code symbol name area industry list_date0 000001.SZ 1 平安银行 深圳 银行 199104031 000002.SZ 2 万科A 深圳全国地产 199101292 000004.SZ 4 ST国华 深圳软件服务 199101143 000005.SZ 5 ST星源 深圳环境保护 19901210# 如何指定分隔符 sep=","pd.read_csv(path) ts_code/symbol/name/area/industry/list_date0 000001.SZ/000001/平安银行/深圳/银行/199104031 000002.SZ/000002/万科A/深圳/全国地产/199101292000004.SZ/000004/ST国华/深圳/软件服务/199101143000005.SZ/000005/ST星源/深圳/环境保护/19901210pd.read_csv(path, sep='/')ts_code symbol name area industry list_date0 000001.SZ 1 平安银行 深圳 银行 199104031 000002.SZ 2 万科A 深圳全国地产 199101292 000004.SZ 4 ST国华 深圳软件服务 199101143 000005.SZ 5 ST星源 深圳环境保护 19901210# 如何自定义列名 names=Nonepd.read_csv(path) 000001.SZ 000001 平安银行 深圳 银行 199104030 000002.SZ 2 万科A 深圳 全国地产 199101291 000004.SZ 4 ST国华 深圳 软件服务 199101142 000005.SZ 5 ST星源 深圳 环境保护 19901210pd.read_csv(path, names=['ts_code','symbol','name','area','industry','list_date'])ts_code symbol name area industry list_date0 000001.SZ 1 平安银行 深圳 银行 199104031 000002.SZ 2 万科A 深圳全国地产 199101292 000004.SZ 4 ST国华 深圳软件服务 199101143 000005.SZ 5 ST星源 深圳环境保护 19901210# 如何指定行索引 index_col=Nonepd.read_csv(path)ts_code symbol name area industry list_date0 000001.SZ 1 平安银行 深圳 银行 199104031 000002.SZ 2 万科A 深圳全国地产 199101292 000004.SZ 4 ST国华 深圳软件服务 199101143 000005.SZ 5 ST星源 深圳环境保护 19901210pd.read_csv(path, index_col="ts_code") symbol name area industry list_datets_code 000001.SZ 1 平安银行 深圳 银行 19910403000002.SZ 2 万科A 深圳全国地产 19910129000004.SZ 4 ST国华 深圳软件服务 19910114000005.SZ 5 ST星源 深圳环境保护 19901210# 如何读入指定列数据 usecols=Nonepd.read_csv(path, usecols=["ts_code"])ts_code0 000001.SZ1 000002.SZ2 000004.SZ3 000005.SZpd.read_csv(path, usecols=["ts_code", "area"])ts_code area0 000001.SZ 深圳1 000002.SZ 深圳2 000004.SZ 深圳3 000005.SZ 深圳# 如何读入前N行数据 nrows=Nonepd.read_csv(path)ts_code symbol name area industry list_date0 000001.SZ 1 平安银行 深圳 银行 199104031 000002.SZ 2 万科A 深圳全国地产 199101292 000004.SZ 4 ST国华 深圳软件服务 199101143 000005.SZ 5 ST星源 深圳环境保护 19901210pd.read_csv(path, nrows=2)ts_code symbol name area industry list_date0 000001.SZ 1 平安银行 深圳 银行 199104031 000002.SZ 2 万科A 深圳全国地产 19910129# 如何跳过前N行数据 skiprows=Nonepd.read_csv(path, skiprows=2) 000002.SZ 000002 万科A 深圳 全国地产 199101290 000004.SZ 4 ST国华 深圳 软件服务 199101141 000005.SZ 5 ST星源 深圳 环境保护 19901210# 如何指定数据类型 dtype=Nonepd.read_csv(path, dtype={"list_date": "str"}).info()<class 'pandas.core.frame.DataFrame'>RangeIndex: 4 entries, 0 to 3Data columns (total 6 columns): # ColumnNon-Null Count Dtype --- -------------------- ----- 0 ts_code 4 non-nullobject 1 symbol4 non-nullint64 2 name 4 non-nullobject 3 area 4 non-nullobject 4 industry 4 non-nullobject 5 list_date 4 non-nullobjectdtypes: int64(1), object(5)memory usage: 320.0+ bytes# 如何读入时进行数据运算 converters=Nonepd.read_csv(path, converters={"ts_code": lambda code: code[:6]}) ts_code symbol name area industry list_date0 000001 1 平安银行 深圳 银行 199104031 000002 2 万科A 深圳全国地产 199101292 000004 4 ST国华 深圳软件服务 199101143 000005 5 ST星源 深圳环境保护 19901210# 如何读入时对日期时间列进行转换 parse_dates=Falsepd.read_csv(path, parse_dates=["list_date"])ts_code symbol name area industry list_date0 000001.SZ 1 平安银行 深圳 银行 1991-04-031 000002.SZ 2 万科A 深圳全国地产 1991-01-292 000004.SZ 4 ST国华 深圳软件服务 1991-01-143 000005.SZ 5 ST星源 深圳环境保护 1990-12-10pd.read_csv(path, parse_dates=["list_date"]).info()<class 'pandas.core.frame.DataFrame'>RangeIndex: 4 entries, 0 to 3Data columns (total 6 columns): # ColumnNon-Null Count Dtype --- -------------------- -----0 ts_code 4 non-nullobject 1 symbol4 non-nullint642 name 4 non-nullobject 3 area 4 non-nullobject 4 industry 4 non-nullobject 5 list_date 4 non-nulldatetime64[ns]dtypes: datetime64[ns](1), int64(1), object(4)memory usage: 320.0+ bytes
参数解析
# 以下为默认参数pd.read_csv( filepath_or_buffer: Union[str, pathlib.Path, IO[~AnyStr]], #文件路径 sep=',', #分割符 delimiter=None, #备选分隔符，如果指定该参数，则sep参数失效 header='infer', #指定第几行是表头，也就是指定列名行。由于默认参数skip_blank_lines=True，header参数将忽略空行和注释行, 因此header=0表示第一行数据而非文件的第一行 names=None, #指定列名，传入列表 index_col=None, #指定索引列，可以理解为行名 usecols=None, #使用数据的部分列，传需要读入的列名或序号[列名1,列名2],或excel中自带列名ABCD...如“A,B”或"A:D" squeeze=False, #读入数据只一列时转Series对象，默认不转prefix=None, #指定一个前缀，列名改为 前缀+序号 mangle_dupe_cols=True, #当列名有重复时，解析列名将变为X, X.1...，为False时后面重复列名的列会覆盖前列 dtype=None, #指定各数据列的数据类型，精准指定可传字典或列表 engine=None, #可以选择C或Python，一般不用 converters=None, ##对某一列使用Lambda函数，进行某种运算 true_values=None, #同false_values一起使用，若在列表中则数据变true false_values=None, #同true_values一起使用，若在列表中数据变false skipinitialspace=False, skiprows=None, #跳过前几行，可传列表跳过多行(列名行为第0行),也可以传入Lambda函数如读取偶数行：skiprows=lambda x:x%2==0 skipfooter=0, #对应skiprows，跳过后几行 nrows=None, #读入前几行 na_values=None,#将指定的值更改为NaN，可传列表进行多个替换 keep_default_na=True,#默认True,读入空值为NaN，False直接无数据 na_filter=True,#空值标记，默认标记空值，False时不标记空值且参数keep_default_na和na_values都会失效 skip_blank_lines=True, #不读入空行 parse_dates=False, #传入需要进行解析日期列，如日期分三列存放可如下进行解析：parse_dates={"list_date": ["年", "月", "日"]} date_parser=None, #配合parse_dates，对parse_dates参数传入列进行数据转化利用Lambda函数 keep_date_col=False, #parse_dates参数可以将多列合并并解析成一个时间列，此时使用该参数可以保留原有时间列 dayfirst=False, #如果parse_dates参数可以，会对转换后的日期转换为该月的第一天 iterator=False, #是否返回TextFileReader对象，可迭代 chunksize=None, #指定块大小，处理大型csv文件时使用，按块读入，返回可迭代TextFileReader对象 compression='infer', #指定压缩格式，用于对磁盘数据进行即时解压缩。如果为“infer”，且传入文件路径是以.gz、.bz2、.zip或.xz结尾的字符串，则使用gzip、bz2、zip或xz，否则不进行解压缩。如果使用zip，则ZIP文件必须仅包含一个要读取的数据文件。设置为None将不进行解压缩 lineterminator=None, #指定换行符，仅对C解析器有效 quotechar='"', #表示引用数据的开始和结束的字符 escapechar=None, #传入一个转义符，用于过滤数据中的该转入符 comment=None, #注释标识符，忽略每一行传入字符串之后的数据 encoding=None, #指定字符集类型，通常指定为'utf-8')
