在使用机器学习等算法模型的时候，往往都会需要将数据加载到内存中才能够使用，对于原始数据我们往往需要按照一定的数据划分比例划分为测试集和训练集，如果想直接使用交叉验证来进行评估的话则不需要数据划分这个步骤。
正好最近在做这方面的东西，写一个简单的小函数实现数据的读取与划分功能，下面是具体的实现：
def read_data(test_data='features.csv',n=1,label=1):'''加载数据的功能n:特征数据起始位label：是否是监督样本数据'''csv_reader=csv.reader(open(test_data))data_list=[]for one_line in csv_reader:data_list.append(one_line)x_list=[]y_list=[]for one_line in data_list[1:]:if label==1:y_list.append(int(one_line[-1])) #标志位one_list=[float(o) for o in one_line[n:-1]]x_list.append(one_list)else:one_list=[float(o) for o in one_line[n:]]x_list.append(one_list)return x_list, y_listdef split_data(data_list, y_list, ratio=0.30):'''按照指定的比例，划分样本数据集ratio: 测试数据的比率'''X_train, X_test, y_train, y_test = train_test_split(data_list, y_list, test_size=ratio, random_state=50)print '--------------------------------split_data shape-----------------------------------'print len(X_train), len(y_train)print len(X_test), len(y_test)return X_train, X_test, y_train, y_test
简单解释一下：
read_data函数功能是将csv格式的特征数据读入内存中，其中有几个参数，n代表每一条样本中特征数据的起始位，由于我的csv文件每个样本行第一个数据单元为样本的id，不参与计算，这里n=1.label代表读取的数据是监督样本数据还是无监督样本数据。
split_data是调用了sklearn的train_test_split函数，对其进行了简单的封装使用，可以输出按照制定比例ratio划分得到的训练集和测试集数据。
