正如其他人所提到的，对于一个很大的文件，最好不进行迭代。
但是，出于各种原因，您通常确实希望将整个内容存储在内存中。
genfromtxt效率要低得多loadtxt（尽管它可以处理丢失的数据，而效率更高，但loadtxt“精益求精”，这就是两个函数共存的原因）。
如果您的数据非常规则（例如，所有相同类型的简单分隔行），也可以使用进行改进numpy.fromiter。
如果您有足够的内存，请考虑使用np.loadtxt('yourfile.txt', delimiter=',')（您可能还需要指定skiprows文件上是否有标头。）
作为快速比较，loadtxt在峰值使用情况下，使用〜900MB的RAM 加载约500MB的文本文件，而使用〜2.5GB的加载相同的文件genfromtxt。
Loadtxt 加载约500MB ASCII文件时numpy.loadtxt的内存和CPU使用情况
Genfromtxt 加载约500MB ASCII文件时numpy.genfromtxt的内存和CPU使用率
或者，考虑类似以下的内容。它仅适用于非常简单的常规数据，但速度非常快。（loadtxt并genfromtxt进行大量猜测和错误检查。如果您的数据非常简单且常规，则可以对其进行很大的改进。）
import numpy as np
def generate_text_file(length=1e6, ncols=20):
data = np.random.random((length, ncols))
np.savetxt('large_text_file.csv', data, delimiter=',')
def iter_loadtxt(filename, delimiter=',', skiprows=0, dtype=float):
def iter_func():
with open(filename, 'r') as infile:
for _ in range(skiprows):
next(infile)
for line in infile:
line = line.rstrip().split(delimiter)
for item in line:
yield dtype(item)
iter_loadtxt.rowlength = len(line)
data = np.fromiter(iter_func(), dtype=dtype)
data = data.reshape((-1, iter_loadtxt.rowlength))
return data
#generate_text_file()
data = iter_loadtxt('large_text_file.csv')
Fromiter
