chunksize = 10 ** 6
with pd.read_csv(filename, chunksize=chunksize) as reader:
for chunk in reader:
process(chunk)Помогает бороться с MemoryError
Обработка больших файлов csv с помощью pandas порциями
Добавить комментарий
chunksize = 10 ** 6
with pd.read_csv(filename, chunksize=chunksize) as reader:
for chunk in reader:
process(chunk)Помогает бороться с MemoryError