Python CSV 文件处理的注意事项

发布时间 - 2026-01-31 00:00:00    点击率:
必须指定 newline='',否则 Windows 下 csv 写入会多空行;读取需用 encoding='utf-8-sig' 消除 BOM;DictReader 字段名易被污染,应校验 fieldnames;中文乱码常因编码误配,优先试 utf-8-sig;大文件须流式处理,禁用 list(reader)。

csv 模块读写时必须指定 newline=''

Python 的 csv 模块在 Windows 上容易多出空行,根本原因是它会把 \n 当作行结束符,而文件对象本身又按系统默认方式处理换行(比如 Windows 下自动把 \n 转成 \r\n),导致双重转换。不加 newline=''csv.writer 可能写出 \r\r\n

  • 读取时:用 open(..., newline='') 打开文件,再传给 csv.reader
  • 写入时:同样必须用 open(..., 'w', newline='') ,否则每行末尾多一个空行
  • 别用 encoding='utf-8-sig' 代替 newline=''——前者解决 BOM 问题,后者才是换行控制的关键

csv.DictReader 的字段名可能被意外截断或污染

当 CSV 文件首行含不可见字符(如 BOM、多余空格、制表符)或字段名重复时,csv.DictReader 会静默接受,但后续 row['xxx'] 可能 KeyError 或取到错误列。

  • 打开文件时优先用 encoding='utf-8-sig' 消除 BOM 影响
  • 检查 reader.fieldnames 是否符合预期,必要时手动赋值:fieldnames=['id', 'name', 'email']
  • 避免依赖原始首行——尤其从 Excel 导出的 CSV 常含隐藏格式字符

中文字段或内容乱码,不只是编码问题

常见报错 UnicodeDecodeError: 'gbk' codec can't decode byte 0xad

表面是编码错误,但根源常是:文件实际是 UTF-8 编码却用 gbk 打开,或文件带 BOM 却没用 utf-8-sig

  • 优先尝试 encoding='utf-8-sig'(兼容 BOM)
  • 若失败,用 chardet 库探测:chardet.detect(open('x.csv', 'rb').read(10000))
  • Excel 保存的 CSV 默认可能是 gbk(Windows 简体中文版),不是 UTF-8——别假设所有 CSV 都是 UTF-8

大文件用 csv 模块逐行处理,别一次性 list(reader)

csv.reader 返回迭代器,但有人习惯转成 list 再遍历,几百万行 CSV 很快吃光内存。更隐蔽的问题是:某些 Excel 导出的 CSV 含跨行字段(引号包裹的换行符),list(reader) 会提前耗尽迭代器,导致后续逻辑拿不到数据。

  • 坚持用 for row in reader: 流式处理
  • 需要随机访问?先写入临时 SQLite 数据库,比全载入内存安全得多
  • csv.Sniffer().sniff() 探测分隔符前,确保只读前 1024 字节,避免大文件阻塞
BOM、换行、编码、字段名、内存占用——这些点单独看都不难,但混在一起时,错一个就卡住一整天。最麻烦的是错误不报,只是结果不对。


# excel  # python  # windows  # 编码  # 字节  # 中文乱码  # csv  # ai  # win  # 内存占用  # for  # 对象  # bom  # sqlite  # 数据库  # 字段名  # 换行  # 大文件  # 转成  # 的是  # 都是  # 流式  # 迭代  # 才是  # 遍历 


相关栏目: 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571


相关推荐: 浅谈Javascript中的Label语句  如何制作新型网站程序文件,新型止水鱼鳞网要拆除吗?  网站制作壁纸教程视频,电脑壁纸网站?  香港服务器WordPress建站指南:SEO优化与高效部署策略  如何快速搭建高效服务器建站系统?  Android中AutoCompleteTextView自动提示  Java垃圾回收器的方法和原理总结  如何生成腾讯云建站专用兑换码?  Laravel怎么处理异常_Laravel自定义异常处理与错误页面教程  合肥制作网站的公司有哪些,合肥聚美网络科技有限公司介绍?  如何在不使用负向后查找的情况下匹配特定条件前的换行符  Laravel如何使用Service Provider服务提供者_Laravel依赖注入与容器绑定【深度】  如何在局域网内绑定自建网站域名?  公司门户网站制作流程,华为官网怎么做?  如何将凡科建站内容保存为本地文件?  如何在景安服务器上快速搭建个人网站?  Laravel N+1查询问题如何解决_Eloquent预加载(Eager Loading)优化数据库查询  javascript基本数据类型及类型检测常用方法小结  Laravel如何升级到最新的版本_Laravel版本升级流程与兼容性处理  深圳网站制作平台,深圳市做网站好的公司有哪些?  Java遍历集合的三种方式  宙斯浏览器怎么屏蔽图片浏览 节省手机流量使用设置方法  青岛网站建设如何选择本地服务器?  香港网站服务器数量如何影响SEO优化效果?  HTML透明颜色代码在Angular里怎么设置_Angular透明颜色使用指南【详解】  齐河建站公司:营销型网站建设与SEO优化双核驱动策略  uc浏览器二维码扫描入口_uc浏览器扫码功能使用地址  Win11怎么关闭专注助手 Win11关闭免打扰模式设置【操作】  EditPlus中的正则表达式 实战(2)  Internet Explorer官网直接进入 IE浏览器在线体验版网址  如何在万网开始建站?分步指南解析  如何用wdcp快速搭建高效网站?  Laravel怎么实现验证码(Captcha)功能  SQL查询语句优化的实用方法总结  如何在Windows虚拟主机上快速搭建网站?  C++用Dijkstra(迪杰斯特拉)算法求最短路径  香港服务器租用费用高吗?如何避免常见误区?  Laravel如何发送邮件和通知_Laravel邮件与通知系统发送步骤  个人摄影网站制作流程,摄影爱好者都去什么网站?  EditPlus中的正则表达式实战(6)  Laravel中的Facade(门面)到底是什么原理  如何自定义建站之星网站的导航菜单样式?  怎么用AI帮你设计一套个性化的手机App图标?  详解CentOS6.5 安装 MySQL5.1.71的方法  如何实现javascript表单验证_正则表达式有哪些实用技巧  HTML透明颜色代码怎么让图片透明_给img元素加透明色的技巧【方法】  Laravel中间件如何使用_Laravel自定义中间件实现权限控制  Android Socket接口实现即时通讯实例代码  Windows11怎样设置电源计划_Windows11电源计划调整攻略【指南】  Laravel如何使用查询构建器?(Query Builder高级用法)