报错
Python 基于csv 读取文本文件提示:‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence
分析
错误大致意思:Unicode的解码(Decode)出现错误(Error)了,以gbk编码的方式去解码(该字符串变成Unicode),但是此处通过gbk的方式,却无法解码(can’t decode )。“illegal multibyte sequence”意思是非法的多字节序列,即没法(解码)了。
解决
方法一:修改encoding方式,忽略错误
这里gb18030是比gbk更高级的方式,包含更多符号。编码方式还有"UTF-8"等。
csv_reader = csv.reader(open(data_path,'r' ,encoding='gb18030',errors='ignore'))
csv_reader = csv.reader(open(data_path,'r' ,encoding='UTF-8',errors='ignore'))
我这里的背景是:通过excel将文件保存为csv格式,但读取时出错。使用第一种方法以后仍然报错,于是通过
res=[row for row in csv_reader]
print(res)
检查变量的具体错误,发现是第一个变量开头多了乱码。此时可以将该变量替换,比如
res[0][0] = res[0][0].split('\ufeff')[-1]##直接从excel保存成csv会有字符读取错误,可复制到txt文件中再改后缀名为csv
或者采用第二种方法。文章来源:https://uudwc.com/A/moAZ2
方法二:新建txt文档,将excel保存生成的.csv文件以记事本方式打开,ctrl+A复制所有内容到新建的txt文档中,再将txt文档的后缀名修改为.csv,这样就不会产生乱码了。
这里的区别是,之前那个excel保存的.csv文件用记事本打开时,右下方会显示“带BOM的UTF-8”,而新建txt文档再改后缀名的方式生成的.csv文件用记事本打开后右下角显示“UTF-8”,不会有“带BOM”几个字。推测应该是BOM的问题。文章来源地址https://uudwc.com/A/moAZ2