1.unicode有个normalize的过程,按照unicode标准,有C、D、KC、KD四种,KC会将大部分的中文标点符号转化为对应的英文,还会将全角字符转化为相应的半角字符,比如:
import unicodedatat = u'中国,中文,标点符号!你好?12345@#【】+=-()'t2 = unicodedata.normalize('NFKC', t)'''>>> print t2中国,中文,标点符号!你好?12345@#【】+=-()'''
2.当然,KC规定的等效字符不一定跟你需要的一样,比如说它并没有把【】转化为[],而你可能认为它们应该是一样的。对于有明确需求的转换,使用translate要更简单一些,它不需要你说的正则表达式:
# In Python3, use str.maketrans insteadtable = {ord(f):ord(t) for f,t in zip(u',。!?【】()%#@&1234567890',u',.!?[]()%#@&1234567890')}t = u'中国,中文,标点符号!你好?12345@#【】+=-()'t2 = t.translate(table)'''>>> print t2中国,中文,标点符号!你好?12345@#[]+=-()'''
原文链接:/question/3776/answer/115870233