python 过滤特殊字符 (emoji)
拥有自主知识产权的RPA厂商
艺赛旗RPA2020.1版本 正在免费下载使用中，欢迎下载使用
1 前提背景
通过爬虫获取到的数据，要存入数据库，由于数据库的编码问题，一些特殊字符出现错误，无法进入数据库
解决办法：过滤掉这些特殊字符，包含emoji表情等各种特殊字符
2 剔除除中英文及数字外的其他任何字符
这种方法简单粗暴，直接把非中英文及数字的所有字符串删除，代码如下：
import re
def filter_str(desstr, restr=''):
# 过滤除中英文及数字以外的其他字符
res = re.compile("[^\\u4e00-\\u9fa5^a-z^A-Z^0-9]")
return res.sub(restr, desstr)
3 emoji 表情库
- 【方法 1】：emoji 处理库，emoji 官网： https:// pypi.org/project/emoji/
# 安装
pip install emoji
import emoji
emoji_str = "python is "
# 特殊字符转换为正常字符（相当于解码）
str = emoji.demojize(emoji_str)
print(str)
# 正常字符转换为特殊字符（相当于编码）
emoji_str = emoji.emojize(str)
print(emoji_str)
运行结果：
- 【方法 2】：过滤表情
import re
def filter_emoji(desstr, restr=''):
# 过滤表情
res = re.compile(u'[\U00010000-\U0010ffff\\uD800-\\uDBFF\\uDC00-\\uDFFF]')
return res.sub(restr, desstr)