问 从文本中删除所有无效字符(例如\uf0b7)

EN

Python库的编解码器可能会有所帮助。看看这里的文档： https://docs.python.org/2/library/codecs.htm

在我的用例中，我正在对包含非ASCII文本的文档进行一些分析。就我而言，忽略无效字符是可以接受的。我用以下代码行打开文件，并能够解析语料库。

for filename in os.listdir(ROOT_DIR):
    with codecs.open(os.path.join(ROOT_DIR, filename), encoding = 'UTF8', errors ='replace' ) as f:

我也遇到过类似的问题。 It turns out 专用区域字符位于 Co general category 中，由 category() 在 unicodedata 中返回。

我解决了下面的问题：

import unicodedata