最近因为相关项目需要考虑中文文本检错，然后就发现了爱奇艺发布的号称SOTA的FASPell已经开源代码，所以开始着手实现。
检错思想两步：一，掩码语言模型（MLM）产生候选字符；二，CSD过滤候选字符。
资源与数据文件
开源代码中不包含任何处理好的数据，全部需要自己处理。训练和测试使用的SIGHAN数据没有问题。但是所需的char_meta.txt文件构建较为困难，其由字音和字形两部分特征构成。字音在unihan database可以检索到，但字形特征依照论文阐述是使用汉字的完整带结构笔画级分解，但其提供的kanji database中的结构信息有限，对于简单结构的汉字未做分解，也没有结构信息。虽然github中作者回应可以分解汉字为文件中出现过的字，递归直到无法分解，然后使用cjklib库对递归无法分解的汉字获取其笔画顺序。但这样虽然可以拆分笔画，但是缺少了笔画间的结构。我按照该方法制作了一个带部分结构的笔画级分解文件。
U+4EAC 京 jing1;ging1;KYENG;KYOU,KEI,KIN;kinh ⿳⿱㇔㇐㇑㇕㇐㇚㇒㇔
U+4EAD 亭 ting2;ting4;CENG;TEI,CHOU,CHIN;đình ⿱⿳⿱㇔㇐㇑㇕㇐㇔㇖⿱㇐㇚
U+4EAE 亮 liang4,liang2;loeng6;LYANG;RYOU;null ⿱⿳⿱㇔㇐㇑㇕㇐㇔㇖㇓㇈
模型训练
模型训练步骤有三个：预训练掩码语言模型，微调训练掩码语言模型和训练CSD过滤器。在原作者github中讲述较为清楚，因此只简单叙述一下，不再复述细节。
预训练掩码语言模型选择直接使用预训练好的中文BERT模型。然而，预训练模型进行随机mask的位置和实际的拼写错误位置有较大差异，因此需要使用拼写检错的训练集进行微调。微调完成之后的掩码语言模型就可以针对输入句子的每个位置计算出其置信度较高的topn候选集合判断是否存在拼写错误，再将这些候选送到CSD过滤器中过滤并确定修改的候选字。而对于候选集合的过滤方法，则是将其按照字音相似和字形相似分别评估相似度，将置信度和相似度结合进行过滤，因此，训练CSD过滤器的过程较为繁琐，耗时较长，且需要手动确定过滤线（对结果影响较大）。
以上三个训练步骤完成之后，CSD过滤器训练会产生置信度-相似度散点图，根据散点图的分布来确定过滤曲线，然后使用一些切线来近似曲线。论文中阐述检测正确且纠正正确的样本通常分布在散点图的右上方，因此可以使用曲线对其进行过滤。训练CSD时我使用了大量的SIGHAN数据，产生的散点图并不如论文中那么完美，为了保证低误判，我仅仅考虑了检测和纠正都正确的case来划分过滤曲线。
实践的一些问题
除了之前的char_meta.txt的问题之外，测试时还发现了对齐错误问题。
经过排检，发现对齐问题的原因来自于句子中的数字。分词后，有些数字会被打包在一起作为一个token送到BERT中，因此产生了对齐偏差。虽然代码中考虑到了该问题，但仅仅针对两位数字的情况进行了处理，一旦3个以上数字被分为了一个token，句子必定出现对齐错误问题。因此extension()方法需要修改。
此外，由于训练数据都是繁体字，进行微调之后模型对繁体字的偏好程度增加，这样训练出来的模型在测试时会出现把某个字更改为其繁体字形式的错误。之后我首先用zhconv将训练数据转为简体字，再进行训练测试结果没问题。但由于有些特殊的字的用法原因，如“着”和“著”，使得句子“…看着…”被改为了“…看著…”。对于这些特例，可以使用特殊过滤器进行过滤。
我认为FASPell主要面向的还是字形相似（OCR）的错误，也的确优先检测这类错误。如果检测对象错误分布偏向于字音（语音识别、拼音输入）的话，可以仅仅开启字音相似检测，或者调整代码中的字音字形检测顺序和修改字音过滤线进行灵活适应。
相关链接
该项目的论文及github如下。
支付宝扫一扫
微信扫一扫
