... = nz :include = chnum1,chnum2 :znum = 1,2,3 百分 百分之[/b] 分词的时候出现以下问题: 词:百分六 识别正确 词:百分六十 识别失败,只能识别出”百分“和”六十“,无法识别为:”百分六十“ 词:百分六五 识别失败,结...
不知道还有没有其它更好的解决办法?不能改代码,也必须保留武这个姓。正在考虑加一条规则,可是我不懂那些词性语法规则的运作原理。
由于分词规则开头会先进行中英文粗分,那时就强行把数字、字母与多字节的汉字拆分开。 只有夹在汉字中间的1~2个数字或字终才被允许和汉字组合,比如“T恤” ”Q币“ 这种。 假设你的词典里有”北海36“,被分的句子是...
...中不少都是词库没有加载上,却没有加以判断,结果发现分词结果不准确。 其实在scws文档中有这么一句话: [i][b]注:xdict_t 和 rule_t 分别是词典和规则集的指针,可判断其是否为 NULL 来判断加载的成功与失败。[/b][/i] 调...
杯具的分词词库和规则集导致这个结果, 稍后我看能不能简单调整一下规则集来获得比较好的效果。 查到原因了,是因为词库里居然有个错误的词叫“民医院”!! 建议删除该词重新生成词典或,写一个附加词典标记为删除。...
自定义分词器 `Xunsearch` 默认内置了功能强大的 [SCWS][1] 分词系统,也附加提供了一些简单常见的分词规则, 但考虑到用户的个性需求,特意提供了自定义分词器的功能。 > note: 自定义分词器存在一个缺陷,它不支持存...
希望能附上完整的PHP代码以及你的自定义词库,以做分析和测试。 从上面少结果的看,应该是词库不生效,而结果只按人名规则合成了2个人名,其它的按无效字符过滤。
现在才发现,对于“武松杀嫂雕塑是艺术,还是恶俗?大家怎么看的?”这个句子,无论怎么调整词性语法规则表都是会分成“武松杀 /nr 嫂 /ng 雕塑 /n 是 /v 艺术 /n , /un 还是 /n 恶俗 /n ? /un 大家 /r 怎么 /r 看 /v 的 /uj ? /un”...