通常英文是不需要分词的,但很多时候词性是需要的,比如nike,dior这类品牌英文。 目前默认词性都是en,有什么办法可否自定义词典来改变他的词性。 还有个问题,就是纯数字的词性为什么是en呢,不是m? 望赐教。
不知道现在自定义字典那里。是否能自定义词性呢? 比如,现在我们的搜索, 先判断。如果搜的词 词性属于 产品类。那么我就让他跑产品库去搜索。 比如我定义 电脑 dn dn 就是我自定义的词性。这样我在scws 分词...
可以的啊,用SCWS_XDB工具导出成TXT格式就可以编辑了. 但要注意词性最多2个字符,不可以是#和@和!,这三个有特殊函义
..._has_word(scws_t s, char *xattr); 描述:判断text中是包括指定的词性的词汇。参数 xattr 用来描述要排除或参与的统计词汇词性, 多个词性之间用逗号隔开。当以~开头时表示统计结果中不包含这些词性,否则表示必须包含, 传...
单字标为 @ 是以前遗留下来的, 未确定词性, 还有一部分被标为 un 了, 建议把 un 改为 '@' ,否则可能导致散字自动聚合成2元分词时会不聚合.
...供的xdb格式词库导出,发现存在以下非北大标注标准中的词性: 'df','jb','mq','rr','rz','iv','ld','ln','lx','in','jb','jn','qd','qe','uj','un','vi','vq' 这些应该都算是标注不正确的吧 还有最近我经常来论坛,这几天论坛里每天垃圾帖子太多了...