通常英文是不需要分词的,但很多时候词性是需要的,比如nike,dior这类品牌英文。 目前默认词性都是en,有什么办法可否自定义词典来改变他的词性。 还有个问题,就是纯数字的词性为什么是en呢,不是m? 望赐教。
scws源码中写死的…… 超过2个字符的英文数字都在第一步被预处理了,所以想要改这个恐怕了也会比较麻烦。
...望hightman 能够指点一下,用什么方法可以添加上述2个自定义词呢? 1、在dict_user.txt 里添加了自定义词,系统不能提取到上面2个词 2、在 /etc/rules.utf8.ini里添加专业的词,我在 [special] 下添加了上述2个词,结果还是没能提取到 ...
支持是支持的,但数字字母最多只支持2位。 你说的情况其实切分成“斯巴鲁+WRX”并不会有多大问题吧。 像 Q币 QQ空间 这样的都是可以支持成词的。
...下:“最多只支持2位” 这种限制是在 /etc/rules.utf8.ini 中定义的,还是在源码里处理的? 如果要修改,使其支持更大长度的分词,该从哪里入手呢? 麻烦了!
...在一个英文句子里提取其中词频比较高的名词。想到用自定义词典,自己整理英文词。但是发现一个问题。。比如hip pop这样也是一个名词,那现在自定义词典里肯定不能有空格的啊。老大能不能把这个也解决一下,这样的话,...
我现在想要做屏蔽词,只载入自定义的屏蔽词库,但好像英文及中英文混合分词都无效。 譬如: $so = scws_new(); $so->set_charset('utf8'); $so->set_dict('words.txt',SCWS_XDICT_TXT); $so->set_ignore(true); $so->send_text("GMhello指导员"); echo ''; while ($tmp = $so...
如果只要文章中有Linux出现就算是Linux相关文章的话,其实是不需要分词了,直接用全文搜索Linux就好了。 只是SCWS目前看前来它的自定义词典不支持超过3个字,如果可以的话,可以通过自定义“Linux优化”来指定分词