我现在想要做屏蔽词，只载入自定义的屏蔽词库，但好像英文及中英文混合分词都无效。 譬如： $so = scws_new(); $so->set_charset('utf8'); $so->set_dict('words.txt',SCWS_XDICT_TXT); $so->set_ignore(true); $so->send_text("GMhello指导员"); echo ''; while ($tmp = $so...
我想对打断的英文做分词，utf-8，scws可以用么？应该下载哪个版本呢？PSCWS4 说是速度慢，不推荐使用，而PSCWS23 仅支持GBK字符集
scws分词时出现这样的情况，英文字母与数字组合分词时，若词的前面或后面有标点符号，则英文字母和数字将会被拆分开，不知道是什么原因？有没有解决的办法？ ./scws -c utf8 -i mp3 mp3 +--[scws(scws-cli/1.2.2)]----------+ | TextLen: 3...
scws源码中写死的…… 超过２个字符的英文数字都在第一步被预处理了，所以想要改这个恐怕了也会比较麻烦。
支持是支持的，但数字字母最多只支持2位。 你说的情况其实切分成“斯巴鲁+WRX”并不会有多大问题吧。 像 Q币 QQ空间 这样的都是可以支持成词的。
建议支持词库里的词可以是纯英文单词，虽然在分词时英文单词可以自动识别切分开，但在关键词提取和非法词过滤时却无法提取出或过滤掉纯英文单词。 比如：我要从一些商品名中提取一些品牌：adidas nike。。。对商品名分词...
hightman，你好！ 因为项目需要从下述字符串中，分别提取：[color=#006400]斯巴鲁WRX[/color]，[color=#006400]斯巴鲁200[/color] 这2个词 “斯巴鲁WRX和斯巴鲁200的区别,保养费用如何” 我试用了下面2种方法，均没有达到想要的结果，希望hi...