我想对打断的英文做分词,utf-8,scws可以用么?应该下载哪个版本呢?PSCWS4 说是速度慢,不推荐使用,而PSCWS23 仅支持GBK字符集
scws分词时出现这样的情况,英文字母与数字组合分词时,若词的前面或后面有标点符号,则英文字母和数字将会被拆分开,不知道是什么原因?有没有解决的办法? ./scws -c utf8 -i mp3 mp3 +--[scws(scws-cli/1.2.2)]----------+ | TextLen: 3...
学习中看到,程序对于英文字串的处理时,定义TF的值为 = 2.5×log(#wlen),词长的自然对数的2.5倍。有什么实际意义么? 为什么是这个值呢?
...遇到相同的問題。 不過我數字可以,但是[color=#0000CD]英文[/color]不能。 我是使用[color=#FF0000]繁體字庫[/color]。 版本是:php_scws.dll(2)/Windows/PHP 5.2.x [php] [/php] 結果在下面: [code] 原始文字:這個文件是為了測試...
[quote='hpxl' pid='7811' dateline='1400033006'] sdk/php/app/demo.ini配置 [id] type = id [/quote] 是scws-1.2.2 的如何让它支持自已定义的英文词库? 像http://bbs.xunsearch.com/showthread.php?tid=3088 这样修改代码吗?
scws源码中写死的…… 超过2个字符的英文数字都在第一步被预处理了,所以想要改这个恐怕了也会比较麻烦。