在linux下装了scws1.1.2,并且装了php5的扩展,但是发现在分词时对于较长的字符串会自动截取前多少个字符进行切分,不知这是不是一个BUG?
...是因为二元结合法所以scws自动将其合成为一个词。 复合分词是对原本是词的长词情况处理的,比如”中国“可以切成”中“+”国“+”中国“ 你的问题必须是 [code] $tk = $tokenizer->setDuality(false)->setIgnore(true)->setMulti(11)->getResult(...
多谢建议。这个部分要做得精准的话其实是比较尖端的,SCWS分词后有提供一些热门词排序,如果简单归结为标签也是不妥的,我觉得需要有标签库进行匹配和比对。
请仔细看说明,$so->get_result() 并不是一次调用,需要多次调用直到返回FALSE 例子1. 使用类方法分词
[quote='net_li' pid='4355' dateline='1374126126'] 没人给解答下吗? [/quote] 可以使用1.4.7测试版本,这样就可以设置分词的setMulti属性,设置成11就能把所有单字都分出来,但是这样数据文件会变大,个人权衡效率问题吧
...中不少都是词库没有加载上,却没有加以判断,结果发现分词结果不准确。 其实在scws文档中有这么一句话: [i][b]注:xdict_t 和 rule_t 分别是词典和规则集的指针,可判断其是否为 NULL 来判断加载的成功与失败。[/b][/i] 调...
我也是楼主这个情形,分词结果一样。 最后发现下载的词库权限是600 chmod +r后就正常了
我使用的版本是1.1.2 使用了复合分词且只用了【最短词】来复合 假定我的扩展词库中有:【球面抛光机】、【冰包餐桌】 没有扩展结果分别是: 【球面抛光机】 -> 球面、抛光机、抛光 【冰包餐桌】 -> 餐桌(idf:6.19) ...