哦,是用tab符分开呀,我还以为用空格分开呢,我又重新生成了一次,看了一下分词效果还不错。 谢谢。
...没加$so->add_dict("dict.xdb",SCWS_XDICT_XDB); $so->add_dict("dict.txt",SCWS_XDICT_TXT); 这个情况下“云计算”分词如下:"云 计算"。我加了$so->add_dict("dict.xdb",SCWS_XDICT_XDB); $so->add_dict("dict.txt",SCWS_XDICT_TXT); 并在txt文件中加入 “云计算 14....
奇怪你这个问题我这不能复现。 我完全复制了你的代码,执行若干次结果仍然是正确的,返回三个词,每个的次数均为 1 [attachment=37] [attachment=38]
最长的词16个汉字,250个英文字母。 应该是你的词典做错了,比如字符集不匹配之类。生成词典要严格按照字段区分开,字段之间用区分,这说都有相关的说明,按说明操作应当没有问题。
全部是英文单词 数据来源: twitter tumblr amazon alibaba flickr 等的标签 原来多是词组形式 改成了scws的单字形式 没有附加任何属性 也就是说全部使用默认属性 参考 http://www.xunsearch.com/doc/php/guide/index.dict
...ws,效果很棒,现在我们自己增加了一些词库,不知道xdb与txt相比,那个效率更高 另外,scws对于中英文分词效果不是很好,即文中的中文分得还可以,但对于页面中的英文部分,包括email,url,host这类处理效果比较差,我们目前...