如果你了解scws就会知道它其实对散字也是自动二元处理。 你所谓的一元是一个字一个词?你也可以拓展 XSTokenizer 自己实现分词
不能正确分词,测试代码在 Windows php5 下运行正常 纠结问题所在 原话:“喜讯:谷歌中国宣布将关闭两大服务 终止与天涯合作” 分词结果:“谷歌中 宣布 关闭两” Windows 下分词就是正确的 分词结果:“喜讯 谷歌 中国 宣布 ...
不是很明白,你说的自动分词??是什么意思 你在配置文件中不要指定 tokenizer 选项就会自动使用 SCWS 分词了。
这是分词的策略问题,这种情况可以自定义分词器来补充。。。 将你的词复制到 [url]http://www.xunsearch.com/scws/demo/v4.php[/url] 进行实测,分割结果为: E14188m E14188 14188 14188m 那么搜索以上4个词都是可以搜索到的,至于你从中提取 e...
比如“北京er朝阳” 能分出北京和朝阳 变成”北京erty朝阳“,中间有2个以上的半角字符就不行了,只能分出北京,分词终止。 这个是什么原因 用的是php_scws.dll vc9
很感谢,大致看了版主发布的scws的文件包,很规范,接口和扩展都做的很少,不过就是注释少了点,对我等菜鸟,看的不是很明白!:D 想请问版主一个问题,分词分出来后,怎么选择一个句子的关键词是哪些!
因为“塔里木河”已经是个完整的词了,再细切也是“塔里+木河”。实在有必要可以自定义分词器或想办法将你要的词加入到索引中。