...么问题或建议都可以记录在这。 对于检索部分,光有分词还是远远不够的,而且现在的全文检索已经不仅仅只是匹配、返回这么简单了,用户体验要求也高起来了。 布尔搜索、关键词联想、拼写纠错、拼音搜索、同义词、...
scws分词不正确的情况 1、中文夹杂连续两个以上英文或数字(例如:程jj序ii员e 正常,程jjj序ii员e 不正常) 2、英文数字组合中,同时含有连续一个以上英文或数字的组合(例如:w1156k 正常,w16ky不正常) 3、含有任意一个...
早就对分词技术做过很多研究,但是却从没发现简单易用的产品,哪怕是收费的。 今天无意中发现了FTPHP的SCWS,安装试用了下,非常棒!关键MMD还是开源免费的,能够自定义各种功能。 强烈支持并持续关注!
我使用scws的C版本提供的接口对省份、地市信息进行分词,发现分词的结果有时不是希望达到的结果。例如: 1 洛阳市廛河华林水席村 希望的结果为:洛阳市 廛 河 华林 水 席 村(词典中有洛阳市,市廛,河华,华林) 实...
富贵鸟(Y1W) 类似这样的名称分词的结果 却是 富贵 鸟(Y1W) 最关键的 Y1W 没有被分出来。 而且 六灯夜视D502 这样的名称 也只能分出 中文, 英文和数字没有被分出来,是为什么?请教高手。 我用的是SCWS 扩展 PHP 5.2.x 版二...
[quote='hpxl' pid='7811' dateline='1400033006'] sdk/php/app/demo.ini配置 [id] type = id [/quote] 是scws-1.2.2 的如何让它支持自已定义的英文词库? 像http://bbs.xunsearch.com/showthread.php?tid=3088 这样修改代码吗?
还是不明白! 你把这段文字用scws切割会有问题吗?如果你这段字是用空格或逗号分隔,那么你可以用 split 这个分词器啊。 搜索的时候搜索任何一个分割后的TAG都可以搜索到。
...你这段字是用空格或逗号分隔,那么你可以用 split 这个分词器啊。 搜索的时候搜索任何一个分割后的TAG都可以搜索到。 [/quote] 呵呵,管理员没听明白楼主的意思,他希望xunsearch能提供分词接口,给其他程序使用。 我们经...
tokenizer 分词器 默认为 default 采用内置的功能强大的 scws 分词,适合绝大多数字符串字段。也可以指定自定义分词器,格式为 name 或 name(arg) 两种形式,其中 name 是分词器名称,arg 则是传递给分词器构造函数的参数。自定义分词...