...词叫“民医院”!! 建议删除该词重新生成词典或,写一个附加词典标记为删除。内容如下,保存为名字 del.txt,然后在分词前加入一句 $scws->add_dict('/path/to/del.txt', SCWS_XDICT_TXT); 如果您不会制作词典可以从 http://www.ftphp.com/scws/do...
...针对某些字段自定义分词。每个自定义分词功能单独使用一个 文件名,命名为 `XSTokenizerXyz.class.php`,其中 `Xyz` 是您自己的分词名称,文件统一 放入 `$prefix/sdk/php/lib` 目录,分词类名即为 `XSTokenizerXyz`,该类必须实现 [XSTokenizer] ...
.../ MAX_ALNUM_CUT是中英文混合的最多多少个数字或字母就作为一个单独的词 // 原代码默认是2 修改为了一个宏 // 这部分处理的是开头有数字或字母的情况 // 如 “ABC中国足球" 之类的结果 // 对于上面的词...
...具脚本在非UTF-8字符集下的兼容问题,预计本周五发布第一个正式稳定版。 下载地址:[url]http://www.xunsearch.com/download/xunsearch-full-latest.tar.bz2[/url] 代码仓库:[url]https://github.com/hightman/xunsearch[/url] 修改日志:[url]https://github.com/hightma...
...在综合分析索引库内的词汇、用户搜索日志基础上建立了一个庞大的纠错体系,支持英文拼写 纠错、中文同音字纠错、拼音转换等。 使用这些功能都非常简单,直接调用 [XSSearch::getCorrectedQuery] 即可,该方法接受搜索语句 作为...
... 神啊 具体返回的json 见下面. 我想设置到 不要一个字的词, 比如说至少要返回的分词是有两个字符的. "multi"=>3 这个参数可以设置到吗? [code] object(stdClass)#1 (2) { ["status"]=> string(2) "ok" ["words"]=> array(7) { ...
...s; scws_res_t res, cur; char *text = "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言"; if (!(s = scws_new())) { printf("ERROR: cann't init the scws!\n"); exit(-1); } scws_set_charset(s, "utf8"); scws_set_dict(s, "/usr/loc...
...等场合运用。 切词效率测试(UTF-8编码,随机从天涯抓取了一个连载页面测试结果, 45Kb左右的文本切词时间是0.026秒, 换算完毕大概是 1.5MB文本/秒) 测试过程中开启了散字自动二元聚合, 长词自动补切为短词, 开启了人名地名数字智...