自定义分词器 `Xunsearch` 默认内置了功能强大的 [SCWS][1] 分词系统,也附加提供了一些简单常见的分词规则, 但考虑到用户的个性需求,特意提供了自定义分词器的功能。 > note: 自定义分词器存在一个缺陷,它不支持存...
只有在完全空缺词库的情况下才自动加载默认词库,只要你曾经add_dict,或set_dict那么就不会加载默认词库了。这并不算BUG吧。 这是给懒人设定的规则,当你试图设置词典时那就完全交给你决定,而不是系统强制无论如何都先加...
search.log 的生成是有一些规则判断和调整的,并不是如你所说的。自定义词典也会纳入考虑,但过于复杂的搜索语句是不会记录的。
谢谢 hightman 的回答. 不过我确定我市完全按照你说的做的 php.ini 是这样的配置 [scws] extension=scws.so scws.default.charset=utf8 scws.default.fpath=/usr/local/scws/etc 而php 是这样 //分词 $so = scws_new(); $so->set_charset('utf8'); // 这里没有...
使用的版本是SCWS-1.2.2 我用自己的词库替换了dict.utf8.xdb,然后尝试分词“朝鲜近日播放的一个纪录片中,发现”,发现“纪录片中”在分词结果中丢失了 Array ( [word] => 朝鲜 [off] => 0 [len] => 6 [idf] => 0 [attr] => @ ) Array ( [word] => 近...
希望能附上完整的PHP代码以及你的自定义词库,以做分析和测试。 从上面少结果的看,应该是词库不生效,而结果只按人名规则合成了2个人名,其它的按无效字符过滤。
楼主,为什么不能发新帖了啊。我用1.18 php_scws.dll(2) 对应的php版本为 5.2.3 完全按照文档目录 php_scws.dll/Win32 安装说明 这个上面做的。而且安装完扩展之后echo phpinfo();也看到了 scws服务已经有了。 在运行时加了 scws.default.charset...
使用了自定义字典。完全忽略自带的字典。 然后我在字典里面 分词 : 北海365 365 就这两个词。 然后我 搜的时候 是 : 北海365 这时候返回的分词 却只有: 365 “北海”不见了 如果我启动系统自带词典 那么“...
...切换。 访问网址: > note: 在线编辑器暂时不支持指定自定义分词器和分词器参数,这个部分需要用户自行手动修改。 $Id$