繁体分词演示: [url]http://www.hightman.cn/demo/scws/v48.cht.php[/url] 引擎本身不需要更改, 只需要将rules.utf8.ini和dict.utf8.xdb改为繁体的词典即可. 词典制作参见相关代码里的工具 scws-1.0 里包含了词典制作工具. 顺便奉上之前整理制作的...
...时发现以下怪现象： 本人使用15000个左右的学校名称做分词测试，约1400条记录返回空白，其它则貌似正常，不知何故。 比如：北京大学、中国人民大学返回空白，而清华大学、北京航空航天大学则正常。 以下是php代码：
... C/C++ 开发多线程服务端，索引设计基于 Xapian 和 scws 中文分词。单库最多支持 40 亿条数据，在 5 亿网页大约 1.5TB 的数据中检索时间不超过 1 秒(非缓存)。 [b]简单易用：[/b]前端是使用脚本语言编写的开发工具 (SDK)，目前仅支持...
今天旗下的http://www.anetb.com需要一个支持中文分词的搜索页，原drupal的太烂了， 我的做法是：结合xunsearch实现drupal commerce下的中文搜索 测试页：http://www.anetb.com/tsearch/demo/commerce/search.php ， 可输入“奶粉”，我的站准备做这...
...ghtman: PHP-SDK: 调整 XSTokenizer 支持在搜索语句中执行自定义分词 * 2011-09-16 hightman: 修正安装脚本 setup.sh 中 'read -e' 的兼容问题
.... 修改 XSTokenizerScws 以支持项目级自定义词典的 6. 自定义分词器的字段也能参与权重计算了，在 ini 指定 `non_bool = yes` 7. 采用 bootstrap 框架美化 util.SearchSkel 生成页面效果 官方网站：[url]http://www.xunsearch.com[/url] 下载地址：[url]h...
...19999980926513671875;s:4:"attr";s:1:"n";}}} 我如何用php从中提取出分词结果，谢谢
... C/C++ 开发多线程服务端，索引设计基于 Xapian 和 scws 中文分词。单库最多支持 40 亿条数据，在 5 亿网页大约 1.5TB 的数据中检索时间不超过 1 秒(非缓存)。 [b]简单易用：[/b]前端是使用脚本语言编写的开发工具 (SDK)，目前仅支持...
...getTops(string $text, string $limit=10, $xattr='') $text string 待分词的文本 $limit string 在返回结果的词性过滤, 多个词性之间用逗号分隔, 以~开头取反 如: 设为 n,v 表示只返回名词和动词; 设为 ~n,v 则表示返回名词和动词以外的其...
那个属性对分词效果有一定影响的，TF主要用于词的切分，IDF用于统计，词性就用在取TOP时过滤或标注上。 最好是基于现有的词典去补充，你重建一个的话数据又都没有效果可能会比较差。SCWS主页上有一个TF/IDF计算器，你可...