嗯。词库我看到了，我是想在这个基础上做加入一些新的自己的就可以，您的这个支持，动态词库吗？ 还有请问哪里能下载到，你的词库原文件。没编译过的。[hr] 我看到scws的代码都集成到xapian的queryparser中了，我想直接加入新...
那我将自定义词典的方式变成利用scws提供的方法扩充内置词典，是否就能够让自定义词被search.log记录的可能性增大呢
... centos5 scws 1.1.2 php 以扩展形式安装 . 如果我不显式的定义 $so->add_dict(ini_get("scws.default.fpath") . '/dict.utf8.xdb'); $so->set_rule(ini_get('scws.default.fpath') . '/rules.utf8.ini'); 那么就分词正常. 这个是第一个问题. 第二个问题就是,定...
...分词选项] 最短词 二元 重要单字 全部单字 加入自定义词库后结果为： 阿斯顿 阿斯 斯顿 阿 斯 顿 发 斯蒂芬 斯蒂 蒂芬 斯 蒂 芬 [b]罗铭 罗 铭 罗[/b] 大大 大 大 罗 我的自定义词典为： 铭罗 1 0 n 罗铭 1 0 n 我...
txt词库其实也是转换成XDB再调用的，不用担心性能。 你合并词典很简单啊，把 dict.utf8.xdb 导出来嘛
[quote='hightman' pid='7092' dateline='1319384262'] 如果你还需要原来的词典，请在 add_dict 前加 set_dict(ini_get('scws.default.fpath').'/dict.utf8.xdb'); [/quote] 是的。这没问题了。是那txt编码问题。不是utf8的话就不行的。 scws我是用utf8。
如果只要文章中有Linux出现就算是Linux相关文章的话，其实是不需要分词了，直接用全文搜索Linux就好了。 只是SCWS目前看前来它的自定义词典不支持超过3个字，如果可以的话，可以通过自定义“Linux优化”来指定分词
如果你还需要原来的词典，请在 add_dict 前加 set_dict(ini_get('scws.default.fpath').'/dict.utf8.xdb');
...提供scws的api接口,实现短语分词功能 2.是否可以对scws自定义中文词典,方便扩展 [/quote] 目前没有直接支持自定义词典，而是直接读取 dict.utf8.xdb 你自己改词也必须转换成这个词典文件才能用。 词典转换关于SCWS的网站上有。
那个属性对分词效果有一定影响的，TF主要用于词的切分，IDF用于统计，词性就用在取TOP时过滤或标注上。 最好是基于现有的词典去补充，你重建一个的话数据又都没有效果可能会比较差。SCWS主页上有一个TF/IDF计算器，你可...