老大，你提过的词典太老了，很多词语都没有。我想自己扩充我的词库，但不知道TF/IDF如何获得。 通过你提过的新词生词的TF/IDF计算器（http://www.xunsearch.com/scws/demo/get_tfidf.php） 结果计算出来的大部分内容都是一样的值，而...
...htman' pid='7090' dateline='1319383230'] 什么方式运行的？ 是不是词典的原因啊，用了自定义吗 [/quote] linux Centos5。scws.1.1.8版的。 还没用上自定义的词库。 第一次基本大于0.1秒以上。就很短的几个词也是这么慢。 提交同样的词后面...
...，这个套件先发布一个 pre 版。包括了全部代码和一份GBK词典和相关说明。为适当统计下载的人群和数量，该文件设为必须必须论坛会员才能下载，由此不便深感抱歉。 演示地址：[url=http://www.hightman.cn/demo/scws/v4.php]http://www.high...
... scws 库没有外部扩展依赖，代码力争简洁高效，针对分词词典组织上做了一些优化。 除分词外，由于分词词库采用的是自行设计的xdb 和 xtree 结构，故本库函数也可以用以 XDB 和 XTree 数据存取（另行介绍）。 [size=3][color=blue][b]1....
...其实也是转换成XDB再调用的，不用担心性能。 你合并词典很简单啊，把 dict.utf8.xdb 导出来嘛 [/quote] 谢谢hm。还是更加期望加上直接入字典库的功能。这样更加方便，就是不知道难度如何。因为目前我的词库可能每天都有新...
同样问题： 新建的词典如何设置权重 比如：相宜本草 （某化妆品品牌） 被分成： 相宜 本草 我通过词典增加的 “相宜本草” 但是不管用 mydict.txt 文件内容如下： 1 相宜本草 2 雅漾 3 舒护 4 活泉水 # scws -A ...
... set_dict 和 set_rule 系统会自动试调用 ini 中指定路径下的词典和规则文件 $scws->send_text("这里没有调用 set_dict 和 set_rule 系统会自动试调用 ini"); $list = $scws->get_tops(3); settype($list, 'array'); foreach ($list as $tmp) { ec...
...性更好功能更强 - 修改 XSTokenizerScws 以支持项目级自定义词典的 - 自定义分词器的字段也能参与权重计算了，在 ini 指定 `non_bool = yes` 版本 1.4.5 (2013-3-25) ---------------------- - 再次订正改进内存 BUG，使之极其稳定 - 升级整合最新的 ...
... 1）、中英文混合的 英文超过2个字就会被切割，不管词典里面有没有这个数据，比如词典里面有 “ABC支持开源" , 对“ABC支持开源" 切词的结果是“ABC" "支持“ ”开源“， 而不能切成“ABC支持开源" 2)、长的句子切词后返...
... set_dict 和 set_rule 系统会自动试调用 ini 中指定路径下的词典和规则文件 $so->add_dict(ini_get("scws.default.fpath") . '/dict.utf8.xdb'); $so->add_dict("/usr/myapp/dict_extra.txt",SCWS_XDICT_TXT); $so->set_rule(ini_get('scws.default.fpath') . '/rules.utf8.ini'); // $so...