想做自定义词库的功能。 哪位大侠,是否可以告知, http://www.xunsearch.com/scws/demo/get_tfidf.php 的算法。 谢谢
...才行。 -- [color]新功能用法示例[/color] (php为例) -- 1. 自定义词库,含新增核心库不存在的词汇及删除核心库存在词汇的功能 1) 创建相应字符集的词库文件 dict_extra.txt 2) TF/IDF 参考值查询,为方便大家我作了一个工具自...
自定义词库加载不上,是什么原因呢? $cws = scws_new(); $cws->set_charset('utf8'); $cws->set_dict('/usr/local/scws/etc/dict.utf8.xdb'); $cws->set_dict(BASE_PATH.'admin/data/dict/wo.txt',SCWS_XDICT_TXT);
因为“塔里木河”已经是个完整的词了,再细切也是“塔里+木河”。实在有必要可以自定义分词器或想办法将你要的词加入到索引中。
因为“塔里木河”已经是个完整的词了,再细切也是“塔里+木河”。实在有必要可以自定义分词器或想办法将你要的词加入到索引中。
[quote='hightman' pid='3961' dateline='1294120955'] 这个其实可以通过现有的 libscws 实现的,不过 phpext 里还没有提供。。。 [/quote] 这个是个蛮实在的功能,可以快速形成一个自定义的词库,如果可以,建议phpext提供