老大,能把您的TF/IDF算法共享出来么?批量添加词库的时候真的很不方便啊,如果写个脚本调用你的[url=http://www.ftphp.com/scws/demo/get_tfidf.php]在线TF/IDF算法工具[/url],恐怕上万条请求你的服务器招架不住啊。。。 老大你的词库更...
...,很多词语都没有。我想自己扩充我的词库,但不知道TF/IDF如何获得。 通过你提过的新词生词的TF/IDF计算器(http://www.xunsearch.com/scws/demo/get_tfidf.php) 结果计算出来的大部分内容都是一样的值,而且也无法用于分词。 另外...
...,很多词语都没有。我想自己扩充我的词库,但不知道TF/IDF如何获得。 通过你提过的新词生词的TF/IDF计算器(http://www.xunsearch.com/scws/demo/get_tfidf.php) 结果计算出来的大部分内容都是一样的值,而且也无法用于分词。 另外...
... : 0); if ($part) $flag |= 0x02; $data = pack('ffCa3', $v['tf'], $v['idf'], $flag, $v['attr']); $xdb->Put($w, $data); $cnt++; } printf("%d Records saved.\n", $cnt); } [color=#FF0000]改后[/color] for ($k = 0; $k < 0x40; $k++) { if (!isset($rec[$k])) continue; $cnt = 0; p...
function get_tfidf($word, $count) { if ($count < 1000) $count = 21000 - $count * 18; $tf = log($count); $tf = pow($tf, 5) * log(strlen($word)); $tf = log($tf); $idf = log(5000000000/$count); //if ($tf > 13) $idf *= 1.4; return array($...
function get_tfidf($word, $count) { if ($count < 1000) $count = 21000 - $count * 18; $tf = log($count); $tf = pow($tf, 5) * log(strlen($word)); $tf = log($tf); $idf = log(5000000000/$count); //if ($tf > 13) $idf *= 1.4; return array($...
想把sogou的一些细胞词库整合到SCWS的词库里,要添加的词很多,不太可能用你提供的WEB查询工具一个个的去查找,怎么设置TF/IDF的值?
想做自定义词库的功能。 哪位大侠,是否可以告知, http://www.xunsearch.com/scws/demo/get_tfidf.php 的算法。 谢谢