使用的版本是SCWS-1.2.2 我用自己的词库替换了dict.utf8.xdb，然后尝试分词“朝鲜近日播放的一个纪录片中，发现”，发现“纪录片中”在分词结果中丢失了 Array ( [word] => 朝鲜 [off] => 0 [len] => 6 [idf] => 0 [attr] => @ ) Array ( [word] => 近...
...目录了，也下载了以下三个文件放在D:/PHP/SCWS/里面 dict.utf8.xdb rules.ini rules.utf8.ini rules_cht.utf8.ini 然后在php里也由设置了 [scws] extension=php_scws.dll scws.default.charset=utf8 scws.default.fpath="D:/PHP/scws" 但是在phpinfo()里找不到scws的信息...
...显式的定义 $so->add_dict(ini_get("scws.default.fpath") . '/dict.utf8.xdb'); $so->set_rule(ini_get('scws.default.fpath') . '/rules.utf8.ini'); 那么就分词正常. 这个是第一个问题. 第二个问题就是,定义自定义的词典. 看到说1.1.2 支持自定义的 txt 字...
[quote='hightman' pid='7092' dateline='1319384262'] 如果你还需要原来的词典，请在 add_dict 前加 set_dict(ini_get('scws.default.fpath').'/dict.utf8.xdb'); [/quote] 是的。这没问题了。是那txt编码问题。不是utf8的话就不行的。 scws我是用utf8。
终于OK了 我在UTF-8演示文件第77行，即“$cws->set_charset('utf8');”这一句后面再补上两句（参考GBK版本）： $cws->set_rule(ini_get('scws.default.fpath') . '/rules.utf8.ini'); $cws->set_dict(ini_get('scws.default.fpath') . '/dict.utf8.xdb'); 再次运行，分词正确...
$cws = scws_new(); $cws->set_charset('utf8'); $cws->set_rule('D:/Program Files/scws/etc/rules.utf8.ini'); //注意路径 $cws->set_dict('D:/Program Files/scws/etc/dict.utf8.xdb'); $cws->add_dict(ROOT_PATH."inc/spider/dict_extra.txt", SCWS_XDICT_TXT);//新增词库 $cws->set_ignore(tru...
...UTF-8的，而你调用了gbk的词典，把你的词典语句改为 dict.utf8.xdb 即可 3. dict_extra.txt 也必须是UTF-8编码 4. 删除词条，因为陈凯歌其实可能是因为人名关系导致切成词，可能会不受词典影响 5. 如果你非要用gbk 源码中 set_charset() ...
...scws SCWS BugReport => http://www.ftphp.com/scws scws.default.charset => utf8 => utf8 scws.default.fpath => /usr/local/scws/etc => /usr/local/scws/etc [/php] 这是我代码: //分词 $so = scws_new(); $so->set_charset('utf8'); $rd = $so->set_dict('/usr/local/scws/etc/dict.utf8.xdb'); ...
...塑是艺术，还是恶俗？大家怎么看的？” 没有加上rule.utf8.ini时，得到如下结果 情歌/n 接龙/n 大/a 串烧/v ，/un 情人节/t 好/a 礼/n 多多/z 武松/nr 杀/v 嫂/ng 雕塑/n 是/v 艺术/n ，/un 还是/n 恶俗/n ？/un 大家/r 怎么/r 看/v 的/uj ？/un ...