终于找到一个自动分词系统,由于不能确定服务器是否加载这个分词的dll文件 则使用PSCWS4进行使用 可是pscws4类中并没有add_dict函数 我用set_dict设置自己自定义字典.txt文件 一直报错 这个怎么解决 就是加载自定义的txt字典 thank u
...从工具本身解决的办法 ------------------------------------ 我自己尝试调tf-idf都失败了,感觉这些词是被特殊处理的,没有按tf-idf来算? 因为量词太多,不可能一个个从词典用!删去……
但是我的服务器上还是用的1.1.0,半年前,自从我用了1.1.0之后,服务器内存溢出非常严重,几乎每天都Apache自动崩溃, 你觉得是1.1.0引起的吗,我确定我自己的代码没有死循环
...项功能,但可以先变通的如下方式处理: 在提取API后面自己再简单加个判断?现在新版 1.3.1 提供了 scws 接口,只要把这些黑词加到自定义词典,并取一个独特的词性,那么就可以用 XSTokenizerScws::hasWord() 的功能来判断是否包含...
我编译后没有实现分词功能,只分字了.图片如下 [attachment=33] 只实现了分字,并没实现分词!!!!![hr] 我自己找到原因了,哈哈.原来是字典没加载成功. 我从这个帖子找到原因的 http://www.hightman.cn/bbs/showthread.php?tid=37