是这样的,我使用XSTokenizerScws进行分词 [php] $tokenizer = new XSTokenizerScws; $tk = $tokenizer->setIgnore(true)->setMulti(11)->getResult("是一"); print_r($tk); [/php] 结果是 [quote] Array ( [0] => Array ( [off] => 0 [attr] => m ...
...时发现以下怪现象: 本人使用15000个左右的学校名称做分词测试,约1400条记录返回空白,其它则貌似正常,不知何故。 比如:北京大学、中国人民大学返回空白,而清华大学、北京航空航天大学则正常。 以下是php代码:
...仅为微软创收8.53亿美元,甚至不抵库存调整费用”进行分词,结果是“Surface/en 上一/nz 财/n 年仅/n 为/v 微软/nz 创收/v 8.53/en 亿/m 美元/q ,/un 甚至/d 不/d 抵/v 库存/n 调整/vn 费用/n ”。我在dict_extra.txt中添加了“财年 11.82 12.38 n”...
比如我要加入关键词 65Mn 这种专业词怎么做 rules->specials 自定义分词都试过 没法成功
...典就2个词,好纠结啊,纠结死啦,但是当我输入时还是分词为 纠结|死了),求救啊!! 还有帖子1中,字典的问题,生成的字典是因为无法载入而报错的,求高人相助啊!!
每次更新都是期望改进,而不是倒退呵。 1.1.2 目前已经放入 [url]http://www.ftphp.com/scws/down/scws-1.1.2.tar.bz2[/url] 供下载。 您说的 1.1.2 在分词效果上比 1.1.8 还要好,可否指出哪几个实例 ?
关于has_word, 不是很明白你的意思, has_word 用于检测当前文本中是否包含这些属性的词。 scws_get_words 是按词性返回分词结果,标点的词应该默认应该是 un 或 # 之类可以自行排除。
... = nz :include = chnum1,chnum2 :znum = 1,2,3 百分 百分之[/b] 分词的时候出现以下问题: 词:百分六 识别正确 词:百分六十 识别失败,只能识别出”百分“和”六十“,无法识别为:”百分六十“ 词:百分六五 识别失败,结...
最近在做个项目,用到了分词,找了一下,发现这个,很好. 遇到一个问题, 命令导出xdb到txt,只导出了这个 # WORD TF IDF ATTR 请问这是咋回事
...19999980926513671875;s:4:"attr";s:1:"n";}}} 我如何用php从中提取出分词结果,谢谢