... [b]scws-1.2.0 发布于 2012-3-29[/b] 1) 修改 php 扩展代码以兼容支持 php 5.4.x 2) 修正 php 扩展中 scws_get_tops 的 limit 参数不允许少于 10 的问题 3) libscws 增加 scws_fork() 从既有的 scws 实例产生分支并共享词典/规则集,主要用于多线程开发...
建议支持词库里的词可以是纯英文单词,虽然在分词时英文单词可以自动识别切分开,但在关键词提取和非法词过滤时却无法提取出或过滤掉纯英文单词。 比如:我要从一些商品名中提取一些品牌:adidas nike。。。对商品名分词...
...题. 第二个问题就是,定义自定义的词典. 看到说1.1.2 支持自定义的 txt 字典.于是我就这样写了 $so->add_dict(ini_get("scws.default.fpath") . '/dict.utf8.xdb'); $so->add_dict("/usr/myapp/dict_extra.txt",SCWS_XDICT_TXT); $so->set_rule(ini_get('scws.default.fpath'...
...,不管词典里面有没有这个数据,比如词典里面有 “ABC支持开源" , 对“ABC支持开源" 切词的结果是“ABC" "支持“ ”开源“, 而不能切成“ABC支持开源" 2)、长的句子切词后返回的只是两个字的组合,对于多个字的词没有返回...
...清空索引、刷新索引队列、日志等各项功能, 导入索引支持数据源包括:`csv, json, mysql, sqlite` 等,也可以自定义数据源。 运行脚本工具的 --help 选项可查看内置的帮助和说明,如乱码可在选项后加入 -c gbk 试试。 ~~~ $prefix/sdk/ph...
...or][/b] [b]描述:[/b]设定当前 scws 所使用的字符集,目前仅支持 gbk 和 utf-8 两种字符集。参数 cs 描述的是新指定的字符集。若无此调用则系统缺省使用gbk字符集,指定字符集时 cs 参数的大小写不敏感。 [b]返回值:[/b]无 [b]错误:[...