这个工具是基于作者的工作的一点点扩展,我不是本项目的开发人员,仅仅是因为需要使用这个功能在我的网站上而基于hightman提供的代码的修改,现在返回给项目,希望更多的人能有用。 原因:我希望给网站提供分词功能,...
每个线程需要单独的SCWS实例 ,词典和规则集倒是可以共用的,主线程正常操作,其它线程可以在 scws 创建后通过 thread_scws->d = main_scws->d; thread_scws_r = main_scws->r; 来共用它们,因为词典和规则集都是只读而且各API都是线程安全...
词典没配好吧 有没有在 ini_get('scws.default.fpath') 下面放置词典和规则集文件呢?
环境:ubuntu 13.10 x64, php 5.5 按照官方文档安装和下载词典,用php扩展测试,无法对中文分词,把词典权限设置为777后依旧不行。 还有其他什么要注意的? 例如: [quote]早春装新款2014大码宽松长款韩版蕾丝衫雪纺衫打底衬衫[/quote...
清除符号本质上是根据词性来处理的。勾上词性后发现这些被清除的词性都是 un 所以会被清除,这是因为词典的数据不对导致的,之前的繁体词典是一位朋友帮忙整理的,可能有所缺漏和不对。
...这并不算BUG吧。 这是给懒人设定的规则,当你试图设置词典时那就完全交给你决定,而不是系统强制无论如何都先加载默认词典。
确实是词典有问题,重新下载解压就好了,谢谢管理员 另外这个分词效率和效果都不错,我会向别人推荐的~ [quote='hightman' pid='5070' dateline='1383632500'] 全是 /un 应该是词典不工作。这个词库应该是不依赖机器字节序的啊 TXT没...
最长的词16个汉字,250个英文字母。 应该是你的词典做错了,比如字符集不匹配之类。生成词典要严格按照字段区分开,字段之间用区分,这说都有相关的说明,按说明操作应当没有问题。
目前不行。只能自己生成 scws 的词典并放进 $prefix/etc/dict.utf8.xdb 覆盖 词典可以自己先制作TXT格式在利用SCWs提供的工具转换成XDB格式 [url]http://www.hightman.cn/bbs/showthread.php?tid=712[/url] 这个贴子后面有讲到