...但是非词的结果却是 "HYC" "888" "仪表" 这三个词语; 确认词典中没有这三个单独的词语; 我的应用中这样的词语很多很多,希望能够整词匹配。 我看了 前面的一个帖子,说要修改源代码,请大侠指导一下,怎么修改? ...
其实SCWS内部是允许最多2个非中文字符夹杂中文成词的,超过2个的就无效了。 比如”Q币“,”T恤“这种是支持的。像你这么长的编号支持通用性不强。。
昨天弄了一晚上, 因为我是写php的对C语言不熟系,研究了一下源代码,最终功夫不负有心人,成功的避过了中英文混合,使用字典中的词语分词,我用的是 scws-1.2.1.tar.bz2 这个版本,因为不能发附件,如果大家需要联系我: Ema...
抱歉,这里没有讲清楚,英文,数字本身不需要设置会自动根据词界切割。 这里说的是那些中英混合的特殊词汇,限制了夹带的字母只能1个或2个字符。 比如:我有很多Q币,这里Q币你如果设为词,它可以被切出。 再比如:我...
...允许和汉字组合,比如“T恤” ”Q币“ 这种。 假设你的词典里有”北海36“,被分的句子是 “北海36度”,那么“北海36”是可以成功切分的。 原因就在于最多允许夹在汉字之间的只有2个字符~~ 这个粗分规则是为了加速...
我这个是简单的改动,就是注释掉了一段代码 [code] diff -ur scws-1.2.1/libscws/scws.c scws-1.2.1.changed/libscws/scws.c --- scws-1.2.1/libscws/scws.c 2013-01-11 10:39:28.000000000 +0800 +++ scws-1.2.1.changed/libscws/scws.c 2013-07-03 10:38:49.409846632 +0800 @@ -60,6 +60,9 @@ s->...
... 1)、中英文混合的 英文超过2个字就会被切割,不管词典里面有没有这个数据,比如词典里面有 “ABC支持开源" , 对“ABC支持开源" 切词的结果是“ABC" "支持“ ”开源“, 而不能切成“ABC支持开源" 2)、长的句子切词后返...
...3) libscws 增加 scws_fork() 从既有的 scws 实例产生分支并共享词典/规则集,主要用于多线程开发。 4) 新增部分版本的 win32 的 dll 扩展,详见下载页面 [b]scws-1.1.9 发布于 2011-12-26[/b] 2011-12-26: SCWS-1.1.9 Released. 1) 明确使用开源协议 Ne...