hi,hightman, 你好,我现在用切词,发现中英文混合的英文超过2个就被切分了,要怎么才能取消这个限制呢?比如有个词是 "某某大学MBA", 不要被切分成两个词,希望能得到解答。
由于分词规则开头会先进行中英文粗分,那时就强行把数字、字母与多字节的汉字拆分开。 只有夹在汉字中间的1~2个数字或字终才被允许和汉字组合,比如“T恤” ”Q币“ 这种。 假设你的词典里有”北海36“,被分的句子是...
...库,不知道xdb与txt相比,那个效率更高 另外,scws对于中英文分词效果不是很好,即文中的中文分得还可以,但对于页面中的英文部分,包括email,url,host这类处理效果比较差,我们目前采用两个分析器配合使用来达到最好的效...
...s,使用后发现有几个地方和自己的需求不符合, 1)、中英文混合的 英文超过2个字就会被切割,不管词典里面有没有这个数据,比如词典里面有 “ABC支持开源" , 对“ABC支持开源" 切词的结果是“ABC" "支持“ ”开源“, 而...
...tionary 到80行,这是不参对utf-8字符处理的,不能对中文(中英混合)字符进行mb_substr($word, 0, $len)切分,[u]mb_substr($word, 0, $len)切分中文会是乱码的。[/u] 所以要人为添加字符串处理涵数,针对utf-8。 [php] function msubstr($str, $start=0,...
...ws/download.php[/url] -- [b]scws-1.2.2 发布于 2013-7-11[/b] 1) 改进中英夹杂的长词复合分法,比如 "奥迪A6/奥迪/A6" 2) 修正 pscws23 演示文件的一些写法与新版 PHP 不兼容 3) 修正一些 configure 检测错误 [b]scws-1.2.1 发布于 2013-1-15[/b] 1) 将源...