分词 对于 词库 里有宝马x6 分词 为宝马和马x6 分词有问题 词库 里 只能添加 宝马 不能宝马x6 (中文 英文和数字在一起 存在分词问题) #解析后的 QUERY 语句:Xapian::Query((奥迪a6:(pos=1) SYNONYM (奥迪:(pos=89) AND 迪A6:(pos=90))))
[quote='hpxl' pid='7811' dateline='1400033006'] sdk/php/app/demo.ini配置 [id] type = id [/quote] 是scws-1.2.2 的如何让它支持自已定义的英文词库? 像http://bbs.xunsearch.com/showthread.php?tid=3088 这样修改代码吗?
华硕主板H61-PLUS,想分词结果中包含H61。 通过 [url=http://www.xunsearch.com/scws/demo/v48.php]http://www.xunsearch.com/scws/demo/v48.php[/url] 得到的结果为“华硕/主板/H/61/-/PLUS”。尝试过自定义词库,$prefix/data/项目名称/dict_user.txt 加入H61,但是...
词库可以添加 宝马x6 的啊
...呢。[hr] 经过测试,还发现。 不加载任何字典和规则。 数字是照样能给分词出来的。。似乎默认就把一窜数字就是一个词 这样来分[hr] 那如果是这样就麻烦了。。怎么能解决 中文+数字 结合的词呢?
scws分词不正确的情况 1、中文夹杂连续两个以上英文或数字(例如:程jj序ii员e 正常,程jjj序ii员e 不正常) 2、英文数字组合中,同时含有连续一个以上英文或数字的组合(例如:w1156k 正常,w16ky不正常) 3、含有任意一个...
如题 ,比如我在dict_user文件里添加abc10000,查看分词的时候,它还是会分成abc +10000,这样就达不到效果了、、、
由于分词规则开头会先进行中英文粗分,那时就强行把数字、字母与多字节的汉字拆分开。 只有夹在汉字中间的1~2个数字或字终才被允许和汉字组合,比如“T恤” ”Q币“ 这种。 假设你的词典里有”北海36“,被分的句子是...
昨天弄了一晚上, 因为我是写php的对C语言不熟系,研究了一下源代码,最终功夫不负有心人,成功的避过了中英文混合,使用字典中的词语分词,我用的是 scws-1.2.1.tar.bz2 这个版本,因为不能发附件,如果大家需要联系我: Ema...
...uote='hightman' pid='1078' dateline='1346301119'] 支持是支持的,但数字字母最多只支持2位。 你说的情况其实切分成“斯巴鲁+WRX”并不会有多大问题吧。 像 Q币 QQ空间 这样的都是可以支持成词的。 [/quote] 感谢hightman 的回复。 ...