scws分词不正确的情况 1、中文夹杂连续两个以上英文或数字(例如:程jj序ii员e 正常,程jjj序ii员e 不正常) 2、英文数字组合中,同时含有连续一个以上英文或数字的组合(例如:w1156k 正常,w16ky不正常) 3、含有任意一个...
我现在想做的是,在一个英文句子里提取其中词频比较高的名词。想到用自定义词典,自己整理英文词。但是发现一个问题。。比如hip pop这样也是一个名词,那现在自定义词典里肯定不能有空格的啊。老大能不能把这个也解决...
通常英文是不需要分词的,但很多时候词性是需要的,比如nike,dior这类品牌英文。 目前默认词性都是en,有什么办法可否自定义词典来改变他的词性。 还有个问题,就是纯数字的词性为什么是en呢,不是m? 望赐教。
因为英文默认按空格分词了,但因为我这边应用的特殊,希望能实现这样的搜索 标题:freemp3download,搜索 mp3可以检索到,我试了下demo,story可以搜索到的,sto就搜索不到。 谢谢。
各位达人们,请问xs的英文模糊匹配怎么做?之前好像也有人发过贴,就是类似mysql like的效果,但是没有回复。 我自己曾尝试过几个做法,但都失败了 1. 利用xs自带的scws,这个英文明显是根据空格分词的,所以达不到效果 2...
如题 ,比如我在dict_user文件里添加abc10000,查看分词的时候,它还是会分成abc +10000,这样就达不到效果了、、、
我在自己的网站上使用scws做分词,当文章中有类似PC-BSD之类有连字符的英文词时,都分成类“PC - BSD”,但这是个软件名,本不应分开,英文中加-号的一般都视为一个词,按理说不应分开的,有什么方法解决吗?
...似乎特别的窄…… 对于一个页面来说,通常含有数字、英文、英文标点、中文标点、中文等文字要素(可阅读部分,HTML已过滤),视情况而定,搜索引擎还有可能抓出含有乱码的片段。 但是SCWS分词时似乎要求字符串中只能有...
[quote='hightman' pid='1078' dateline='1346301119'] 支持是支持的,但数字字母最多只支持2位。 你说的情况其实切分成“斯巴鲁+WRX”并不会有多大问题吧。 像 Q币 QQ空间 这样的都是可以支持成词的。 [/quote] 感谢hightman 的回复。 ...