建议支持词库里的词可以是纯英文单词，虽然在分词时英文单词可以自动识别切分开，但在关键词提取和非法词过滤时却无法提取出或过滤掉纯英文单词。 比如：我要从一些商品名中提取一些品牌：adidas nike。。。对商品名分词...
... id [subject] index = both tokenizer =xlen(2) 二元分词只能对英文生效，对中文不生效 同时急于需要一元分词，主要是做黑词筛选用，因为有的时候就要搜索某些一元词，比如 武器 near/2 售,但是不能实现
...究了一下源代码，最终功夫不负有心人，成功的避过了中英文混合，使用字典中的词语分词，我用的是 scws-1.2.1.tar.bz2 这个版本，因为不能发附件，如果大家需要联系我： Email: shuyinglee@126.com[hr] 使用方法： 1.To patch tar xfvj sc...
建议支持词库里的词可以是纯英文单词，虽然在分词时英文单词可以自动识别切分开，但在关键词提取和非法词过滤时却无法提取出或过滤掉纯英文单词。 比如：我要从一些商品名中提取一些品牌：adidas nike。。。对商品名分词...
以前的二元分词只支持英文，最后找到问题 public function getTokens($value, XSDocument $doc = null) { $terms = array(); for ($i = 0; $i < mb_strlen($value,"utf-8"); $i += $this->arg) { $terms[] = mb_substr($value, $i, $this->arg,"utf-8"); } return $terms; }...
由于分词规则开头会先进行中英文粗分，那时就强行把数字、字母与多字节的汉字拆分开。 只有夹在汉字中间的1～2个数字或字终才被允许和汉字组合，比如“T恤” ”Q币“ 这种。 假设你的词典里有”北海36“，被分的句子是...
...定义了个词库，可是一用这个词库，就分不出来，数字和英文除外。 比如我定义“南瓜汤”，“番茄汤”作为一个词库，(测试用的，只放2个词在词库)， 然后对这句话进行分词“我爱喝南瓜汤，番茄汤”进行分词， 希望得到...
...，不知道xdb与txt相比，那个效率更高 另外，scws对于中英文分词效果不是很好，即文中的中文分得还可以，但对于页面中的英文部分，包括email,url,host这类处理效果比较差，我们目前采用两个分析器配合使用来达到最好的效果...
研究了一下源代码，最终功夫不负有心人，成功的避过了中英文混合，使用字典中的词语分词，我用的是 在调整每次读取数据的大小和缓冲区大小时有不同的情况
1， 当英文或数字与汉字链接时，词性会被视为un。如"LG集团"，LG与集团紧连着，这种情况下，我希望把LG也视为en。能不能通过修改rules改变呢？因为我不是太理解un指的是什么，好像助词'的'、标点符号等都被视为un。我在插入...