...GBK dictionary 到80行,这是不参对utf-8字符处理的,不能对中文(中英混合)字符进行mb_substr($word, 0, $len)切分,[u]mb_substr($word, 0, $len)切分中文会是乱码的。[/u] 所以要人为添加字符串处理涵数,针对utf-8。 [php] function msubstr($str, $s...
今天旗下的http://www.anetb.com需要一个支持中文分词的搜索页,原drupal的太烂了, 我的做法是:结合xunsearch实现drupal commerce下的中文搜索 测试页:http://www.anetb.com/tsearch/demo/commerce/search.php , 可输入“奶粉”,我的站准备做这...
...据设定好的选项切割后以数组形式返回每一个词汇。它为中文而编写,支持 gbk 和 utf-8 字符集,适当的修改词典后也可以支持非中文的多字节语言切词(如日文、韩文等)。除分词外,还提供一个简单的关键词汇统计功能,它内...