事实上，我UTF-8的一直不成功，GBK的就会出现那样奇怪的问题 今天我又再试了一下（GBK版本的），在Windows下，在文件保存的时候，选择编码“ANSI”，这样就不会出现那样奇怪的问题了
...ue, XSDocument $doc=NULL) $value string 待分词的字段值(UTF-8编码) $doc XSDocument 当前相关的索引文档 {return} array 切好的词组成的数组 源码: sdk/php/lib/XSTokenizer.class.php#L33 (显示) public function getTokens($value, XSDocument $doc = nu...
setUtf8() 方法 public bool setUtf8() {return} bool 如果数据库能直接输出 UTF-8 编码则返回 true 否则返回 false 源码: sdk/php/util/XSDataSource.class.php#L445 (显示) public function setUtf8(){ return false;} 设置数据库字符集为 UTF-8
谢谢马老师 [ 应该是吧:-）]的及时回复。 我在研读代码的时候，看到有段代码注释着，是对半字的处理，并不是很理解，对于文字都是1-4字节的UTF-8存储编码。 半字是种什么情况呢？
...set, 'UTF-8'); } return $buf;} 把 UTF-8 字符串转换为用户编码
...set); } return $buf;} 把用户输入的字符串转换为 UTF-8 编码
...现 [off] => 42 [len] => 6 [idf] => 0 [attr] => @ ) 词库文件是UTF8编码的，已经分别试过使用PHP版词库工具以及scws-gen-dict来生成词库，但是结果都一样。 有什么可能的原因吗？ 谢谢 [hr] 我使用的代码如下， dict.utf8.xdb是我自己的词...