为什么我对一串utf-8编码的中文分词，竟得到了下面的效果（只是单纯得到每个字） 我在程序里已经设置了编码方式 scws_set_charset(s, "utf-8"); [attach]124[/attach]
像蜘蛛爬虫那样去检索指定的网站，把数据存入数据库，然后搜索 [hr] 像 sphider 开源的那个，只不过他没有中文分词
...果!为啥？？ 默认的分词也不行，:huh::huh:我用csv导入的 中文全都不可以搜索和显示出来 [id] type = id [user] index = both tokenizer = full [q] index = both tokenizer = full [w] index = both tokenizer = full ~
... 这套分词目前的速度也超出了我的想象，实测 8万字节的中文文本在我的服务器上最快达 0.07秒（双核双CPU 3.0G），使用 php 扩展速度要略慢了 40% 左右，8万字节大概要 0.4~0.6秒不定。
...明显csws把email,网址给拆开了，还有标签没有去除，但是中文词是正确的分开了 postgres=# SELECT to_tsvector('zw_simple','pgsql中国社区论坛 http://www.pgsqldb.org:8079 chenaishen@263.net'); to_tsve...
从CSDN上下载了 CSWS中文分词词典，里面的条目为： 频道 14.89 3.91 n 音乐 14.89 3.91 n 软件 14.89 3.91 n 资讯 14.89 3.91 n 。。。。。 新浪 14.89 6.26 nz 文学 14.89 3.91 n 二列为词频，三列为词重，可是词频与词重是怎么计算的，单位...
...？ 求推荐和指点，谢谢了！ [color=#006400]PHP版简易中文分词第四版(PSCWS v4.0) - 分词核心类库代码[/color]