由于词库太大干扰所致,建议可以附加一个小词典(目的是删除这些无用词汇,以下我写出来作参考,把下面的文字存成dict.txt,然后在原有的set_dict之后加上 scws_add_dict(s, 'path/to/this_ad_dict.txt', SCWS_XDICT_TXT); 这样使文本词典生效. ...
其实SCWS内部是允许最多2个非中文字符夹杂中文成词的,超过2个的就无效了。 比如”Q币“,”T恤“这种是支持的。像你这么长的编号支持通用性不强。。
...没有绝对的谁优谁劣,似乎半斤八两。 两者都是基于词典词频查询,推荐词典格式为 cdb,因为它在 PHP 中有捆绑而且同时支持 windows 和 *Unix* ,只需要在PHP编译时加入 --with-dba --with-cdb 即可,在 windows 中打开 php-dba.dll 扩展就行...
... xunsearch 服务端,那么每个服务端独自使用自己的自定义词典文件。 添加删除修改自定义词库只要编辑该文件即可,以下为相关规范: - 文件为纯文本文件,编码必须是 UTF-8,可用任何编辑器修改 - 每行一条记录表示一个词...
[quote='hightman' pid='3291' dateline='1248583748'] [quote='etbobhwang' pid='3283' dateline='1248344366'] PHP Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 1046898225 bytes) in /var/www/html/search/dict/xdb.class.php on line 638 我也碰到同樣的問題,換...
是你的.txt文件不规范吗,为什么会报不存在['tf'] & ['idf'] 啊 phptool for xdb 有最新版啊,建议下载最新的:http://www.ftphp.com/scws/download.php#xtools
你可以正常分词试试,然后打印一下词的 attr 属性到底是不是* 号 我估计是不是你自定义词典先于默认词典加载,导致attr属性被覆盖了?
...这些我也都照做了。 建立一个本地目录放规则集文件和词典文件,建议使用:C:/program files/scws/etc 从 scws 主页上下载词典文件,解压后将 *.xdb 放到上述目录中 词典系列:http://www.ftphp.com/scws/down/scws-dict-chs-gbk.tar.bz2 ...
...因为你用错误词了,48.php 是针对UTF-8的,而你调用了gbk的词典,把你的词典语句改为 dict.utf8.xdb 即可 3. dict_extra.txt 也必须是UTF-8编码 4. 删除词条,因为陈凯歌其实可能是因为人名关系导致切成词,可能会不受词典影响 5. 如果...
...页显示编码也是用的gbk。 然后我用记事本打开XDB 格式的词典文件dict.xdb,效果如下: XDB"/B ? ?? 悯H@ % G ! ? ! p # Z # ! ? # ? ) ? ! ? ! ! ? % ? ! ? ! ;* # P- # -0 ! ? % ? # ? # 5= # A ! 鰾 ! tG ! bJ ' ㎜ ! 頝 # 稱 ! zT !...