求分词的源码

CSDN -技术社区 -
主　　题：求分词的源码
作　　者：comando (烤馒头)
信 誉 值：98
所属论坛：C/C++ 非技术区
问题点数：0
回复次数：12
发表时间：2003-11-27 02:05:38Z
本人做搜索引擎，需要用到分词，请帮忙
回复人： soulz(小楼一夜听春雨) ( ) 信誉：100 2003-11-27 09:02:48Z 得分:0
不是吧，竟然有人这么做的！？
Top
回复人： honghaier(红孩儿) ( ) 信誉：100 2003-11-27 10:17:50Z 得分:0
呵呵，中文分词技术相当难。但有个叫什么"…海…博"的公司做的相当好。据说分词准确率达到96％还是99％来着。估计这方面的专家不太多。就算会也不能告诉你呀！那多财富了！
Top
回复人： comando(烤馒头) ( ) 信誉：98 2003-11-27 10:57:21Z 得分:0
不用太准确了，能应付交了作业就行了
Top
回复人： psbeond(psbeyond) ( ) 信誉：100 2003-11-27 20:05:10Z 得分:0
我以前写过一个可以分中英文混排文章的分司工具，我给你找找
Top
回复人： psbeond(psbeyond) ( ) 信誉：100 2003-11-27 20:08:55Z 得分:0
找到了：/**************************************************** 功 能:* 从最大五个汉字分词* 参 数:* FILE *fpIn:待分词文件* FILE *fpOut:分词输出文件* 返回值:* * 作 者:* 刘树伟* 日 期:* 2003-1-20***************************************************/# include "stdafx.h"# include "myheader.h"extern FILE *fpIn;extern FILE *fpOut;extern FILE *fpWordList;bool fnMaxFenCi5(){ char szBuf[13]; memset(szBuf,NULL,sizeof(char) * 13); strcpy(szBuf,fnReadWord5(fpIn)); if(fnCompareWord(szBuf,fpWordList) == true) { fputs(szBuf,fpOut); //如果这五个是单词，写入输出文件 return true; } else { //如果这五个不是单词，读四个 fseek(fpIn,-10,SEEK_CUR); memset(szBuf,NULL,sizeof(char) * 13); strcpy(szBuf,fnReadWord4(fpIn)); if(fnCompareWord(szBuf,fpWordList) == true) { //如果这四个是单词，写入输出文件 fputs(szBuf,fpOut); return true; } else { //如果这四个不是单词，读三个 fseek(fpIn,-8,SEEK_CUR); memset(szBuf,NULL,sizeof(char) * 13); strcpy(szBuf,fnReadWord3(fpIn)); if(fnCompareWord(szBuf,fpWordList) == true) { //如果这三个是单词，写入输出文件 fputs(szBuf,fpOut); return true; } else { //如果这三个不是单词，读两个 fseek(fpIn,-6,SEEK_CUR); memset(szBuf,NULL,sizeof(char) * 13); strcpy(szBuf,fnReadWord2(fpIn)); if(fnCompareWord(szBuf,fpWordList) == true) { //如果这两个是单词，写入输出文件 fputs(szBuf,fpOut); return true; } else { //如果这两个不是单词，读一个 fseek(fpIn,-4,SEEK_CUR); memset(szBuf,NULL,sizeof(char) * 13); strcpy(szBuf,fnReadWord1(fpIn)); fputs(szBuf,fpOut); return true; } } } } }算了，太多了，这样的文件有很多，这里没法贴，不过我的词库文件找不到了，只能看算法了，我用的是最大词条匹配算法，是基于词库的，这个是控制台版，我还有windows版的，把你信箱留下，我给你发过去
Top
回复人： comando(烤馒头) ( ) 信誉：98 2003-11-28 01:02:29Z 得分:0
comandowang@sina.com谢谢你了
Top
回复人： comando(烤馒头) ( ) 信誉：98 2003-11-28 11:02:47Z 得分:0
我急用啊，谢谢你啊
Top
回复人： psbeond(psbeyond) ( ) 信誉：100 2003-11-28 11:29:26Z 得分:0
程序已经发出去了，你查收一下，两个版的都发了
Top
回复人： comando(烤馒头) ( ) 信誉：98 2003-11-28 14:38:19Z 得分:0
收到了，太谢谢你了
Top
回复人： soulz(小楼一夜听春雨) ( ) 信誉：100 2003-11-29 08:06:54Z 得分:0
psbeond(psbeyond) 也发一份给我吧？OK？谢谢！soulz02013@tom.com
Top
回复人： psbeond(psbeyond) ( ) 信誉：100 2003-11-29 09:19:14Z 得分:0
soulz02013@tom.com给你发过去了，大家不要再和我要了，发送速度太慢。to:comando (烤馒头) 你是不是北方软件学院的呀？
Top
回复人： soulz(小楼一夜听春雨) ( ) 信誉：100 2003-11-29 09:25:07Z 得分:0
我已经收到了，谢谢！
Top
该问题已经结贴