乐思论坛采集系统

来源:百度文库 编辑:神马文学网 时间:2024/05/01 09:36:50
乐思论坛采集系统一、 主要功能
乐思论坛采集系统的主要功能为:根据用户自定义的任务配置,批量而精确地抽取目标论坛栏目中的主题帖与回复帖中的作者,标题,发布时间,内容,栏目等,转化为为结构化的记录,保存在本地数据库中。 功能示意图如下所示:

二、 系统特点
可以抽取所有主题帖或者最新主题帖内容
可以抽取某个主题帖的所有回复帖或者最新回复帖的内容
支持命令行格式,可以Windows任务计划器配合,定期抽取目标数据
支持记录唯一索引,避免相同信息重复入库
支持数据库表结构完全自定义
保证信息的完整性与准确性
支持各种主流数据库,如MSSQL、Access、MySQL、Oracle、DB2、Sybase等
三、 运行环境
操作系统:Windows XP/NT/2000/2003
内存:最低32M内存,建议128M或以上
硬盘:最少20M空余硬盘空间