使用分页查询来适应挖掘海量数据的需求-数据库专家|QQread.com

来源：百度文库编辑：神马文学网时间：2024/04/29 23:14:02

使用分页查询来适应挖掘海量数据的需求
广告插画创意动漫Logo包装绘画鼠绘3D时尚卡通网站CG艺术摄影
来源：作者：tangl_99 2006-05-16 出处：巧巧读书
oracle mysql
数据挖掘各类算法中，常常需要遍历整个数据库（表）。现实中的数据库可能十分大，往往不可能通过一个简单的Select *的方式遍历提取数据表内的所有元组。直接用Select * 的方式存在两大问题，一是Select *过后，可能要等很久数据库才能将所有信息提交完毕，第二是得到的结果可能是很大，远远超过内存的限制。
现在各种主流的数据库都支持了分页查询的方式。
以Oracle为例，通过rownum关键字可以获取指定的行区间。
比如: Select * from XX.TABLE1 where rownum <= 100。不过Oracle的rownum有点特别的就是，rownum必须从1开始，如果直接这样写就不行了: Select * from XX.TABLE1 where rownum between 50 and 100。
而实际上，我们可以这样来写：SELECT * from (select n.*,rownum num from XX.TABLE1 n WHERE rownum <=100) where num >= 50;
以MySQL为例，提供了limit关键字，更加方便获取中间某区间的行数据。
比如: Select * from TABLE1 limit 50,100。 MySQL的limit关键字用起来比Oracle要方便一些。不过各个数据库的分页查询的速度我倒没有研究过，网上听一些高手们说，Oracle提供的分页查询效率要高一些。
Hibernate这样的数据持久层提供的分页查询，可以屏蔽掉各个不同的数据库之间具体SQL实现差异。
Hiberante这样的数据持久层工具一大好处就是可以屏蔽掉不同数据库的之间的某些细节差异。分页查询在不同的数据库上实现的SQL不一样，所以要统一，最好使用Hibernate这样的工具。
Query q = session.createQuery("from Cat as c");
q.setFirstResult(50);
q.setMaxResults(100);
List l = q.list();
网上到处都可以搜寻到关于Hibernate内部实现分页查询的解读的文章。可以看到，Hibernate内部也是通过rownum，limit这些关键字来实现分页的。

使用分页查询来适应挖掘海量数据的需求-数据库专家|QQread.com 海量数据库的查询优化及分页算法方案转贴：海量数据库的查询优化及分页算法方案海量数据库的查询优化及分页算法方案 SQL SERVER海量数据库的查询优化及分页算法数据库索引和海量数据查询的优化 SQL SERVER海量数据库的查询优化及分页算法方案海量数据库的查询优化及分页算法方案-DAO-Java ★★★海量数据库的查询优化及分页算法方案★★★ SQL SERVER海量数据库的查询优化及分页算法方案海量数据库的查询优化及分页算法方案-DAO-Java 海量数据库查询关于SQL Server SQL语句查询分页数据的解决方案 SQL SERVER数据库中实现快速的数据提取和数据分页 SQL SERVER数据库中实现快速的数据提取和数据分页真正的海量查询真正的海量查询！关于SQL Server SQL语句查询分页数据的解决方案 - 编程岁月 ADSL线路物理层指标与测试的方法 - 网络专家|QQread.com 关于对ADSL业务四个环节的详细测试 - 网络专家 | QQread.com 海量软件搜索引擎公开测试数据挖掘成为主题【应有尽有】真正的海量查询 IP网络中的QoS研究 - 网络专家|QQread.com 挖掘客户内心深处的需求