使用分页查询来适应挖掘海量数据之概论

来源：Oracle认证发布时间：2012-11-12 Oracle认证视频评论

　　数据挖掘各类算法中，常常需要遍历整个数据库（表）。现实中的数据库可能十分大，往往不可能通过一个简单的Select *的方式遍历提取数据表内的所有元组。直接用Select * 的方式存在两大问题，一是Select *过后，可能要等很久数据库才能将所有信息提交完毕，第二是得到的结果可能是很大，远远超过内存的限制。

　　现在各种主流的数据库都支持了分页查询的方式。

　　以Oracle为例，通过rownum关键字可以获取指定的行区间。
　　比如: Select * from XX.TABLE1 where rownum <= 100。不过Oracle的rownum有点特别的就是，rownum必须从1开始，如果直接这样写就不行了: Select * from XX.TABLE1 where rownum between 50 and 100。
而实际上，我们可以这样来写：SELECT * from (select n.*,rownum num from XX.TABLE1 n WHERE rownum <=100) where num >= 50;

　　以MySQL为例，提供了limit关键字，更加方便获取中间某区间的行数据。
　　比如: Select * from TABLE1 limit 50,100。 MySQL的limit关键字用起来比Oracle要方便一些。不过各个数据库的分页查询的速度我倒没有研究过，网上听一些高手们说，Oracle提供的分页查询效率要高一些。

　　Hibernate这样的数据持久层提供的分页查询，可以屏蔽掉各个不同的数据库之间具体SQL实现差异。
　　Hiberante这样的数据持久层工具一大好处就是可以屏蔽掉不同数据库的之间的某些细节差异。分页查询在不同的数据库上实现的SQL不一样，所以要统一，最好使用Hibernate这样的工具。
　　Query q = session.createQuery("from Cat as c");
　　q.setFirstResult(50);
　　q.setMaxResults(100);
　　List l = q.list();

　　网上到处都可以搜寻到关于Hibernate内部实现分页查询的解读的文章。可以看到，Hibernate内部也是通过rownum，limit这些关键字来实现分页的。

视频学习

我考网版权与免责声明

① 凡本网注明稿件来源为"原创"的所有文字、图片和音视频稿件，版权均属本网所有。任何媒体、网站或个人转载、链接转贴或以其他方式复制发表时必须注明"稿件来源：我考网"，违者本网将依法追究责任；

② 本网部分稿件来源于网络，任何单位或个人认为我考网发布的内容可能涉嫌侵犯其合法权益，应该及时向我考网书面反馈，并提供身份证明、权属证明及详细侵权情况证明，我考网在收到上述法律文件后，将会尽快移除被控侵权内容。