java用limit循环读取mysql直到全部读完,并能显示读了多少条

数据库数据很多,每次读5000条左右,用分页的方式循环读完,下面是测试代码,现在需要分页的代码,可以写在我发的测试代码上面,尽量详细,谢谢。
package webtest;
import java.sql.*;
import java.io.BufferedWriter;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.io.File;

public class test5{

static final String JDBC_DRIVER = "com.mysql.jdbc.Driver";

static final String DB_URL = "jdbc:mysql://localhost:3306/gumysql";

static final String USER = "root";
static final String PASS = "123456";
public static final String FILE_NAME = "again1.txt";//要创建的文件名
public static final String fn = "F:/NEWtest/";//文件指定存放的路径
public static void creatFile(String fn, String fileName) {
File folder = new File(fn);
//文件夹路径不存在
if (!folder.exists() && !folder.isDirectory()) {
System.out.println("文件夹路径不存在,创建路径:" + fn);
folder.mkdirs();
} else {
System.out.println("文件夹路径存在:" + fn);
}

// 如果文件不存在就创建
File file = new File(fn + fileName);
if (!file.exists()) {
    System.out.println("文件不存在,创建文件:" + fn+ fileName);
    try {
        file.createNewFile();
    } catch (IOException e) {
        e.printStackTrace();
    }
} else {
    System.out.println("文件已存在,文件为:" + fn+ fileName);
}

}

public static void wf(String file, String conent) {
BufferedWriter out = null;
try {
out = new BufferedWriter(new OutputStreamWriter(
new FileOutputStream(file, true)));
out.write(conent+"\r\n");
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
out.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}

public static void main(String[] args) {
Connection conn = null;
Statement stmt = null;
try{
creatFile(fn, FILE_NAME);
Class.forName("com.mysql.jdbc.Driver");

System.out.println("连接数据库...");
conn = DriverManager.getConnection(DB_URL,USER,PASS);


System.out.println(" 实例化Statement对象...");
stmt = conn.createStatement();
String sql;
sql = "SELECT id, name, url ,country FROM websites ";
ResultSet rs = stmt.executeQuery(sql);

String fn = "F://NEWtest//again1.txt";
wf(fn,"ID ,站点名称, 站点,country.");
while(rs.next()){

    int id  = rs.getInt("id");            
    String name = rs.getString("name");
    String url = rs.getString("url");
    String country = rs.getString("country");



    System.out.print("ID: " + id);

    System.out.print(", 站点名称: " + name);

    System.out.print(", 站点 URL: " + url);
    System.out.print(", country: " + country);

    System.out.print("\n");
    wf(fn,id+"," + name+ "," + url+ "," + country);
}

rs.close();
stmt.close();
conn.close();

}catch(SQLException se){

se.printStackTrace();

}catch(Exception e){

e.printStackTrace();

}finally{

try{
    if(stmt!=null) stmt.close();
}catch(SQLException se2){
}
try{
    if(conn!=null) conn.close();
}catch(SQLException se){
    se.printStackTrace();
}

}
System.out.println("Goodbye!");
}

}

4个回答

可以先查询表里所有数据的总数 sumNum;
SELECT count(*) FROM websites;
System.out.print("共获取到"+sumNum+"条数据");
再根据得到的总数值去除以5000,再用总数求余,这样获取循环的次数pageSize
int pageSize = 0;
pageSize = sumNum / 5000;
int tmpPage = 0;
tmpPage = sumNum % 5000 == 0 ? 0 : 1;
pageSize = pageSize + tmpPage;
然后循环
for(int i=0;i<=pageSize;i++){
// 处理逻辑查询
SELECT id, name, url ,country FROM websites limit i*5000,5000;
// 遍历ResultSet 得到数据去处理
}
既然分页查询那就要建立很多连接,注意关闭

qq_36291682
shadowPK小明 他这里的意思是动态拼接参数 你可以用SELECT id, name, url ,country FROM websites +拼接的内容 不过最好用占位符 用PreparedStatement SELECT id, name, url ,country FROM websites limit ?*5000,5000; 然后每次用setString(1,i)
大约一年之前 回复
ggx1abc
gu123xin for循环里面,没有办法对sql语句进行赋值吧?
大约一年之前 回复
package test;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Types;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.atomic.AtomicInteger;

public class DBUtil {

    public static void closeResult(ResultSet rs) {
        try {
            if (rs != null) {
                rs.close();
            }
        } catch (Exception e) {
        }
    }

    public static void closeStmt(PreparedStatement stmt) {
        try {
            if (stmt != null) {
                stmt.close();
            }
        } catch (Exception e) {
        }
    }

    public static void closeConn(Connection con) {
        try {
            if (con != null) {
                con.close();
            }
        } catch (Exception e) {
        }
    }

    public static Connection openConn() {//创建连接,自己写
        return null;
    }

    public static int getTotalCount(Connection con, String sql, Object... params) {
        PreparedStatement stmt = null;
        ResultSet rs = null;
        try {
             stmt = con.prepareStatement(sql);
             int idx = 1;
             if (params != null) {
                 for (Object param : params) {
                     if (param == null) {
                         stmt.setObject(idx++, param, Types.VARCHAR);
                     } else {
                         stmt.setObject(idx++, param);
                     }
                 }
             }
            rs = stmt.executeQuery();
            if (rs.next()) {
                return rs.getInt(1);
            }
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            closeResult(rs);
            closeStmt(stmt);
        }
        return 0;
    }

    public static <T> List<T> queryList(Connection con, String sql, ResultMapping<T> mapper, Object... params) {
        PreparedStatement stmt = null;
        ResultSet rs = null;
        List<T> list = new ArrayList<T>();
        try {
             stmt = con.prepareStatement(sql);
             int idx = 1;
             if (params != null) {
                 for (Object param : params) {
                     if (param == null) {
                         stmt.setObject(idx++, param, Types.VARCHAR);
                     } else {
                         stmt.setObject(idx++, param);
                     }
                 }
             }
            rs = stmt.executeQuery();
            while (rs.next()) {
                list.add(mapper.convert(rs));
            }
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            closeResult(rs);
            closeStmt(stmt);
        }
        return list;
    }

    public interface ResultMapping<T> {
        public T convert(ResultSet rs);
    }

    public static void main(String[] args) {
        String sql = "select * from t";
        String totlaSql = "select count(1) from (" + sql + ") as tmp";
        String pagesql = "select * from (" + sql + ") as tmp limit ?, ?";
        System.out.println(sql);System.out.println(totlaSql);System.out.println(pagesql);
        int pageSize = 100;
        Connection con = openConn();
        int total = getTotalCount(con, totlaSql);
        int fetchCount = (int) Math.floor(total * 1.0/pageSize);
        final AtomicInteger readcount = new AtomicInteger();
        ResultMapping mapper = new ResultMapping<Map>() {//假设查询的是map类型

            @Override
            public Map convert(ResultSet rs) {
                //这里解析取rs,取出来想怎么弄怎么弄,如果关系返回值就返回
                readcount.incrementAndGet();
                return null;
            }
        };
        for (int i = 0; i < fetchCount; i++) {
            queryList(con, pagesql,mapper , i * pageSize, pageSize, i * pageSize, pageSize);
        }

        closeConn(con);
    }
}


ResultSet rs 这种结果集不支持滚动的读去功能,所以,如果获得这样一个结果集,只能使用它里面的next()方法,逐个的读去数据;
建议你自己new 一个新的List 在你使用next()方法的时候将获取到的逐个添加进List; 之后使用list.subList(fromIndex , toIndex)方法实现分页;
参数代表下标区间,左闭右开.

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
java循环读取mysql并存入java集合里
-
mysql单表千万数据如何优化
-
mysql的limit分页查询可以在前面加条件吗?
-
如何使用c++通过ADO调用mysql有参存储过程并获取结果集
-
MYSQL limit 排序问题。
-
请教一下redis的参数client-output-buffer-limit pubsub是怎么优化的?如果参数设置client-output-buffer-limit pubsub 0 0 0对服务器有什么影响?
-
MySQL的分页查询语句limit
-
java 实现 sparksql 时,mysql数据库查询结果只有表头没有数据
-
mysql limit错误错在哪里?
-
mysql5.6.44在myeclipse中创建数据库表格时候报错OPTION SQL_SELECT_LIMIT=DEFAULT
-
mysql limit函数传参问题
-
PHP内存溢出报错,修改limit后无效,但物理内存实际够用为什么?
-
大数据量Mysql查询后经过循环使用python分片
-
为什么MySQL的单表查询这么慢,10条记录要6秒钟
-
hive中如何提高group by的效率呢?
-
关于查询mysql语句limit在servlet和mysql中的差别问题
-
为什么 子查询用 覆盖索引+limit 扫描行数非常大。
-
java调用mysql存储过程输出参数
-
mysql分页查询语句错误,请大神指点
-
学会了这些技术,你离BAT大厂不远了
每一个程序员都有一个梦想,梦想着能够进入阿里、腾讯、字节跳动、百度等一线互联网公司,由于身边的环境等原因,不知道 BAT 等一线互联网公司使用哪些技术?或者该如何去学习这些技术?或者我该去哪些获取这些技术资料?没关系,平头哥一站式服务,上面统统不是问题。平头哥整理了 BAT 等一线大厂的必备技能,并且帮你准备了对应的资料。对于整理出来的技术,如果你掌握的不牢固,那就赶快巩固,如果你还没有涉及,现在...
程序员实用工具网站
目录 1、搜索引擎 2、PPT 3、图片操作 4、文件共享 5、应届生招聘 6、程序员面试题库 7、办公、开发软件 8、高清图片、视频素材网站 9、项目开源 10、在线工具宝典大全 程序员开发需要具备良好的信息检索能力,为了备忘(收藏夹真是满了),将开发过程中常用的网站进行整理。 1、搜索引擎 1.1、秘迹搜索 一款无敌有良心、无敌安全的搜索引擎,不会收集私人信息,保...
支付宝核心工程师谈如何成为一名优秀的程序员?
支付宝研究员李俊奎 作者 |蚂蚁金服科技 责编| 伍杏玲 出品 | 程序人生(ID:coder_life) 校招进入支付宝,11年时间,从一线工程师成长为支付宝安全核心架构师,这个技术牛人就是李俊奎。 李俊奎一直聚焦风控平台的技术和架构发展,并着手搭建了中国第一家云上的商业银行——网商银行。 在2016年双11和新春红包等活动中,李俊奎和他的团队实现历史性突破,即在系统不...
我花了一夜用数据结构给女朋友写个H5走迷宫游戏
起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥作用。而我答道:能干事情多了,比如写个迷宫小游戏啥的! 当我码完字准备睡觉时:写不好别睡觉! 分析 如果用数据结构与算法造出东西来呢? ...
让程序员崩溃的瞬间(非程序员勿入)
今天给大家带来点快乐,程序员才能看懂。 来源:https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时,将断点设置在错误的位置 3.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...
GitHub开源的10个超棒后台管理面板
目录 1、AdminLTE 2、vue-Element-Admin 3、tabler 4、Gentelella 5、ng2-admin 6、ant-design-pro 7、blur-admin 8、iview-admin 9、material-dashboard 10、layui 项目开发中后台管理平台必不可少,但是从零搭建一套多样化后台管理并不容易,目前有许多开源、免费、...
100 个网络基础知识普及,看完成半个网络高手
欢迎添加华为云小助手微信(微信号:HWCloud002或HWCloud003),输入关键字“加群”,加入华为云线上技术讨论群;输入关键字“最新活动”,获取华为云最新特惠促销。华为云诸多技术大咖、特惠活动等你来撩! 1)什么是链接? 链接是指两个设备之间的连接。它包括用于一个设备能够与另一个设备通信的电缆类型和协议。 2)OSI 参考模型的层次是什么? 有 7 个 OSI 层:物理...
对计算机专业来说学历真的重要吗?
我本科学校是渣渣二本,研究生学校是985,现在毕业五年,校招笔试、面试,社招面试参加了两年了,就我个人的经历来说下这个问题。 这篇文章很长,但绝对是精华,相信我,读完以后,你会知道学历不好的解决方案,记得帮我点赞哦。 先说结论,无论赞不赞同,它本质就是这样:对于技术类工作而言,学历五年以内非常重要,但有办法弥补。五年以后,不重要。 目录: 张雪峰讲述的事实 我看到的事实 为什么会这样 ...
世界上最好的学习法:费曼学习法
你是否曾幻想读一遍书就记住所有的内容?是否想学习完一项技能就马上达到巅峰水平?除非你是天才,不然这是不可能的。对于大多数的普通人来说,可以通过笨办法(死记硬背)来达到学习的目的,但效率低下。当然,也可以通过优秀的学习法来进行学习,比如今天讲的“费曼学习法”,可以将你的学习效率极大的提高。 费曼学习法是由加拿大物理学家费曼所发明的一种高效的学习方法,费曼本身是一个天才,13岁自学微积分,24岁加入曼...
深入理解C语言指针
一、指针的概念 要知道指针的概念,要先了解变量在内存中如何存储的。在存储时,内存被分为一块一块的。每一块都有一个特有的编号。而这个编号可以暂时理解为指针,就像酒店的门牌号一样。 1.1、变量和地址 先写一段简单的代码: void main(){ int x = 10, int y = 20; } 这段代码非常简单,就是两个变量的声明,分别赋值了 10、20。我们把内存当做一个酒店,而每个房间就...
C语言实现推箱子游戏
很早就想过做点小游戏了,但是一直没有机会动手。今天闲来无事,动起手来。过程还是蛮顺利的,代码也不是非常难。今天给大家分享一下~ 一、介绍 开发语言:C语言 开发工具:Dev-C++ 5.11 日期:2019年9月28日 作者:ZackSock 也不说太多多余的话了,先看一下效果图: 游戏中的人物、箱子、墙壁、球都是字符构成的。通过wasd键移动,规则的话就是推箱子的规则,也就不多说了。 二、代...
面试官:兄弟,说说基本类型和包装类型的区别吧
Java 的每个基本类型都对应了一个包装类型,比如说 int 的包装类型为 Integer,double 的包装类型为 Double。基本类型和包装类型的区别主要有以下 4 点。
C语言这么厉害,它自身又是用什么语言写的?
这是来自我的星球的一个提问:“C语言本身用什么语言写的?”换个角度来问,其实是:C语言在运行之前,得编译才行,那C语言的编译器从哪里来? 用什么语言来写的?如果是用C语...
十大优秀编程项目,让你的简历金光闪闪
全文共3241字,预计学习时长6分钟 被问到如何学习编程时,最常听到的问题就是:“有没有什么新项目的好点子?” 一些老套的答案有:“做一个象棋游戏”或者“命令行界面”。 这些答案没有错,但这些例子不符合现代编程的需要。现代软件编写需要经常使用软件服务化(SaaS)和网络应用,这意味着程序员需要了解如何在线编程。 用户网站或应用程序的编程需要服务器、身份验证和数据库,这个过程十分复杂。它...
第二弹!python爬虫批量下载高清大图
文章目录前言下载免费高清大图下载带水印的精选图代码与总结 前言 在上一篇写文章没高质量配图?python爬虫绕过限制一键搜索下载图虫创意图片!中,我们在未登录的情况下实现了图虫创意无水印高清小图的批量下载。虽然小图能够在一些移动端可能展示的还行,但是放到pc端展示图片太小效果真的是很一般!建议阅读本文查看上一篇文章,在具体实现不做太多介绍,只讲个分析思路。 当然,本文可能技术要求不是特别高,但可以...
SpringBoot注解梳理
一、注解(annotations)列表 二、注解(annotations)详解 三、JPA注解 四、springMVC相关注解 五、全局异常处理 一、注解(annotations)列表 @SpringBootApplication:包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@Component...
2019年10月全国程序员工资统计,一半以上的职位5个月没招到人。
我每个月第一天(也许是第二天,第三天),会爬招聘网站,并在CSDN发布。 趋势 全国程序员平均工资走势图。图上可以见,6月到8月,工资涨的比较快。之后就停止甚至下跌了。当然,6到8月涨幅过快,后面的下跌可以看作是对之前的调整。怎么感觉我是评论股票的。。。大家听过就算了,别当真。 同时,10月份的招聘人数也大幅减少了。我估计,可能是用人单位不愿意刚刚招来个人,就给他放十一假期,这样不核算。所以宁可推...
Java 网络爬虫,就是这么的简单
这是 Java 网络爬虫系列文章的第一篇,如果你还不知道 Java 网络爬虫系列文章,请参看 学 Java 网络爬虫,需要哪些基础知识。第一篇是关于 Java 网络爬虫入门内容,在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例,需要提取的内容如下图所示: 我们需要提取图中圈出来的文字及其对应的链接,在提取的过程中,我们会使用两种方式来提取,一种是 Jsoup 的方式,另一种是 httpcli...
面试官,不要再问我三次握手和四次挥手
三次握手和四次挥手是各个公司常见的考点,也具有一定的水平区分度,也被一些面试官作为热身题。很多小伙伴说这个问题刚开始回答的挺好,但是后面越回答越冒冷汗,最后就歇菜了。 见过比较典型的面试场景是这样的: 面试官:请介绍下三次握手 求职者:第一次握手就是客户端给服务器端发送一个报文,第二次就是服务器收到报文之后,会应答一个报文给客户端,第三次握手就是客户端收到报文后再给服务器发送一个报文,三次握手就...
当程序员这么多年,我学到了25条人生经验
关注前端达人,与你共同进步编者按:作者踏上开发人员的职业之路某种程度上具有偶然性,但是也跟自己平时对编码方面的知识进行的储备有很大的关系,作为一名自学的开发人员,作者虽然...
记一次蚂蚁金服的面试经历
点击上方“码农突围”,马上关注,每天早上8:50准时推送真爱,请置顶或星标2015在实习的时候,当时一个一起实习的朋友在2019年3月份的时候突然在微信上找我,问我要不要...
相关热词 c#引入dll文件报错 c#根据名称实例化 c#从邮件服务器获取邮件 c# 保存文件夹 c#代码打包引用 c# 压缩效率 c#教学 csdn c#开发前端 c#如何将字符串格式化 c#引用dll不成功