zhmailm
zhmailm
采纳率100%
2016-02-26 05:46 阅读 1.6k
已采纳

怎样在java中实现sqlite的.import功能

在java中想把csv文件(百万条数据)导入到sqlite中。

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

3条回答 默认 最新

  • 已采纳
    zhmailm zhmailm 2016-02-26 10:21
    public static List readeCsv(String outPutPath, String tableName, Object obj) {
        List list = new ArrayList();
        Object o = null;
        try {
            ArrayList<String[]> csvList = new ArrayList<String[]>(); // 用来保存数据
            String csvFilePath = outPutPath + File.separator + tableName
                    + ".csv";
            CsvReader reader = new CsvReader(csvFilePath, ',',
                    Charset.forName("GBK")); // 一般用这编码读就可以了
    
            // reader.readHeaders(); // 跳过表头 如果需要表头的话,不要写这句。
    
            while (reader.readRecord()) { // 逐行读入除表头的数据
                csvList.add(reader.getValues());
            }
            reader.close();
            String[] d = ToObjUtil.getFiledName(obj);
            for (int row = 0; row < csvList.size(); row++) {
                String[] s = csvList.get(row);
                Map map = new HashMap();
                for (int i = 0; i < s.length; i++) {
                    map.put(d[i], s[i]);
                }
                o = ToObjUtil.mapToObject(map, obj.getClass());
                list.add(o);
            }
        } catch (Exception ex) {
        }
        return list;
    
    }
    这个是我的代码,每次读取一行,一次放到list中,但是百万条数据不支持。
    sqlite有相关的命令.import可以直接读取文件插入库里边。我测试了一下70万条只要30秒。
    我想在java程序中执行这种方式:比如:
    cd C:\sqlite
    

    sqlite3 POS.db
    .separator ","
    .import D:/666666/Commod.csv QT_COMMOD
    上边的怎么写成命令形式,
    写成 strng cmd="?";
    然后在java中运用Process p = Runtime.getRuntime()run.exec(cmd);去执行,以达到要求!

    点赞 评论 复制链接分享
  • u011249920 简一_hz 2016-02-26 05:51

    可以通过BufferedReader 流的形式进行流缓存,之后通过readLine方法获取到缓存的内容。
    BufferedReader bre = null;
    try {
    String file = "D:/test/test.txt";
    bre = new BufferedReader(new FileReader(file));//此时获取到的bre就是整个文件的缓存流
    while ((str = bre.readLine())!= null) // 判断最后一行不存在,为空结束循环
    {
    String item[] = bre.split(",");//CSV格式文件为逗号分隔符文件,这里根据逗号切分
    String last = item[item.length-1];//通过此方法获取到数据信息
    //int value = Integer.parseInt(last);//如果是数值,可以转化为数值
    System.out.println(last);//此处转换成数据库相应的语句即可实现存储操作
    };
    备注: 流用完之后必须close掉,如上面的就应该是:bre.close(),否则bre流会一直存在,直到程序运行结束。

    点赞 评论 复制链接分享
  • Royal_lr Royal_lr 2016-02-26 08:55

    写个程序直接读进去,,太慢,,最好是能直接copy

    点赞 评论 复制链接分享

相关推荐