2 zhmailm zhmailm 于 2016.02.26 13:46 提问

怎样在java中实现sqlite的.import功能

在java中想把csv文件(百万条数据)导入到sqlite中。

3个回答

zhmailm
zhmailm   2016.02.26 18:21
已采纳
public static List readeCsv(String outPutPath, String tableName, Object obj) {
    List list = new ArrayList();
    Object o = null;
    try {
        ArrayList<String[]> csvList = new ArrayList<String[]>(); // 用来保存数据
        String csvFilePath = outPutPath + File.separator + tableName
                + ".csv";
        CsvReader reader = new CsvReader(csvFilePath, ',',
                Charset.forName("GBK")); // 一般用这编码读就可以了

        // reader.readHeaders(); // 跳过表头 如果需要表头的话,不要写这句。

        while (reader.readRecord()) { // 逐行读入除表头的数据
            csvList.add(reader.getValues());
        }
        reader.close();
        String[] d = ToObjUtil.getFiledName(obj);
        for (int row = 0; row < csvList.size(); row++) {
            String[] s = csvList.get(row);
            Map map = new HashMap();
            for (int i = 0; i < s.length; i++) {
                map.put(d[i], s[i]);
            }
            o = ToObjUtil.mapToObject(map, obj.getClass());
            list.add(o);
        }
    } catch (Exception ex) {
    }
    return list;

}
这个是我的代码,每次读取一行,一次放到list中,但是百万条数据不支持。
sqlite有相关的命令.import可以直接读取文件插入库里边。我测试了一下70万条只要30秒。
我想在java程序中执行这种方式:比如:
cd C:\sqlite

sqlite3 POS.db
.separator ","
.import D:/666666/Commod.csv QT_COMMOD
上边的怎么写成命令形式,
写成 strng cmd="?";
然后在java中运用Process p = Runtime.getRuntime()run.exec(cmd);去执行,以达到要求!

u011249920
u011249920   2016.02.26 13:51

可以通过BufferedReader 流的形式进行流缓存,之后通过readLine方法获取到缓存的内容。
BufferedReader bre = null;
try {
String file = "D:/test/test.txt";
bre = new BufferedReader(new FileReader(file));//此时获取到的bre就是整个文件的缓存流
while ((str = bre.readLine())!= null) // 判断最后一行不存在,为空结束循环
{
String item[] = bre.split(",");//CSV格式文件为逗号分隔符文件,这里根据逗号切分
String last = item[item.length-1];//通过此方法获取到数据信息
//int value = Integer.parseInt(last);//如果是数值,可以转化为数值
System.out.println(last);//此处转换成数据库相应的语句即可实现存储操作
};
备注: 流用完之后必须close掉,如上面的就应该是:bre.close(),否则bre流会一直存在,直到程序运行结束。

zhmailm
zhmailm 你看一下我的代码
接近 2 年之前 回复
Royal_lr
Royal_lr   Ds   Rxr 2016.02.26 16:55

写个程序直接读进去,,太慢,,最好是能直接copy

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!