Oracle大量数据插入之性能优化理解


在学习Oracle中,我们使用SQL和ODBC链接进行数据插入,单独插入少量数据时,没有问题。但是在插入大量数据时,就会出现异常,内存溢出错误。

  如何解决在进行大量数据插入时,java程序能够有效快速的进行数据处理。这就是数据库中性能优化的问题。

  为什么要进行性能优化。

  首先,在大量数据处理中 一般常规的方式会造成程序处理效率和时间低下。达不到产品上线要求。

  其次,没有性能优化在产品维护时也会出现很多错误,带来麻烦。

  如何进行性能优化。

  一般软件都会进行大量数据测试,对性能做个整体评估,然后找出最好的方法来编写需要的代码。

  同时再次进行测试达到最佳的性能点。

  对于Oracle大量数据插入的性能优化我们采用如下方法进行

  先采用常规方式编写代码,如在放入数据时就直接使用list接口方法进行。

  插入数据中不进行批处理使用。

  发现,在插入10万数据中 内存溢出,而且数据库使用时间非常长。

  于是,我们先采用数据库批处理命令 采用每1000条数据再进行一次提交

  使用addBAEACH 方法,和excutbeach 方法来处理

  代码为

  ps.addBatch();

  if(i!=0&&i%10000==0) {

  ps.executeBatch();

  con.commit();

  ps.clearBatch();

  }

  同时也使用预编译语句进行插入。

  但是在仍然不能解决虚拟机内存溢出问题

  于是我们使用

  String[] fileList = new File(uploadDir).list();

  ArrayList<String[]> array = new ArrayList<String[]>();

  array.clear();

  来解决读取文件后如何放入数据库中再使用SQL语句进行插入。

  经过反复测试。最后找到最优点。在插入100万数据情况下 每次1万条数据提交。性能最优


« 
» 
快速导航

Copyright © 2016 phpStudy | 豫ICP备2021030365号-3