Oracle,sql loader及快速生成大量数据

---

生成大量测试数据思路。

　　一，用plsql developer 生成csv 文件

　　二，用>>输出重定向，追加到一个cvs 文件里。

　　三，再用sql loader 快速载入。

　　在plsql developer 执行

　　Sql代码

　　SELECT object_id,object_name FROM dba_objects;

　　右键plsql developer 导出csv 格式 1.csv。在linux 上执行下面的脚本

　　C代码

　　#!/bin/bash

　　for((i=1;i<200;i=i+1))

　　do

　　cat 1.csv >> 2.csv;

　　echo $i;

　　done

　　这样 50000  *  200 差不到就有一千万的数据了。我测试的  11047500  392M

　　可以用:

　　Linux代码

　　wc -l 2.csv

　　查看csv 里有多少条数据。现在测试数据有了。我们来试一下sql loader 的载入效果吧。

　　创建sqlloader 控制文件如下,保存为1.ctl

　　Sqlldr ctl代码

　　load data

　　infile '2.csv'

　　into table my_objects

　　fields terminated by ','optionally enclosed by '"'

　　(object_id,

　　object_name

　　);

　　控制文件简要说明：

　　-- INFILE 'n.csv'   导入多个文件

　　-- INFILE *  要导入的内容就在control文件里 下面的BEGINDATA后面就是导入的内容

　　--BADFILE '1.bad'   指定坏文件地址

　　--apend into table my_objects 追加

　　-- INSERT  装载空表 如果原先的表有数据 sqlloader会停止 默认值

　　-- REPLACE   原先的表有数据 原先的数据会全部删除

　　-- TRUNCATE  指定的内容和replace的相同 会用truncate语句删除现存数据

　　--可以指定位置加载

　　--(object_id position(1:3) char,object_name position(5:7) char)

　　--分别指定分隔符

　　--(object_id char terminated by ",", object_name char terminated by ",")

　　--执行sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true

　　--30秒可以载入200万的测试数据 79MB

　　--sqlldr userid＝/ control＝result1.ctl direct＝true parallel＝true

　　--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true

　　--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true

　　--当加载大量数据时（大约超过10GB），最好抑制日志的产生：

　　--SQLALTER TABLE RESULTXT nologging;

　　--这样不产生REDO　LOG，可以提高效率。然后在CONTROL文件中load data上面加一行：unrecoverable

　　--此选项必须要与DIRECT共同应用。

　　--在并发操作时，ORACLE声称可以达到每小时处理100GB数据的能力！其实，估计能到1－10G就算不错了，开始可用结构

　　--相同的文件，但只有少量数据，成功后开始加载大量数据，这样可以避免时间的浪费

　　下面就是执行了

　　Shell代码

　　sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true

　　结果：30秒可以载入200万的测试数据 79MB

　　226秒载入1100万的测试数据 392Mb

　　我的环境是在虚拟机，测得的结果

　　MemTotal:       949948 kB

　　model name      : Intel(R) Pentium(R) D CPU 2.80GHz

　　stepping        : 8

　　cpu MHz         : 2799.560

　　cache size      : 1024 KB

　　还是挺快的：）

---

« 
» 

---