AnySQL.net

用DataCopy进行Oracle数据同步

anysql — Tue, 16 Mar 2010 11:59:54 +0000

DataCopy(下载)并不一定是指从源端取得数据, 然后INSERT到目标端, 插入只是一个默认操作而已, 其实在目标端还可以做UPDATE或DELETE操作. 对于INSERT可以使用Direct Path Load的方式, 速度可以比得上CTAS, 其他的操作方式, 则只能实现Array DML了. 在日常的DBA工作中, 还是会有一些数据同步的需求的, 这时DataCopy应当可以减轻你的工作量.

在DataCopy中增加了两个命令行选项, 以支持不同的操作方式.

* sync = sync mode (INSERT,UPDATE,DELETE,UPDINS,INSUPD,DELINS).
* unique = primary key or unique key columns of target table.

除INSERT操作外(SYNC选项的默认值), UPDATE/DELETE操作都需要指定目标端表的主键列, 以用在WHERE条件中. UPDATE操作会根据指定的主键列去更新非主键列的值(SYNC=UPDATE), 而DELETE操作则直接在目标端根据主键列删除记录(SYNC=DELETE).

datacopy user1=... user2=... table1=emp table2=emp_sync sync=delete unique=empno
datacopy user1=... user2=... table1=emp table2=emp_sync sync=update unique=empno

根据前面的三种基本操作还可以延伸出来额外的三种操作, 在目标端用PL/SQL代码来实现, 第一种是UPDATE-INSERT方式, 在目标端先进行UPDATE, 如果更新0条记录, 则进行INSERT. 这种方式适合于以UPDATE为主的数据同步.

datacopy user1=... user2=... table1=emp table2=emp_sync sync=updins unique=empno

第二种是INSERT-UPDATE方式, 在目标端先进行INSERT, 如果主键冲突, 则进行UPDATE. 这种方式适合于以INSERT为主的数据同步.

datacopy user1=... user2=... table1=emp table2=emp_sync sync=insupd unique=empno

第三种是DELETE-INSERT方式, 在目标端先进行DELETE, 再进行INSERT操作. 这种方式的执行成本会比较高, 但逻辑简单.

datacopy user1=... user2=... table1=emp table2=emp_sync sync=delins unique=empno

后面的三种方式, 如果要用PL/SQL来实现Array接口, 代码还是有一点复杂的, 如果要实现动态SQL的处理, 估计更复杂. 并且大量的循环, 用外部C写的程会更有效率.

Relative Posts:

学习OCI之DataCopy程序

anysql — Mon, 15 Mar 2010 04:44:17 +0000

周末继续看了看OCI接口的资料, 着重于以前没有搞懂的LONG/LOB类型处理接口, 写了一个DataCopy程序来作为学习的结果. DataCopy可以在两个Oracle库之间以比较快的速度拷贝数据, 这个速度至少要比EXP/IMP来迁移数据来得快, 并且支持最大100MB的LONG/LONG RAW/CLOB/BLOB值, 一般情况下够用了吧.

没有说明文档, 只有命令行帮助.

DataCopy: Fast Oracle Data Copy (Demo Version), Release 2.0.1
(c) Copyright Lou Fangxin (AnySQL.net) 2010, all rights reserved.

Usage: datacopy keyword=value [,keyword=value,...]

Valid Keywords:
user1 = username/password@tnsname for source database.
user2 = username/password@tnsname for target database.
table = table name for both source and target.
tables = table name list for both source and target.
table1 = source table name to query data from.
table2 = target table name to insert data into.
query1 = select SQL for source database.
query2 = insert SQL for target database.
* wait = wait time in microsecond after each array.
read = set DB_FILE_MULTIBLOCK_READ_COUNT at session level
sort = set SORT_AREA_SIZE at session level (UNIT:MB)
hash = set HASH_AREA_SIZE at session level (UNIT:MB)
serial = set _serial_direct_read to TRUE at session level
array = array fetch size
rows = print log information for every given rows.
long = maximum size for long, long raw, CLOB, BLOB columns.
* crypt = encrypt the connection info only, no data copy (YES/NO).
parfile = read command option from parameter file
* direct = direct mode (YES/NO).
* nolog = no archive log for direct mode (YES/NO).
* parallel= allow parallel load for direct mode (YES/NO).
* sync = sync mode (INSERT,UPDATE,DELETE,UPDINS,INSUPD,DELINS).
* unique = primary key or unique key columns of target table.
log = log file name for screen messages.

Notes:
datacopy user1=scott/tiger user2=scott/tiger table=emp
datacopy user1=scott/tiger user2=scott/tiger table=emp direct=yes
datacopy user1=scott/tiger user2=scott/tiger table1=emp table2=emp_his

数据拷贝中, 目标端数据库并不一定是INSERT操作, 也可以是UPDATE或DELETE, 或一段PL/SQL代码, 默认情况下是INSERT而已. 并且也只是实现了OCI的Array操作接口, 在真实情况下有什么实用价值, 就让各自去延伸了.

Relative Posts:

2010/03/16 -- 用DataCopy进行Oracle数据同步 (0)
2009/06/09 -- copydata异构数据拷贝 (6)
2009/04/02 -- 给SQLULDR2加上Key保护 (6)
2009/03/31 -- 指定表名导出文本 (0)
2008/10/24 -- AUL DMP中用户名不再是MYDUL了 (4)
2008/05/15 -- 将dmp数据导入到另一个表 (3)
2008/02/20 -- 导出时的字符集转换 (1)
2007/11/28 -- 如何提高Oracle exp/imp的速度? (7)
2007/11/09 -- AUL 5对恢复成DMP格式支持得更好了 (1)
2007/07/10 -- dmp2utf8的下载量骤增, 不知什么原因? (5)

SQLULDR2从标准输入读取SQL

anysql — Wed, 10 Mar 2010 11:52:32 +0000

从今天开始, SQLULDR2可以从标准输入设备接受复杂的SQL语句了. 如下所示, SQL是人工输入的, 而最后一行的反斜杆用来表示输入结束.

D:\>sqluldr2 scott/tiger file=- sql=-
select
*
from tab
/
DBOBJECTS,TABLE,
BLOB,TABLE,
SPACE_DAILY,TABLE,
SQLULDR2_LOG,TABLE,
TRADE_MONTHLY_SUMMARY,TABLE,
TRADE_DATA,TABLE,

这个可以省去创建SQL文件的步骤, 更重要的是在Linux的Shell或Perl脚本中调用SQLULDR2, 并传入复杂的SQL时, 也不需要创建SQL文件了, 而且很容易使用Shell或Perl中的变量, 进行替换生成动态的SQL. 例如, 我们经常会见到如下脚本.

sqlplus -s "/ as sysdba" << EOF
select
*
from tab;
exit
EOF

现在SQLULDR2也可以这样用了, 在Linux的Shell或Perl脚本中同样使用.

sqluldr2 sys file=- sql=- << EOF
select
*
from tab
EOF

使用这个功能, 可以使嵌入SQLULDR2的批脚本更具有通用性, 方便移值到不同的平台.

Relative Posts:

简化SQLULDR2的命令行选项设置

anysql — Sat, 06 Mar 2010 02:15:09 +0000

看到Kamus对SQLULDR2的留言后, 破有感触. 人们应当比较关注, 他们想要的功能用起来方便是否, 关键并不在于功能的多少. 而SQLULDR2的众多的命令行选项, 也确实有些让人发晕, 包括我自已.

为了方便大多数人使用, 简化了SQLULDR2的命令行帮助, 简化到如下所示.

SQL*UnLoader: Fast Oracle Text Unloader (GZIP), Release 3.0.1
(@) Copyright Lou Fangxin (AnySQL.net) 2004 - 2010, all rights reserved.

Usage: SQLULDR2 keyword=value [,keyword=value,...]

Valid Keywords:
user = username/password@tnsname
sql = SQL file name
query = select statement
field = separator string between fields
record = separator string between records
rows = print progress for every given rows (default, 1000000)
file = output file name(default: uldrdata.txt)
log = log file name, prefix with + to append mode
fast = auto tuning the session level parameters(YES)
text = output type (MYSQL, CSV, MYSQLINS, ORACLEINS, FORM, SEARCH).
parfile = read command option from parameter file

for field and record, you can use '0x' to specify hex character code,
\r=0x0d \n=0x0a |=0x7c ,=0x2c, \t=0x09, :=0x3a, #=0x23, "=0x22 '=0x27

对于专家而言, 可以用如下方式得到以前全部的命令行选项.

sqluldr2 help=yes

通过引入一个TEXT选项, 来针对不同格式的导出进行相关选项的设置, 不仅方便了大家使用, 也可以对SQLULDR2的功能有一个很直接的了解, 例如SQLULDR2可以导出数据给MySQL用, 或导出成Excel可以打开的标准CSV文件, 或是生成MySQL和ORACLE上的INSERT语句, 也可以按列显示记录, 或为一些特殊的搜索程序生成数据源.

再次感谢Kamus的好建议, 今年是支付宝的用户体验年, 应当从用户角度进行反思.

Relative Posts:

2008/01/25 -- ociuldr更新(2008/01/25) (13)
2007/08/22 -- ociuldr的更新, 为了更好的long类型支持 (1)
2007/01/02 -- 在ociuldr的SQL中使用绑定变量 (4)
2010/02/08 -- SQLULDR2也可改善用户体验 (4)
2010/01/15 -- 两个用户的SQLULDR2需求 (1)
2009/12/25 -- SQLULDR2的按列文本输出 (0)
2009/12/25 -- SQLULDR2的自定义转义符处理 (2)
2009/10/27 -- 将SQLULDR2转义符进行到底 (3)
2009/10/26 -- SQLULDR2处理MySQL转义符 (1)
2009/08/31 -- SQLULDR2处理MySQL的空值 (2)

为DataReport增加条件过滤功能

anysql — Thu, 04 Mar 2010 12:54:42 +0000

为了查询出保存在员工表(SCOTT.EMP)中, 每个部门工资最高的三个人, 如果是Oracle数据库, 大家可以使用Windows分组汇总函数来轻松地实现, 如下所示.

SELECT * FROM (
SELECT DEPTNO, EMPNO, ENAME, SAL,
RANK() OVER (PARTITION BY DEPTNO ORDER BY SAL DESC) RNK
FROM EMP ) WHERE RNK <= 3

但如果员工表存放在MySQL数据库, 或其他数据库, 如SQLLite中, 要实现同样的功能, 就比较复杂了, 至少我现在都还不会. 但利用DataReport以前开发的功能, 及刚增加的条件过滤功能, 就可以轻松实现这个需求.

webchart.query_1=select deptno, empno, ename, sal from emp
webchart.express_1=rank|x|rnk::sal|deptno
webchart.filter_1=3.5-x|rank
webchart.sort_1=deptno,rank
webchart.group_1=1

如果Filter中的公司算出来的值小于0, 那么这条记录就会被删除, 在这个例子中, 如果排名这一列的值大于3, 这个公式算出来的值就为负数, 所以只保留了前三名, 达到了我们的业务要求. 页面输出如下所示的表格:

deptno empno ename sal rank

10 7839 KING 5000.0 1

7782 CLARK 2450.0 2

7934 MILLER 1300.0 3

20 7788 SSCOTT 3000.0 1

7902 FORD 3000.0 2

7566 JONESS 2975.0 3

30 7698 BLAKE 2850.0 1

7499 ALLEN 1600.0 2

7844 TURNER 1500.0 3

deptno	empno	ename	sal	rank
10	7839	KING	5000.0	1
7782	CLARK	2450.0	2
7934	MILLER	1300.0	3
20	7788	SSCOTT	3000.0	1
7902	FORD	3000.0	2
7566	JONESS	2975.0	3
30	7698	BLAKE	2850.0	1
7499	ALLEN	1600.0	2
7844	TURNER	1500.0	3

将这些处理放在应用服务器端实现, 不仅让SQL变得通用, 如果访问频率极高, 还可以减轻数据库端的压力.

Relative Posts:

2010/02/20 -- 定义不同数据源的SQL (3)
2010/01/20 -- 逻辑连接层与物理连接层 (4)
2010/01/08 -- DataReport中的超级表达式 (0)
2010/01/08 -- DataReport的重复值合并 (0)
2010/01/05 -- DataReport中的FORALL循环 (0)
2009/12/29 -- DataReport中的Cache为王 (4)
2009/12/28 -- 统一DataReport的Servlet (2)
2009/12/02 -- 添加URL/HTML字符转义功能 (1)
2009/09/21 -- 多支持了四种业务图 (0)
2009/07/28 -- DataReport增加JfreeChart支持 (7)

WebChart的DB连接配置2

anysql — Fri, 26 Feb 2010 06:47:30 +0000

从应用架构角度出发, 为DataReport增加了逻库连接层后, 为了与物理连接层清晰地分开, 就对原来的数据库连接配置作了改动. 由于这儿并不能算是文档, 就贴个配置范例来说明一下了.

# WebChart元数据库连接名称
ADMINDB=DEFAULT

# 启用的数据库连接
PHYSICAL.DBLIST=ORACLE|MYSQL

# 连接参数设置
PHYSICAL.ORACLE.DBTYPE=oracle
PHYSICAL.ORACLE.DBHOST=localhost:1521:db10g
PHYSICAL.ORACLE.DBUSER=scott
PHYSICAL.ORACLE.DBPASS=8500B089B7B516CE
PHYSICAL.ORACLE.MAXCONNS=4
PHYSICAL.ORACLE.INITCONNS=1
PHYSICAL.ORACLE.LOCALE=ENGLISH

PHYSICAL.MYSQL.DBTYPE=mysql
PHYSICAL.MYSQL.DBHOST=localhost:3306/test
PHYSICAL.MYSQL.DBUSER=
PHYSICAL.MYSQL.DBPASS=1B820063CEA8A955
PHYSICAL.MYSQL.MAXCONNS=4
PHYSICAL.MYSQL.INITCONNS=1
PHYSICAL.MYSQL.LOCALE=ENGLISH

LOGICAL.DBLIST=DEFAULT
LOGICAL.DEFAULT=RANDOM|ORACLE,MYSQL

这个配置可以让DataReport以Oracle或MySQL为数据源, 如果同时有Oracle及MySQL, 则可以随机从Oracle或MySQL中读取数据展示. 在上一个改进后, 所有的Demo页面都已经改成同时支持Oracle和MySQL了, 你可以重新下载软件包进行更新.

Relative Posts:

定义不同数据源的SQL

anysql — Sat, 20 Feb 2010 06:43:02 +0000

DataReport的几个演示页面, 有的人喜欢在Oracle上跑, 有的人喜欢在MySQL上跑. 而针对不同的数据源, SQL的写法是不同的, 因此演示页面是和某类数据源绑定的, 给第一次接触DataReport的人带来了一定的困惑.

不过现在可以为不同的数据源定义不同的SQL了, 如下所示.

WEBCHART.QUERY_1=*

WEBCHART.QUERY_ORACLE_1=select
to_char(trade_month,'yyyy/mm') month ,
trade_count count
from trade_monthly_summary
where to_char(trade_month,'yyyy')='2008'

WEBCHART.QUERY_MYSQL_1=select
trade_month,
trade_count+0 as count
from trade_summary_monthly
where year(trade_month) = 2008

将最上层的SQL定义成星号, 这时DataReport会根据数据源的类型, 进行进一步查找, 如果连到Oracle数据库, 就取上面一条SQL语句, 如果连接的是MySQL数据库, 则取下面一条SQL, 进行不同数据源类型的自动匹配, 使得报表定义变得更加灵活.

Relative Posts:

SQLULDR2也可改善用户体验

anysql — Mon, 08 Feb 2010 07:13:32 +0000

做DBA要经常为其他人员查询一些数据, 有些记录的字段数很多, 用SQLPLUS直接出结果时, 很难对得整齐, 因此没有什么用户体验, 会被内部人员投诉, 外部用户的体验关系着企业的业绩, 内部员工的体验关系到工作的满意度.

Spool的结果的确很乱, 在Yong Huang提议在AnySQL中加入MySQL按列显示功能后, 就在文本导出工具中也加入了这个功能, 第一版本的ociuldr使用如下参数.

ociuldr form=yes ...

第二版的文本导出工具也有这个功能, 只是SQLULDR2中需要设置三个选项才行.

$sqluldr2 scott/tiger query=emp form=yes
$sqluldr2 scott/tiger query=emp colsep=0x20:0x20 field=0x0a record=0x0a0x0a file=-

EMPNO : 7369
ENAME : SMITH
JOB : CLERK
MGR : 7902
HIREDATE : 1980-12-17 00:00:00
SAL : 800
COMM :
DEPTNO : 20

EMPNO : 7499
ENAME : ALLEN
JOB : SALESMAN
MGR : 7698
HIREDATE : 1981-02-20 00:00:00
SAL : 1600
COMM : 300
DEPTNO : 30
......

能用SQLULDR2来改善用户体验, 真是当初意想不到的事情.

Relative Posts:

2010/03/06 -- 简化SQLULDR2的命令行选项设置 (1)
2010/01/15 -- 两个用户的SQLULDR2需求 (1)
2009/12/25 -- SQLULDR2的按列文本输出 (0)
2009/12/25 -- SQLULDR2的自定义转义符处理 (2)
2009/10/27 -- 将SQLULDR2转义符进行到底 (3)
2009/10/26 -- SQLULDR2处理MySQL转义符 (1)
2009/08/31 -- SQLULDR2处理MySQL的空值 (2)
2009/04/02 -- 给SQLULDR2加上Key保护 (6)
2008/01/25 -- ociuldr更新(2008/01/25) (13)
2007/08/22 -- ociuldr的更新, 为了更好的long类型支持 (1)

DataReport的Form格式显示

anysql — Thu, 04 Feb 2010 06:11:45 +0000

一直以来, DataReport都是用表格方式显示多行数据, 当我们查询少量字段数很多的记录时, 就不希望以表格方式显示记录, 而希望以Form格式显示, 如下面显示的员工表的信息.

EMPNO 7782

ENAME CLARK

JOB MANAGER

MGR 7839

HIREDATE 1981-06-09 00:00:00.0

SAL 2450

COMM

DEPTNO 10

EMPNO 7839

ENAME KING

JOB PRESIDENT

MGR

HIREDATE 1981-11-17 00:00:00.0

SAL 5000

COMM

DEPTNO 10

EMPNO	7782
ENAME	CLARK
JOB	MANAGER
MGR	7839
HIREDATE	1981-06-09 00:00:00.0
SAL	2450
COMM
DEPTNO	10

EMPNO	7839
ENAME	KING
JOB	PRESIDENT
MGR
HIREDATE	1981-11-17 00:00:00.0
SAL	5000
COMM
DEPTNO	10

实现这个功能, 并没有修改任何一行代码, 只是改了一下控制显示格式的XSL文件, 然后在报表定义文件中加入一行.

WEBCHART.XMLATTR=form="yes"
WEBCHART.QUERY_1=SELECT * FROM EMP WHERE DEPTNO=10

想要更丰富的格式, 只需要再改进一下XSL文件即可, 不需要修改Java代码, 不过这需要你对XML和XSLT比较熟悉.

Relative Posts:

谈谈历史遗留问题

anysql — Thu, 28 Jan 2010 12:16:37 +0000

首先要承认有历史遗留问题是好事, 因为这一般是在事物新生期被忽略的细节上的问题, 而且往往是因为事物起始时高度关注与追求高速发展, 与解决细节问题之间的时间和资源上的冲突, 就IT系统来讲, 历史遗留问题越多, 表明当初发展的速度越快, 因为一开始资源上也显不足. 先要在心里承认历史遗留问题的正常性, 不出问题时大家都容易理解, 但要是出了问题, 心中不一定能容忍历史遗留问题的客观性.

除了时间和资源外, 在当时的条件下, 解决新生期的细节上的问题是入不付出的, 并且事物不会因为这个细节上的问题, 而导致当时的失败, 甚至可能什么都表现不出来, 相当长的一段时间内都会隐藏得很好, 除了当时事物的制造者可能知道外, 不是所有的细节上的问题在形成之初就是已知的, 都认为这是一个十分完美的事物.

虽然不是所有的细节上的问题在形成之初就是已知的, 但有很多应当是已知的, 只是这个细节上的问题, 在传承上出了问题, 事物可能前后经由多个人进行修改与完善, 前面已经感觉到的问题, 如果没有有效地交托给下一个, 就隐藏了, 没被隐藏的一般都是比较大的问题, 不会成为历史遗留问题.

历史遗留问题的发现一般都是由于事故, 量变引起质变, 在量没有到达之前, 不会形成事故, 不会有让人感觉到难过的严重危害. 拿IT系统来说, 用户数的增长, 业务的增长, 数据量的极速增长, 到一定的量后, 才会发现当初被忽略的细节现在都成了头痛的问题, 成了历史遗留问题, 不满意的用户绝对数量在增加. 在用户的心目中, 事物应当变得越来越完善, 但当发现没有变化时, 变得越来越失望, 为什么当初没造成用户体验问题, 现在却造成了用户体验问题, 当时用得好好的, 什么也没有变, 就变成了问题很多的事物了. 看来对既有事物的完善速度必须要超过社会发展的速度, 才不会引起用户体验问题.

一个历史遗留问题的爆发, 往往会引出更多的历史遗留问题, 站在今天的时间点回首看去, 会发现一个一个的黑洞, 从而引生出放弃旧事物, 开发新事物的想法, 并且很容易取得一致的共识, 大量的历史遗留问题是很难解决的, 重新做一个要比改造来得更快更好. 另外此时彼时物虽是人已非, 每个人都不想去修复历史遗留问题, 因为长期的积累, 这些问题已经变得很难处理, 处理好了只是个小功劳, 处理不好就是大问题.

有部份的历史遗留问题一定是通过创建新事物来解决的, 也有一些必须通过修复来解决的, 当你偏向于某一方时, 就会在一定的时间段内引起一定的问题, 问题在于你能否支撑过这段青黄不接的时期.

Relative Posts:

2010/01/04 -- 最近在整理的几篇文档 (2)
2009/09/11 -- DBA有什么个人前途? (18)
2009/09/08 -- 因丈母娘的需求而买房? (5)
2009/09/03 -- 收费有助于网购信用 (1)
2009/08/25 -- 关于技术积累的几点想法 (6)
2009/08/17 -- 努力创造DBA额外价值 (27)
2009/08/12 -- 个人价值决定个人回报 (13)
2009/08/04 -- DBA最缺的不是技术 (8)
2009/08/02 -- 当群众演员比干DBA还累 (9)
2009/07/29 -- 域名解释与行人问路 (2)

逻辑连接层与物理连接层(2)

anysql — Tue, 26 Jan 2010 12:11:19 +0000

上一次只想到了逻辑逻辑层和物理连接层之间的三种关系, 等价(FIRST), 随机(RANDOM), 顺序(FAILOVER). 其实后面一直在思考, 阅读了一些相关文章, 糊思乱想了一通后, 又增加了两种访问方式.

按位置(POSITION)访问, 指程序提供一个标识位置的数, 然后与逻辑连接层的连接源数目进行取余操作, 根据余数来获取指定位置的数据源. 继续上一次中的四个MySQL的例子, 我们创建如下逻辑连接, 在访问时如果提供的值是5, 则最后取到的是5余4的位置, 即SLAVE1.

LOGICAL.DEFAULT=POSITION|MASTER,SLAVE1,SLAVE2,SLAVE3

按范围(RANGE)访问, 指程序提供一个标识位置的数, 然后与逻辑连接层的连接数据源进行比较操作, 按顺序找到指定位置的数据源. 继续上一次中的四个MySQL的例子, 我们创建如下逻辑连接, 在访问时如果提供的值是250, 则最后取到的是小于300的位置, 即SLAVE2. 同前面的按位置相比, 这个可以在增减数据源时, 将影响控制得更好.

LOGICAL.DEFAULT=POSITION|MASTER,SLAVE1,SLAVE2,SLAVE3
LOGICAL.DEFAULT.VALUES=100,200,300,400

在程序中, 可以根据业务特色提供这个标识位置的数, 然后在JDBC的访问URL中提供这个值, 访问代码如下所示.

try {
Connection db = DriverManager.getConnection("jdbc:anysql:default/250", null);
......
db.close();
}
catch (SQLException sqle)
{
......
}

接下来当然还会思考有没有新的方式了, 有了这些访问方式, 进一步抽像一下, 可以看看能不能将数据库当成一个磁盘(Database as Disk)来看, 写一个弱弱的DatabaseRaid类在实验室玩玩数据冗余.

Relative Posts:

AnySQL JDBC Driver

anysql — Thu, 21 Jan 2010 07:55:43 +0000

上一篇中的逻辑连接层, 通过一个DBLogicalManager类来实现, 并不是标准的JDBC调用方式, 如果要使现有的程序能很快用上这个功能, 要么更改程序, 要么就去实现一个JDBC Driver类, 让程序透明化. 显然第二种方法很好, 于是就写一个AnySQL JDBC Driver类吧.

JDBC Driver的类名为:

com.lfx.db.AnySQLDriver

使用这个类时, 需要传入一个保存连接配置信息(逻辑库, 物理库)的文件, 只要创建一个类实例就行了.

new com.lfx.db.AnySQLDriver(Sting config_file);

接下来就可以用标准的JDBC来获得逻辑库的连接了, URL规则为:

jdbc:anysql:logical_database_name

比如在批处理中, 要从上一篇的三个Slave库中的一个读取一条记录, 就可以使用如下代码.

try {
Connection db = DriverManager.getConnection("jdbc:anysql:readdb", null);
......
db.close();
}
catch (SQLException sqle)
{
......
}

现在还没有真正投入使用, 只在实验室中测试了一下, 感觉上还可以.

Relative Posts:

逻辑连接层与物理连接层

anysql — Wed, 20 Jan 2010 08:52:27 +0000

为了更好地利用MySQL的廉价复制(Slave)功能, 在DataReport的数据库连接层中增加了逻辑连接层, 原来是直接指定物理边接层. 当然数据库连接池还是在物理连接层实现的, 逻辑连接层则可以指定一种关系, 然后根据关系来获得指定的数据库物理连接, 当应用使用逻辑连接层来访问时, 其实是自动根据关系挑选一个物理连接.

还是举一个例子来说明一下, 比如你有一台主MySQL库(master)后面挂了三台从MySQL库(Slave), 然后用DataReport去搭建一个以读为主的应用, 希望DataReport能首先随机挑选三个Slave库中的一台进行读取, 如果三台Slave都不行, 则从Master进行读取.

首先定义四台MySQL数据库的连接, 称为物理层的配置.

PHYSICAL.DBLIST=MASTER|SLAVE1|SLAVE2|SLAVE3

然后定义逻辑连接层, 以实现上面的要求.

LOGICAL.DBLIST=writedb|slavedb|readdb
LOGICAL.WRITEDB=FIRST|MASTER
LOGICAL.SLAVEDB=RANDOM|SLAVE1,SLAVE2,SLAVE3
LOGICAL.READDB=FAILOVER|SLAVEDB,WRITEDB

其中FIRST表示读取第一个连接池, RANDOM表示从后面的连接中随机选一个, FAILOVER表示第一个失败的话，取下一个. 通过这三种关系, 就实现了我们的要求. 然后给物理连接池及每个逻辑连接都加上状态判断, 当遇到连接关闭的错误时, 就将相应的连接池标记为不可用(Markdown), 逻辑库层可以主动跳过已经被Markdown的下一级节点, 按照规则查找到一个可用的物理数据库连接.

在DataReport中还设置了一个守护进程, 会每分钟检查各个Markdown的物理连接池, 偿试去Markup, 一当出现意外的物理库回到正常状态, 就可以提供服务, 使应用保持高可用状态.

Relative Posts:

2010/03/04 -- 为DataReport增加条件过滤功能 (1)
2010/02/20 -- 定义不同数据源的SQL (3)
2010/01/08 -- DataReport中的超级表达式 (0)
2010/01/08 -- DataReport的重复值合并 (0)
2010/01/05 -- DataReport中的FORALL循环 (0)
2009/12/29 -- DataReport中的Cache为王 (4)
2009/12/28 -- 统一DataReport的Servlet (2)
2009/12/02 -- 添加URL/HTML字符转义功能 (1)
2009/09/21 -- 多支持了四种业务图 (0)
2009/07/28 -- DataReport增加JfreeChart支持 (7)

两个用户的SQLULDR2需求

anysql — Fri, 15 Jan 2010 13:28:47 +0000

有两个用户要求SQLULDR2能根据查询语句的结果给出建表的语法, 先提出要求的是一个国外网友, 当时没有理他, 这周一个国内网友也提出了同样的需求, 想想也比较合理, 于是就满足一下吧.

建表的语法会写在SQLLDR的控制文件中, 并不生成独立的SQL文件, 当我们运行如下命令.

sqluldr2 scott/tiger query=emp table=emp

得到的SQLLDR控制文件(emp_sqlldr.ctl)中, 就包含了建表语法, 如下所示.

--
-- SQL*UnLoader: Fast Oracle Text Unloader (GZIP), Release 3.0.1
-- (@) Copyright Lou Fangxin (AnySQL.net) 2004 - 2010, all rights reserved.
--
/*
CREATE TABLE emp (
EMPNO NUMBER(4),
ENAME VARCHAR2(10),
JOB VARCHAR2(9),
MGR NUMBER(4),
HIREDATE DATE,
SAL NUMBER(7,2),
COMM NUMBER(7,2),
DEPTNO NUMBER(2)
);
*/
OPTIONS(BINDSIZE=2097152,READSIZE=2097152,ERRORS=-1,ROWS=50000)
LOAD DATA
INFILE 'uldrdata.txt' "STR X'0a'"
INSERT INTO TABLE emp
FIELDS TERMINATED BY X'2c' TRAILING NULLCOLS
(
EMPNO CHAR(6) NULLIF EMPNO=BLANKS,
ENAME CHAR(10) NULLIF ENAME=BLANKS,
JOB CHAR(9) NULLIF JOB=BLANKS,
MGR CHAR(6) NULLIF MGR=BLANKS,
HIREDATE DATE "YYYY-MM-DD HH24:MI:SS" NULLIF HIREDATE=BLANKS,
SAL CHAR(10) NULLIF SAL=BLANKS,
COMM CHAR(10) NULLIF COMM=BLANKS,
DEPTNO CHAR(4) NULLIF DEPTNO=BLANKS
)

数据类型的准确性还有待验证, 并且只是Oracle的建表语法, CHAR和VARCHAR2也没有进行区分, 若有必要可进一步改善.

Relative Posts:

出售AUL固定许可证

anysql — Sun, 10 Jan 2010 11:58:43 +0000

每次启动AUL都需要不同的许可证, 这种方式已经持续了好几年了, 不用说别人早已觉得烦了, 连我自已也觉得有点烦, 既然这样, 就将它改掉吧. 从Windows版本开始, 最新的AUL在同一台机器上, 注册码将不会再改变, 保持固定, 称之为固定许可证.

例如, 在我的笔记本上, 每次启动AUL都得到如下输出.

Register Code: DETO-NODT-JETT-DNMX-DDCN
AUL : AnySQL UnLoader(MyDUL) for Oracle 8/8i/9i/10g/11g, release 5.1.1

(C) Copyright Lou Fangxin 2005-2010 (AnySQL.net), all rights reserved.

AUL>

这里所说的同一台机器, 并不是指物理的机器, 即使只是操作系统的重装, 也有可能让注册码发生更改, 从而需要新的许可证, 固定许可证方式将对AUL的用户更加有利, 其他平台的AUL也将一步一步进行许可证改造.

在固定许可证模式下, 你购买AUL时, 不只是得到了一次服务, 更重要的是你真正得到达了一个长期可用的许可证.

Relative Posts:

2009/06/09 -- AUL程序上的两处缺陷 (1)
2009/04/26 -- 拯救数据, 拯救地球? (9)
2008/08/01 -- 终极Oracle数据恢复工具 — AUL (8)
2008/07/06 -- 连错库误删100多张表 (9)
2008/04/16 -- AUL Sybase数据恢复工具 (4)
2008/03/30 -- AUL也走品牌路线? (2)
2008/03/28 -- 选择AUL恢复数据的理由 (3)
2008/03/19 -- Oracle数据恢复服务模式 (0)
2007/11/06 -- 将完成AUL最后一个心愿, 支持Compress表 (2)
2009/11/20 -- 首次AUL恢复失败案例 (1)