AnySQL.net

用squldr2进行Oracle到MySQL的数据迁移

anysql — Thu, 17 May 2012 01:00:47 +0000

从Oracle迁移数据到MySQL时，通常用文本或SQL语句的方式，但都为MySQL的特殊字符处理而发愁，后来淘宝丁奇告诉MySQL的标准函数中有unhex函数，可以将十六进制的串转换成原来的字符串，从而轻松解决原来很麻烦的特殊字符处理的问题，于是对sqluldr2作了改进处理，对于所有的字符字段，都直接转换成十六进制串处理算了。

E:\dbpress>sqluldr2 anysql/anysql query=tab text=mysqlins
INSERT INTO `tab` (`TNAME`,`TABTYPE`,`CLUSTERID`) VALUES
(unhex(’4150505f43415445474f5259′),unhex(’5441424c45′),null),
(unhex(’4150505f444550454e4453′),unhex(’5441424c45′),null),
……
(unhex(’545f4d565445535432′),unhex(’5441424c45′),null);

不管增加了多不功能，sqluldr2都保持了一如即往的导出性能，生成复杂INSERT语句的速度和直接导出文本一样快。

E:\dbpress>sqluldr2 anysql/anysql query=test3 text=mysqlins file=temp.txt
0 rows exported at 2012-05-17 08:38:51, size 0 MB.
1000000 rows exported at 2012-05-17 08:38:59, size 244 MB.
2000000 rows exported at 2012-05-17 08:39:11, size 492 MB.
3000000 rows exported at 2012-05-17 08:39:23, size 740 MB.
4000000 rows exported at 2012-05-17 08:39:37, size 984 MB.
4764032 rows exported at 2012-05-17 08:39:46, size 1175 MB.
output file temp.txt closed at 4764032 rows, size 1175 MB.

有了这个功能后，sqluldr2会成为最流行的从Oracle迁移数据到MySQL的工具，我们自己及淘宝DBA都在日常工作中使用它。

Relative Posts:

2007/11/28 -- 如何提高Oracle exp/imp的速度? (7)
2008/01/15 -- 分析用户所有表之后 (5)
2007/07/25 -- 想写最后一个程序, 却发现提不起心思来了. (10)
2006/10/14 -- Query Rewrite的一般理解之六 (0)
2008/01/26 -- 从CDMA 1X到GPRS上网 (0)
2008/05/08 -- 生活锁事::无线网络 (4)
2007/01/02 -- ORA-00600 [qertbFetchBYRowid] & Orphan ROWID (0)
2009/04/05 -- 轻量级Oracle性能监控 (3)
2009/08/17 -- 努力创造DBA额外价值 (27)
2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之二 (0)

WebChart的JSON格式输出

anysql — Fri, 09 Dec 2011 04:51:08 +0000

WebChart增加JSON格式输出，可以将查询结果以JSON格式的文本进行输出，直接作为ExtJS的Ext.data.Store的输入. 页面(jsontest.rhtml)定义如下:

webchart.doctype=json

webchart.query_1=select empno, ename from emp order by empno

用浏览器访问页面时，返回JSON格式的纯文本.

{
“metaData”:
{
“root”: “rows”,
“fields”: [
{"name": "empno", "type": "int"},
{"name": "ename"}],
“remoteSort”: true
},
“rows”:
[
{
"empno": 1,
"ename": "Lou Fangxin"
},
{
"empno": 2,
"ename": "Zhi Qiong"
}
]
}

在ExtJS 4中可以直接用如下代码，得到一个Store类型变量.

Ext.define(‘mydata’, {extend: ‘Ext.data.Model’});
var store2 = Ext.create(‘Ext.data.Store’,
{model: ‘mydata’, proxy:{type: ‘ajax’, url: ‘sampledata.txt’, reader: {type: ‘json’}}});

然后用ExtJS进行表格输出或者画图，将数据接口直接交给WebChart来方便地处理.

Relative Posts:

多个测试环境的表结构同步

anysql — Tue, 19 Apr 2011 05:57:04 +0000

一个复杂系统往往会有几套开发测试环境，对于开发DBA或测试环境DBA来讲，维护这些环境之间的同步是一个比较烦琐的事情。在2005年时，曾和当时的三个同事，花了足足三天时间来手工同步两个环境的表结构差异，最后促使我去开发一个表结构自动同步工具，现在是对那个工具的进一步升级。

– GetDDL: DDL Script Generator for Oracle, Release 3.0.1
– (@) Copyright Lou Fangxin (AnySQL.net) 2010, all rights reserved.
– Oracle Data Recovery, System Tuning and Monitoring and Tuning Service

Usage: ocidiff fromuser=… touser=… file=…

Options:
fromuser — Source Connection String
fromschema — Source Schema to Switch
touser — Destination Connection String
toschema — Destination Schema to Swith
tstab — Tablespace for Tables
tsind — Tablespace for Indexes
sync — Sync List (ALL,SEQUENCE,TABLE,INDEX,VIEW,SOURCE,COMMENT)
file — Output Script File Name
log — SQL*Plus Spool log file name
auto — Automaticall call SQL*Plus to sync(YES)

上面的命令行选项，对于DBA来讲应当都比较容易理解，就不一个一个讲了。File和Log选项有一些特殊的设置，指定文件名时可以用%Y来表示年份，用%M来表示月份，同理用%D来表示日期，以便给自动同步工具留下足够的运行日志。

ocidiff …… file=scott_%%y%%m%%d.sql log=scott_%%y%%m%%d.log …

运行时加上”AUTO=YES”选项，会自动调用SQL*Plus连接到远程库上执行，执行后会留带日期的SQL和日志文件。

D:\ocidiff>dir /b scott_*
scott_20110419.log
scott_20110419.sql

对于生成的自动同步SQL的脚本准确性，还需要进行大量的测试及进一步的改进，下载试试吧。

Relative Posts:

2009/02/05 -- 导出时如何统一表空间? (2)
2008/06/23 -- 根据表名搜索SQL语句 (0)
2008/05/26 -- ASSM表空间真浪费 (7)
2008/05/15 -- 将dmp数据导入到另一个表 (3)
2008/03/13 -- 如何防止大的DML语句? (3)
2008/03/04 -- ocidiff助力51job日常维护 (6)
2008/03/03 -- 先报身高? 还是体重? (4)
2008/02/14 -- Rename Table的语法 (0)
2007/12/24 -- Get DDL工具 (7)
2007/12/11 -- 删除4TB的表 (5)

AUL for Oracle ASM数据恢复测试

anysql — Mon, 18 Apr 2011 07:15:00 +0000

创建了一个跨越在两个盘中的Oracle ASM表空间，并在上面建了一个有49万条记录的表，用来进行ASM恢复测试。

SQL> select disk_number, name,path from v$asm_disk;

DISK_NUMBER NAME PATH
———– —————- ——————————
0 TEST_0000 D:\ORACLEASM\FILE01.ASM
1 TEST_0001 D:\ORACLEASM\FILE02.ASM

SQL> create table emp_asm tablespace asmdemo as
2 select * from emp_bak where rownum < 500000;

第一次测试是在两个ASM盘都在的情况，应当可以恢复出49万条记录才是准确的，先从ASM中恢复出Oracle数据文件。

ASM> disk disk.txt
2 ASM disks opened.
—- ———————————–
0 d:\oracleasm\file01.asm
1 d:\oracleasm\file02.asm
ASM> scan
RFN File Size Blocks
—- ————— —– ——–
5 aulasm_0005.dbf 25 3079
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
—- ———————————————————
5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

然后在AUL中进行数据恢复，确认是不是恢复出全部49万条记录。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:52:45
Sucessfully unload 499999 rows …
2011-04-18 14:53:05

第二次测试中丢失了第二块盘，应当可以恢复出大约一半的记录才是对的，先从ASM中恢复出Oracle数据文件。

ASM> disk disk.txt
1 ASM disks opened.
—- ———————————–
0 d:\oracleasm\file01.asm
ASM> scan
RFN File Size Blocks
—- ————— —– ——–
5 aulasm_0005.dbf 25 3079
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
—- ———————————————————
5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

然后在AUL中进行数据恢复，看看从AUL中恢复出来多少条记录，在这里刚好是将近一半，说明结果良好。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:55:09
Sucessfully unload 257375 rows …
2011-04-18 14:55:20

第三次测试中丢失了第一块盘，应当可以恢复出另一半的记录才是对的，理论上第二次和第三次恢复记录数之和应当和第一次恢复的记录数相等。

ASM> disk disk.txt
1 ASM disks opened.
—- ———————————–
0 d:\oracleasm\file02.asm
ASM> scan
RFN File Size Blocks
—- ————— —– ——–
5 aulasm_0005.dbf 24 3071
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
—- ———————————————————
5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

然后在AUL中进行数据恢复，看看从AUL中恢复出来多少条记录。计算了一下第二次和第三次恢复出来的记录数之后刚好等于第一次恢复的记录数，证明ASM恢复软件可用。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:57:30
Sucessfully unload 242624 rows …
2011-04-18 14:57:40

顺便透露一个Linux版AUL的改进消息，许可证不再动态了，只有服务器重起了才会改变，以方便大家进行数据恢复，毕竟Linux服务器很稳定，对大家来讲应当是更有利的许可证模式。

Relative Posts:

2011/04/15 -- Oracle ASM灾难恢复工具–AULASM (2)
2008/12/27 -- AUL并行扫描Extent (1)
2008/08/01 -- 终极Oracle数据恢复工具 — AUL (8)
2008/05/12 -- Oracle不行再用AUL (7)
2008/04/17 -- Oracle DUL不行就用AUL (10)
2008/03/26 -- 不是好人, 这么无耻! (24)
2008/03/20 -- AUL恢复Oracle视图代码? (0)
2008/03/20 -- AUL恢复Oracle Sequence? (0)
2008/03/20 -- AUL恢复Oracle触发器? (0)
2008/03/20 -- AUL恢复Oracle索引结构? (0)

Oracle ASM灾难恢复工具–AULASM

anysql — Fri, 15 Apr 2011 01:30:38 +0000

昨天晚上花了几个小时时间，写了一个Oracle ASM的灾难恢复软件, 当Oracle ASM一个或多个盘损坏或丢失时, 可以最大化地将其余盘上的数据恢复出来.

程序还是采用不为大家所爱的命令行界面.

AUL : AnySQL UnLoader(MyDUL) for Oracle ASM, release 1.0.0

(C) Copyright Lou Fangxin 2011 (AnySQL.net), all rights reserved.

ASM> help
DISK — open ASM disks.
SCAN — scan ASM disks
RESTORE — restore data file from ASM
CREATE — create empty data file
OPEN — open data file
QUIT/EXIT — exit the program.

打开磁盘组文件, 配置文件中列出各个盘的路径或镜象文件位置就行.

ASM> disk disk.txt
2 ASM disks opened.
—- ———————————–
0 d:\oracleasm\file01.asm
1 d:\oracleasm\file02.asm

扫描磁盘组，找出可能的数据文件.

ASM> scan
5 aulasm_0005.dbf 1 12

创建空的数据文件, 并打开.

ASM> create file aulasm_0005.dbf size 1
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
—- ———————————————————
5 aulasm_0005.dbf

从ASM中读出数据块，写入对应的文件。

ASM> restore

然后用AUL去恢复，这里步骤就不详解了。

D:\oracleasm>aul5b
Register Code: QYOW-EHSO-EIXO-MEKA-VQFG
AUL : AnySQL UnLoader(MyDUL) for Oracle 8/8i/9i/10g/11g, release 5.1.2

(C) Copyright Lou Fangxin 2005-2010 (AnySQL.net), all rights reserved.

AUL> open db.txt
* ts# fno rfn ver bsize blocks filename
- —- —- —- — —– ———- ———————————–
Y 6 5 5 a2 8192 16384 aulasm_0005.dbf
AUL> scan data
2011-04-15 09:19:38
RDBA=0x0140000c(5/12),type=0×06,fmt=0xa2,seq=0×02,flag=0×04
seg/obj=0×00003486=13446,csc=0×0000.00412ee2,itc=3,typ=1 – DATA
tab#= 0 nrow= 2 offs= 0

2011-04-15 09:19:38

下载Windows版本玩玩吧。

Relative Posts:

2011/04/18 -- AUL for Oracle ASM数据恢复测试 (4)
2008/12/27 -- AUL并行扫描Extent (1)
2008/08/01 -- 终极Oracle数据恢复工具 — AUL (8)
2008/05/12 -- Oracle不行再用AUL (7)
2008/04/17 -- Oracle DUL不行就用AUL (10)
2008/03/26 -- 不是好人, 这么无耻! (24)
2008/03/20 -- AUL恢复Oracle视图代码? (0)
2008/03/20 -- AUL恢复Oracle Sequence? (0)
2008/03/20 -- AUL恢复Oracle触发器? (0)
2008/03/20 -- AUL恢复Oracle索引结构? (0)

Oracle到MySQL的数据迁移工具

anysql — Sat, 02 Apr 2011 09:46:05 +0000

前段时间使用SQLULDR2和MySQL的Load Data命令迁移了大量数据, 操作步骤复杂一些, 但性能高, 但对于记录数较少的大量小表, 还是比较麻烦的, 刚好前几天想学习一下MySQL的C客户端编程, 于是就想写一个简洁的从Oracle迁移数据到MySQL的小程序, 作为练习题, 一直相信学什么可以用什么!

可以下载新工具ora2mysql进行测试, 目前请不要用于做正式迁移. 使用方法如下:

D:\>ora2mysql user1=scott/tiger user2=/@localhost:3306:test table=emp
0 rows processed at 2011-04-02 15:03:08.
2 rows processed at 2011-04-02 15:03:08.

在速度方面，由于不支持Array操作，因此速度比较慢，希望Oracle能让SQL * Plus也能连接MySQL库，或改造一下MySQL客户端，增加Array接口。

D:\>ora2mysql user1=scott/tiger user2=/@::test table1=emp_bak table2=emp
0 rows processed at 2011-04-02 19:48:51.
100000 rows processed at 2011-04-02 19:49:17.
200000 rows processed at 2011-04-02 19:49:42.
300000 rows processed at 2011-04-02 19:50:07.
400000 rows processed at 2011-04-02 19:50:32.
500000 rows processed at 2011-04-02 19:50:57.
600000 rows processed at 2011-04-02 19:51:23.
700000 rows processed at 2011-04-02 19:51:48.
800000 rows processed at 2011-04-02 19:52:14.
900000 rows processed at 2011-04-02 19:52:39.
1000000 rows processed at 2011-04-02 19:53:03.
1100000 rows processed at 2011-04-02 19:53:29.
1200000 rows processed at 2011-04-02 19:53:56.
1300000 rows processed at 2011-04-02 19:54:24.
1400000 rows processed at 2011-04-02 19:54:53.

目前还不支持BLOB类型, 也不支持字符集的设置, 请大家理解与支持.

Relative Posts:

2010/03/15 -- 学习OCI之DataCopy程序 (8)
2011/03/28 -- DataCopy通过300GB的数据测试 (16)
2010/04/15 -- 并行SQLULDR2和DataCopy操作 (4)
2009/11/07 -- MySQL数据迁移测试 (8)
2009/06/09 -- copydata异构数据拷贝 (6)
2008/05/15 -- 将dmp数据导入到另一个表 (3)
2008/02/20 -- 导出时的字符集转换 (1)
2007/11/28 -- 如何提高Oracle exp/imp的速度? (7)
2007/07/10 -- dmp2utf8的下载量骤增, 不知什么原因? (5)
2007/03/14 -- 如何在不同类型的数据库间迁移数据? (1)

DataCopy通过300GB的数据测试

anysql — Mon, 28 Mar 2011 11:50:24 +0000

网友使用DataCopy进行了数据迁移测试, 数据量有300GB的样子, 表有几百个, DataCopy表现不错, 单进程时也和Exp/Imp不相上下, 因为DataCopy可以很方便地自动并行处理, 这是他选择DataCopy的重要理由, 只需要加一个并行度就行了.

datacopy user1=… user2=… table=… degree=4

Bug往往在大量测试或要正式使用时出现, 这次也不例外. 总共解决了两个程序缺限, 错误信息如下所示:

ORA-01405: fetched column value is NULL
ORA-24816: Expanded non LONG bind data supplied after actual LONG or LOB column

第一个错误是因为使用回调函数处理Long或LOB类型时, 没有使用标志变量(Indicator Variable), 第二个错误是因为传绑定变量时没有将Long或LOB列放在最后. 以前居然没有理解这一点, 汗颜啊!

ORA-24345: A Truncation or null fetch error occurred

另外还回答了两个问题, 第一个是上面的错误, 这是因为NLS_LANG中标明的字符集与数据库的字符集不一样, 发生了转换, 导致程序给的缓冲区不够用引起的. 另一个问题是, Direct Load方式迁移数据库出现乱码, 一般也是因为NLS_LANG中标明的字符集与数据库的字符集不一样.

经过这一次的改进, DataCopy和DataSync应当是相当稳定了, 已编译好AIX的版本让大家选择. 如果觉得好, 可以赞助个10元/5元的, 让我们技术人员知道技术环境正在逐步改善.

Relative Posts:

2011/04/02 -- Oracle到MySQL的数据迁移工具 (6)
2010/04/18 -- SQLULDR2 : Parallel Inside Now! (12)
2010/04/15 -- 并行SQLULDR2和DataCopy操作 (4)
2010/03/15 -- 学习OCI之DataCopy程序 (8)
2009/04/02 -- 给SQLULDR2加上Key保护 (6)
2009/03/31 -- 指定表名导出文本 (0)
2011/03/23 -- 解决OCI LOB值的ORA-01405错误 (4)
2010/06/24 -- 控制SQLULDR2的字符集 (6)
2010/06/19 -- 2011年起SQLULDR2中的收费功能 (10)
2010/05/12 -- 图形版Oracle数据迁移工具 (11)

编译Windows下的第一个MySQL程序

anysql — Sun, 27 Mar 2011 13:56:12 +0000

要编写高效的客户端软件就得用C语言, Oracle的OCI初级编程基本搞懂了, 现在学一点MySQL客户端的编程, 可以偿试去写一个Oracle与MySQL对拷数据的C程序, MySQL的源代码看不懂, 走走外围也不错. 下面是从网上找来的一段MySQL代码, 显示Global Status命令的结果, 源代码如下:

#include
#include
#include

int main()
{
MYSQL *conn;
MYSQL_STMT *stmt;
MYSQL_RES *res;
MYSQL_ROW row;

char *server = “localhost”;
char *user = “root”;
char *password = “”;
char *database = “test”;

conn = mysql_init(NULL);

/* Connect to database */
if (!mysql_real_connect(conn, server,
user, password, database, 0, NULL, CLIENT_MULTI_STATEMENTS))
{
fprintf(stderr, “%s\n”, mysql_error(conn));
return(0);
}

/* send SQL query */
if (mysql_query(conn, “show global status;”))
{
fprintf(stderr, “%s\n”, mysql_error(conn));
return(0);
}

res = mysql_use_result(conn);

/* output fields 1 and 2 of each row */
while ((row = mysql_fetch_row(res)) != NULL)
printf(“%s %s\n”, row[0], row[1]);

/* Release memory used to store results and close connection */
mysql_free_result(res);
mysql_close(conn);
}

Windows下的编译很简单, 只要在编译时加上libmysql包就行了.

cl my1.cpp libmysql.lib

接下来看看MySQL的绑定变量使用, 及批量操作的接, 看看是否可以写出DataCopy Oracle-MySQL程序.

Relative Posts:

2010/11/17 -- 满足同事的一个报表需求 (2)
2010/02/20 -- 定义不同数据源的SQL (4)
2010/01/26 -- 逻辑连接层与物理连接层(2) (1)
2010/01/05 -- DataReport中的FORALL循环 (0)
2009/12/25 -- SQLULDR2的自定义转义符处理 (2)
2009/11/07 -- MySQL数据迁移测试 (8)
2009/10/30 -- SQLULDR2功能增加, 性能不减 (14)
2009/10/28 -- SQLULDR2生成Insert SQL语句 (4)
2009/10/27 -- 将SQLULDR2转义符进行到底 (3)
2009/10/26 -- SQLULDR2处理MySQL转义符 (1)

解决OCI LOB值的ORA-01405错误

anysql — Wed, 23 Mar 2011 11:46:50 +0000

基于OCI写的DataCopy(数据拷贝)与DataSync(数据同步)软件, 处理Lob类型的NULL值时一直都有问题, 会报ORA-01405错误, 导致去年丢失可以在正式场合(用于实时备份某地交通局的图片数据)使用的机会, 很是可惜. 最近关注这两个工具的人变多了, 再次向我报告了这个问题, 于是花了点时间去修改原来的代码, 终于搞定, 希望能找到一个正式使用的场景.

ORA-01405: fetched column value is NULL
Cause:The INTO clause of a FETCH operation contained a NULL value, and no indicator was used. The column buffer in the program remained unchanged, and the cursor return code was +2. This is an error unless you are running Oracle with DBMS=6, emulating version 6, in which case it is only a warning.

另外还修改了连接数据库的方式, 在Instant Client和Full Client的情况下及任何数据库版下, 都可以用以下格式连接数据库, 尽量为大家提供方便.

sqluldr2 scott/tiger@localhost:1521:db10g …
datacopy user=scott/tiger@localhost:1521:db10g …
datasync user=scott/tiger@localhost:1521:db10g …

再次简单地讲解一下这两个工具, DataCopy是一个不落地的Oracle之间数据对拷工具, 支持Long/Lob等数据类型(单值100MB以内), 并且速度上不比Exp/Imp工具差, 是一个很理想的Oracle数据迁移工具. DataSync是一个利用物化视图日志或触发器捕获增量变化数据, 进行准实时的数据同步/复制工具, 我们用这种机制在半小时内迁移过500GB的数据, 支持每秒钟上千次的变更压力, 并且同样支持Long/Lob等数据类型(单值100MB以内). 更重要的是, 这两个工具自2011年起, 完全免费使用.

Relative Posts:

2010/04/10 -- 不同字符集的数据迁移 (6)
2010/04/10 -- DataSync之物化视图日志助手 (0)
2010/03/27 -- Oracle中轻松复制SCOTT.EMP (6)
2011/03/28 -- DataCopy通过300GB的数据测试 (16)
2010/05/12 -- 图形版Oracle数据迁移工具 (11)
2010/04/18 -- SQLULDR2 : Parallel Inside Now! (12)
2010/04/16 -- DataCopy : Parallel Inside Now! (2)
2010/04/15 -- 并行SQLULDR2和DataCopy操作 (4)
2010/03/20 -- DataCopy选项: conflict和filler (0)
2010/03/16 -- 用DataCopy进行Oracle数据同步 (6)

对Oracle的两个功能需求

anysql — Thu, 17 Mar 2011 14:01:38 +0000

Hash算法在NoSQL、内存表、Cache中广泛使用，Oracle中也有基于Hash算法的Cluster对象，可以创建Hash表，但却没有Hash索引。在以前2000万记录的测试中，获取一条记录的逻辑读是1.06个，这个效率用普通的索引是很难完成的，换成索引的话，也就是一条记录2.06个逻辑读，同样十分高效。虽然可以用PL/SQL编写组件可以实现，但肯定不如在内核一级实现这个功能，保持表结构的灵活性，又保持主键访问的高效性。

物化视图日志是一种很好的Change Data Capture的机制，可以满足大部份系统数据同步的需求，根本就不需要用到基于日志的复杂技术。但有一些批量处理的任务，不想Oracle捕捉变更，但采用物化视图时，没有办法跳过。为此曾经查阅了物化视图有关的所有内建存贮过程包，都没有找到解决方案，其实很容易实现这个功能，大家可以借用这个工能实现轻量级的数据复制方案。虽然说是轻量级的，但对于每秒上千次的一样也很容易复制。

想起07年提过的两个需求，都已经实现，其中一个已经验证过了，就是11g的Active Standby；另一个是RAC节点的读写控制，以实现一个写多个读的机制，减少全局锁的冲突引起的性能停顿，还有待验证一下，只是验证的成本比较高，目前还没有时间去搞它。

07年的两个想法太想要了，所以跑去发Tar，今天的这两个功能不是那么急，就只在博客中提一下算了。要是有淘宝在MySQL上的实力，就去自已实现算了。

Relative Posts:

2007/04/27 -- Oracle应当增加一种基于Hash算法的索引 (3)
2009/02/05 -- 导出时如何统一表空间? (2)
2008/06/23 -- 根据表名搜索SQL语句 (0)
2008/05/11 -- 一周遇到两个Oracle Bug (5)
2008/03/20 -- AUL恢复Oracle索引结构? (0)
2008/03/06 -- HVR, 欧州的Shareplex? (0)
2008/02/29 -- 向Zizzy项目注入MyLOG (8)
2008/02/28 -- Oracle CBO认为Cost为0 (2)
2007/12/04 -- TIMESTAMP类型上的索引 (0)
2007/09/06 -- 用Stop List来缩小Oracle全文索引的大小 (4)

控制DataReport的表格格式

anysql — Sat, 18 Dec 2010 01:32:49 +0000

中国式的报表一直是头疼的问题, 比如要出一份如下格式的报表, 一直都想实现的, 直到今天才想到如何嵌入这个功能.

Empno Salary

Sal Comm

7369 800.0

7499 1600.0 300.0

7521 1250.0 500.0

7566 2975.0

7654 1250.0 1400.0

7698 2850.0

7782 2450.0

Empno	Salary
Sal	Comm
7369	800.0
7499	1600.0	300.0
7521	1250.0	500.0
7566	2975.0
7654	1250.0	1400.0
7698	2850.0
7782	2450.0

实现这个功能是通过自定议表头, 及记录格式来完成的, 报表定义文件如下.

webchart.query_1=select empno, sal, comm from emp

webchart.headhtml_1=
Empno
Salary
Sal
Comm

webchart.datahtml_1=
$empno
$sal
$comm

除了特殊处理外, 还想不到通用的方式实现, 需要用最新的xsl格式控制文件才行, Excel中还不支持这个格式.

Relative Posts:

满足同事的一个报表需求

anysql — Wed, 17 Nov 2010 14:13:27 +0000

做MySQL的一个同事两个多月以前, 向我提了一个需求, 要解决他的一个监控数据展示上的问题. 由于MySQL机器很多, 要在一个页面上展示某组(名字上有特色, 可以区分, 比如proda, prodb等)MySQL服务器的负载, CPU等指标时, 不够灵活, 当增加一台服务器时, 必须要手工更改页面, 将新增的服务器名字更新进去, 的确不是很方便. 受困于WebChart的程序结构稳定性要求, 及同事需求的合理性中, 一时没有想出解决的办法.

今天偶儿想一下, 居然可以解决了, 在类型(TYPE)属性中新增一个SET选项, 表示数据源不作任何显示, 只将查询的结果设置(SET)到一个变量中. 还是来看一个例子说明一下吧.

WEBCHART.TYPE_n=SET
WEBCHART.QUERY_n=SELECT DEPTNO FROM DEPT

这个查询返回的结果会保存到名为”ARRAY.n”的变量中, 在下一个查询中, 就可以引用了.

WEBCHART.FORALL_x=${ARRAY.n}
WEBCHART.QUERY_x=SELECT … FROM EMP WHERE DEPTNO=:ARR_deptno

在FORALL中引用时, 就可以遍历第一个查询的每一条记录, 遍历时引用的变量名则为字段名加以一个前缀(ARR_)就可以. 我同事的问题, 可以用如下一个完整的页面来完成.

WEBCHART.TYPE_1=SET
WEBCHART.QUERY_1=SELECT SERVER_NAME FROM MYSQL_SERVERS
WHERE SERVER_NAME LIKE ‘proda%’

WEBCHART.FORALL_2=${ARRAY.1}
WEBCHART.QUERY_2=SELECT DAY, LOAD FROM MYSQL_PERF_DATA
WHERE SERVER_NAME = :ARR_SERVER_NAME AND …

由于Oracle的页面并不多, 因此一开始没有很在意这个功能, 以至于让同事痛苦了较长时间. 有意思的需求源于生活, 源于解决别人的困难.

Relative Posts:

顶住光棍节的业务压力

anysql — Tue, 16 Nov 2010 15:19:57 +0000

下半年总会担心下一年系统能不能承受住业务的压力, 去费力地思索需要采取些什么样的措施，2008年时在担心2009年，2009年时在担心2010年，这活正规的名字叫容量规划，到2010年时实在不能确定2011年要做些什么，正在这么犹豫之中时，淘宝商城搞了个双十一的活动，疯狂的一天。

淘宝商城单日交易额9.36亿, 每秒超过2万元交易; 2家店铺超2千万; 11家店铺超千万; 20家店铺过500万; 总共181家店铺过百万. 这是淘宝公布的业务量, 反应到支付宝上则是, 创建了1600万笔交易, 实际成交笔数破了1200万笔, 业务压力一下跳到了平时的两倍, 与上半年公布的数据相比, 光棍节那天的交易是上半年的3倍.

在数据库上, 就算提前一周准确预计到量, 也做不了什么事情. 11号早上来到公司后, 面对别人对数据库容量的关心, 我只能拍拍胸脯表示自信, 告诉他们, 现在能做的只有盲目的自信了, 然后安排DBA分别全天监控不同的数据库, 开始一些不安的等待.

随着交易量的攀升, 各个数据库的性能指标都在不停地上升, 交易数据库虽然做了拆分, 从一台数据库物理拆分成三台, 到晚上最高峰时, 负载指标回到了拆分前的水平, 还好是顶过去了, 从一些性能指标上看, 到这个业务量时应当是进入了不稳定的边界, 真是又高兴又害怕.

当漫长的一天快过去, 到晚上11点多时, 确定系统可以支撑过去后, 才彻底地松了口气, 同时感到异常的高兴, 终于可以证明平时的工作没有白费, 在11.11号充分证明了自己的价值, 所有的DBA相视而笑, 然后去找开发人员互相庆祝.

还好当天DB运行的数据, 及业务量的数据, 都做了详尽的收集, 这几天分析下来后, 基本上已确定明年要做的事情了, 面对2011年感觉既光明又有挑战, 喜欢这样的感觉.

Relative Posts:

2009/09/11 -- DBA有什么个人前途? (18)
2009/08/25 -- 关于技术积累的几点想法 (6)
2009/08/17 -- 努力创造DBA额外价值 (27)
2009/08/12 -- 个人价值决定个人回报 (13)
2009/08/04 -- DBA最缺的不是技术 (9)
2009/08/02 -- 当群众演员比干DBA还累 (9)
2009/06/25 -- oramon如何收集V$SYSTEM_EVENT数据? (3)
2009/06/25 -- oramon如何从V$SESSION收集性能数据? (0)
2009/06/24 -- oramon如何从V$SYSSTAT收集性能数据? (1)
2009/05/26 -- MySQL或Oracle, 是个问题? (7)

学习与成长的困惑

anysql — Sun, 29 Aug 2010 00:14:25 +0000

参加工作的人, 都会对学习与成长有一定的困惑, 在某个特定的时期还可能困于其中, 这些都是正常的. 昨天和一个工作一年的DBA同事去聊天, 刚好他有这个疑问, 于时就和他说了一下我的感觉.

成长中最大的困惑来自于取舍不定, 8月25日技术部的半年会和8月26日公司的半年会中, 我看着年轻人在舞台上表演, 非常地有才, 心里很有冲动, 要去学一学, 找他们比一比. 不过等节目过后没有多久, 我突然明白过来, 本质上我是想和他们比年轻, 而这个是比不过的, 比他们大了一轮, 是铁定的事实, 所以我没有为此感到烦恼, 在心中将这个目标轻轻地放下了. 看见有的DBA很历害, 做得非常好, 就要去学习, 会因为一年内没有跟上而伤神; 看见有的SA对底层很了解, 就要去学习, 会因为一年内没有跟上而忧郁. 世间美好的事或者人实在太多了, 更何况要在一年就与他们端平呢? 拿我自已来讲, 在工作了十年后, 才对Oracle有些感觉, 也只是不管遇到什么问题, 都可以找到思路的感觉, 但他只工作了一年, 就要得到这么多, 非得和其他比, 精神可嘉, 陷于其中就不好了.

昨天我故意选择了在爬山时去讨论这个问题, 从西湖边上的老和山出发, 一开始没有定目标. 在刚上山时, 大一轮的我直喘气, 而他却闲庭信步一样. 到北高峰时, 我注意到他也开始有些喘气了, 我选择了继续走. 大部份人只走到北高峰, 很少人再向前走的, 从山上向下看, 向杭州城的西看, 很美, 除了空气不够通透. 在那一段路上, 同事感觉是走得比较累的, 走过了最困难的一段下坡后, 我让他回头看看, 并问他从老和山要来到这里, 有什么好方法？从山上过来, 只有一步一个脚印地过来, 好象没有其他方法, 我们也就两个小时多一点, 就到了这里, 一步一个脚印好象也不慢啊, 而且一路上的感觉很好. 在学习与工作上又何曾不是如此呢？在爬山时一步一步走, 我们领略了很多风景, 但学习上你正在一步一步走时, 却产生了很多疑惑.

看书是学习的重要手段, 但工作后经常觉得没有时间看书, 或者是看书能起的作用越来越少. 对于前一点, 我们知道在学校时, 经常是考试前几天突击的, 这样也能过了考试, 但工作中这种方式看书对工作是没有什么帮助的, 现在来讲考试中的题目是比较固定的, 而工作中遇到的问题是不固定的, 因此看书应当象上面那样一步一步地看, 但要不停地去看去慢慢理解. 其实我问同事, 你一本书看多少次? 他告诉我只看了一篇, 如果说看一篇就想全部用出书中的, 那每个人读完高中读完大学后就已经足够他用一生了, 工作中就不要再看书了. 其实第一次看时, 实在搞不明白的就先跳过去吧, 象恋爱, 没有人能肯定第一次失败后, 第二次一定能成功, 也就是光学习一次是不够的. 才看了一两次书, 就为无所得而烦恼, 实在不需要.

年轻人的事情, 应当多找找年轻人去聊聊, 在一个公司大家既是朋友也是战友, 既然是战友, 肯定要谈战, 因此在外面活动时谈谈工作也很正常, 而且一定要谈, 同战友一起谈大家一起进步.

Relative Posts:

DataReport的多栏显示

anysql — Mon, 23 Aug 2010 15:10:32 +0000

当显示一些窄表数据时, 我们希望能在页面上分几列显示, 比如使用横向排的两个表格显示EMP表中全部14个员工的编号和名字, 以减少页面滚动, 在可视的一页中呈现尽可能多的数据.

EMPNO ENAME

7369 SMITH

7499 ALLEN

7521 WARD

7566 JONES

7654 MARTIN

7698 BLAKE

7782 CLARK

EMPNO ENAME

7788 SCOTT

7839 KING

7844 TURNER

7876 ADAMS

7900 JAMES

7902 FORD

7934 MILLER

在DataReport只需要设定数据的页面数, 在上面的例子中是2页, 就可以达到分栏显示的目标了.

WEBCHART.QUERY_2=SELECT EMPNO,ENAME FROM EMP
WEBCHART.PAGES_2=2

和分组展示功能无缝集成, 如下页所示：

DEPTNO ENAME

10 CLARK

KING

MILLER

20 JONES

FORD

ADAMS

SMITH

DEPTNO ENAME

20 SCOTT

30 WARD

TURNER

ALLEN

JAMES

BLAKE

MARTIN

当我们在一个页面中显示大量服务器的主要负载数据时, 分栏显示的效果就会很好.