AnySQL.net http://www.anysql.net 数据复制，数据迁移，数据库优化，系统监控，备份恢复，报表展现，原创工具等 Tue, 19 Mar 2013 15:03:14 +0000 en-US hourly 1 http://wordpress.org/?v=3.5.1 http://www.anysql.nethttp://www.feedburner.com/fb/images/pub/fb_pwrd.gifAnySQL.netAnySQLhttp://feedburner.google.comThis is an XML content feed. It is intended to be viewed in a newsreader or syndicated to another site, subject to copyright and fair use. orastats & mysqlstats通用监控工具 http://feedproxy.google.com/~r/AnySQL/~3/iGEZAqC25co/oracle-mysql-stats-perf-tool.html http://www.anysql.net/tools/oracle-mysql-stats-perf-tool.html#comments Tue, 19 Mar 2013 15:03:14 +0000 anysql http://www.anysql.net/?p=816     以前曾写过Oracle与MySQL的监控工具，但随着数据库版本的变化，性能指标也在发生变化，常常需要改进代码，然后再进行编译，比较麻烦。这个时间和OceanBase开发人员在一起久了，受了他们一点灵气的影响，想出了通用的监控工具的方法。

    将所有性能指标理解成一个Key及一个Value的组合，Key为字符串类型，Value为浮点数类型，可以自定义SQL在数据库中查询出来。比如下面的SQL语句：

select name, bytes from v$sgastat
union all
select name, value from v$sysstat

    将上面查询的结果，再加一个当前的时间点(Key=orastats.timestamp)存放到一个Hash表中，然后根据一定的格式规则显示出其中的数据，就是一个非常好的通用监控工具了，我们以如下SQL为例。

select name, value from v$sga

    输出格式使用如下格式进行控制，对任何一个Key需要指定数值的类型（显示当前值还是差量值？），然后指定一个简写的指标名字。

Key|{CURR|DELTA}|Label|...

    编写如下的文本文件(orastats.txt)。

user=sys
query=select name, value from v$sga
format=Fixed Size|curr|Fixed|
        Variable Size|curr|VarS|
        Database Buffers|curr|Data|
loop=10
wait=5

    使用orastats工具来运行，就可以得到如下有效的监控输出。

D:\MyTools\x64>orastats parfile=orastats.txt
2013-03-19 22:57:08 Fixed VarS Data
2013-03-19 22:57:08 2174k 134m 134m
2013-03-19 22:57:13 2174k 134m 134m
2013-03-19 22:57:18 2174k 134m 134m
2013-03-19 22:57:23 2174k 134m 134m
2013-03-19 22:57:28 2174k 134m 134m
2013-03-19 22:57:37 2174k 134m 134m

    不指定Format选项的话，会以Key/Value的方式显示数据。

D:\MyTools\x64>orastats parfile=orastats.txt wait=5 loop=1 format=
orastats.timestamp=2013-03-19 22:58:46
Database Buffers=134217728.000000
Fixed Size=2174888.000000
Redo Buffers=5005312.000000
Variable Size=134217816.000000

    为MySQL也准备了类拟的工具(mysqlstats)，这样的话数据库的版本变了，只需要改一下配置文件即可以跟上时代了，明天会加入Linux下的一些基本负载信息，就可以完全用于收集Oracle或MySQL的性能数据了。

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/oracle-mysql-stats-perf-tool.html/feed 0 http://www.anysql.net/tools/oracle-mysql-stats-perf-tool.html 从MySQL迁移数据到Oracle库的工具 http://feedproxy.google.com/~r/AnySQL/~3/3EEoddXMqmE/mysql-oracle-data-copy.html http://www.anysql.net/tools/mysql-oracle-data-copy.html#comments Fri, 01 Feb 2013 13:16:02 +0000 anysql http://www.anysql.net/?p=812     MySQL用于处理简单事务，还是不错的，但用于保存较大的数据则还不行，一般公司的历史库之类的还是可以用Oracle进行保存，那么从MySQL如何迁移数据到Oracle呢？MySQL的文本导出工具（MYSQLULDR2）固然是一个不错的选择，将数据导成文本，然后用SQL*Loader进行导入，不过不落地的工具使用起来会更方便。在以前写的程序的基础上，很容易就写出了一个MYSQL2ORA工具，并且性能也不错。

    使用Direct Load方式，将MySQL的表对拷到Oracle数据库中，要以用如下语法，因为MySQL中建议用自增主键，所以相对于Oracle中多了一个ID列，在导入过程中使用FILLER选项直接跳过。

mysql2ora.exe user1=/@::test user2=test/test table1=emp_his table2=emp_his direct=yes filler=id
          0 rows processed at 2013-02-01 21:01:39.
    1000000 rows processed at 2013-02-01 21:01:41.
    2000000 rows processed at 2013-02-01 21:01:44.
    3000000 rows processed at 2013-02-01 21:01:46.
    3830800 rows processed at 2013-02-01 21:01:48.

    使用普通方式，只要不加DIRECT选项就行了，拷贝数据的话，本质是源端一个SQL语句（query1）以及目标端一个DML语句（query2），大家可以更灵活地指定。

mysql2ora.exe user1=/@::test user2=test/test table1=emp_his table2=emp_his filler=id
          0 rows processed at 2013-02-01 21:11:24.
    1000000 rows processed at 2013-02-01 21:11:28.
    2000000 rows processed at 2013-02-01 21:11:32.
    3000000 rows processed at 2013-02-01 21:11:37.
    3830800 rows processed at 2013-02-01 21:11:40.

    可以下载Windows版本或Linux版本进行测试，商业环境使用请支持100RMB给开发者，以创造良好的技术生存环境。

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/mysql-oracle-data-copy.html/feed 0 http://www.anysql.net/tools/mysql-oracle-data-copy.html 按事务一致性导出的数据 http://feedproxy.google.com/~r/AnySQL/~3/ks8MyEoDPxs/sqluldr2-read-only-transaction.html http://www.anysql.net/tools/sqluldr2-read-only-transaction.html#comments Thu, 31 Jan 2013 05:15:51 +0000 anysql http://www.anysql.net/?p=811     昨天收到一邮件，内容如下：

Hi Fangxin,

I’ve just discovered your tool and am excited about the prospect of using it for some of our extract needs. The problem is, I often have sets of tables which must be extracted with a consistent view across those tables at a specific point in time. As such, we normally, set a read only transaction, extract the data from table 1 to file 1, then table 2 to file 2, then table 3 to file 3, then commit. This gives us data integrity and consistency across those tables even if updates/deletes are going on while we are extracting. Is there any way to accomplish this using your sqluldr2 tool?

Please note that our customer does not enable Oracle flashback in production so using the “as of” notation across separate runs is not an option. Thanks in advance for your assistance.

-Eric

    想一想这个要求还是合理的，于是给工具增加了query2-query9的选项，以实现按事务导出功能，加上"presql"选项就可以实现按读事务导出了, 使用方法如下：

user=stats_user/stats_user@tooldb
presql=set transaction read only
query=select * from all_objects
file=nul
query2=select * from all_tables
file2=nul

    执行的日志如下所示，在一个命令里导出多个表。

E:\>.\sqluldr2 parfile=test.txt
          0 rows exported at 2013-01-31 13:07:43, size 0 MB.
      12916 rows exported at 2013-01-31 13:07:44, size 1 MB.
        output file nul closed at 12916 rows, size 1 MB.
          0 rows exported at 2013-01-31 13:07:44, size 0 MB.
        1435 rows exported at 2013-01-31 13:07:44, size 0 MB.
        output file nul closed at 1435 rows, size 0 MB.

    不过这个改动还是没有能够满足那个网友的要求，他有192个表需要在一个事务里时出，用SQL*Plus太慢了，才找到我这个工具的，这样的需求是不是有一点点特殊? 还是大家都有同样的需求？

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/sqluldr2-read-only-transaction.html/feed 2 http://www.anysql.net/tools/sqluldr2-read-only-transaction.html 从MySQL数据库自由导出文本 http://feedproxy.google.com/~r/AnySQL/~3/QKCzgZlRIlg/mysql-text-unloader.html http://www.anysql.net/tools/mysql-text-unloader.html#comments Fri, 18 Jan 2013 00:04:33 +0000 anysql http://www.anysql.net/?p=809     MySQL上处理一些简单的事务是不错的，但历史数据的保存不能靠MySQL，所以还是得将数据导出来，存放到其他数据库（Oracle）或数据仓库（HBase），MySQL本身虽然提供了生成文本文件的方法，但并不是很好用，比如将文本文件导入到Oracle的话，还需要一个控制文件，编写控制文件是一个比较麻烦的事情，SQL Server或Sybase也需要一个格式说明文件，才能方便地导入。为此将Oracle的文本导出工具改造了一下，发布了MySQL版的文本导出工具 -- MySQLULDR2。

SQL*UnLoader: Fast Oracle Text Unloader (GZIP, Parallel), Release 4.0.1
(@) Copyright Lou Fangxin (AnySQL.net) 2004 - 2010, all rights reserved.

Usage: MYSQLULDR2 keyword=value [,keyword=value,...]

Valid Keywords:
  user    = username/password@tnsname
  sql    = SQL file name
  query  = select statement
  field  = separator string between fields
  record  = separator string between records
  rows    = print progress for every given rows (default, 1000000)
  file    = output file name(default: uldrdata.txt)
  log    = log file name, prefix with + to append mode
  fast    = auto tuning the session level parameters(YES)
  text    = output type (MYSQL, CSV, MYSQLINS, ORACLEINS, FORM, SEARCH).
  charset = character set name of the target database.
  ncharset= national character set name of the target database.
  parfile = read command option from parameter file

  for field and record, you can use '0x' to specify hex character code,
  \r=0x0d \n=0x0a |=0x7c ,=0x2c, \t=0x09, :=0x3a, #=0x23, "=0x22 '=0x27

    使用方法很简单，指定一个连接信息（用户名/口令@主机:端口:数据库），并指定一个查询语句或者表名就可以了。比如：

D:\MyTools>mysqluldr2 /@::test query=emp_his file=emp_his.txt
      0 rows exported at 2013-01-18 07:56:14, size 0 MB.
  819200 rows exported at 2013-01-18 07:56:16, size 42 MB.
        output file emp_his.txt closed at 819200 rows, size 42 MB.

    直接指定表名时，会自动生成Oracle SQL*Loader的控制文件，内容如下：

OPTIONS(BINDSIZE=2097152,READSIZE=2097152,ERRORS=-1,ROWS=50000)
LOAD DATA
INFILE 'emp_his.txt' "STR X'0a'"
INSERT INTO TABLE emp_his
FIELDS TERMINATED BY X'2c' TRAILING NULLCOLS
(
  empno CHAR(16) NULLIF empno=BLANKS,
  ename CHAR(10) NULLIF ename=BLANKS,
  job CHAR(9) NULLIF job=BLANKS,
  mgr CHAR(16) NULLIF mgr=BLANKS,
  hiredate DATE "YYYY-MM-DD HH24:MI:SS" NULLIF hiredate=BLANKS,
  sal CHAR(20) NULLIF sal=BLANKS,
  comm CHAR(20) NULLIF comm=BLANKS,
  deptno CHAR(16) NULLIF deptno=BLANKS
)

    可以下载Windows版本或Linux版本进行测试，商业环境使用请支持100RMB给开发者，以创造良好的技术生存环境。

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/mysql-text-unloader.html/feed 0 http://www.anysql.net/tools/mysql-text-unloader.html SQLULDR2的安全保密功能 http://feedproxy.google.com/~r/AnySQL/~3/wSucV4sb1nQ/sqluldr2-content-cryption.html http://www.anysql.net/tools/sqluldr2-content-cryption.html#comments Mon, 14 Jan 2013 08:39:11 +0000 anysql http://www.anysql.net/?p=806     SQLULDR2也许是我所有工具中被使用最广泛的，因此也是最成熟的，上一次修改需求是在一年多以前，为MySQL的Insert语句导出功能增加Hex函数支持。不过用户的需求是无止境的，有网友要求增加一个安全保密功能，对导出的数据内容进行简单的加密操作,我觉得是合理的功能，就快速实现了。

    只需要在导出时加上"crack"选项，指定加密的KEY就可以了，不管生成的是格式化文本，还是Insert语句，所有内容都被加密了。

E:\>sqluldr2 user=dict/ali88@tooldb query=tab file=a.dat crack=anysql
      0 rows exported at 2013-01-14 16:28:06, size 0 MB.
    128 rows exported at 2013-01-14 16:28:06, size 0 MB.
        output file a.dat closed at 128 rows, size 0 MB.

    同样SQLULDR2也提供了解密功能，同样需要用"uncrack"选项来指定解密的KEY，以及用"file"选项来指定要解密的文件（可以接受标准输入），解密后的内容写出到标准输出设备。

E:\>sqluldr2 uncrack=anysql file=a.dat
TASK_INFO,TABLE,
ALI_SQLFILE,TABLE,
ALI_SQLSTATEMENT,TABLE,
TRANS_TMP_1,TABLE,
TRANS_TMP_2,TABLE,
......

    如果要接受标准输入来进行解释，则指定"file"选项的值为"-"就可以。

E:\>type a.dat | sqluldr2 uncrack=anysql file=-
TASK_INFO,TABLE,
ALI_SQLFILE,TABLE,
ALI_SQLSTATEMENT,TABLE,
TRANS_TMP_1,TABLE,
TRANS_TMP_2,TABLE,
......

    加密功能本身的逻辑比较简单，并且会影响性能，希望不是在巨量数据导出中使用。

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/sqluldr2-content-cryption.html/feed 8 http://www.anysql.net/tools/sqluldr2-content-cryption.html 用自定义Tag在JSP中集成WebChart的图表功能 http://feedproxy.google.com/~r/AnySQL/~3/VKOTLCCEtdY/webchart-jsp-tag-support.html http://www.anysql.net/tools/webchart-jsp-tag-support.html#comments Wed, 25 Jul 2012 05:42:11 +0000 anysql http://www.anysql.net/?p=804     WebChart可以让我们很方便地显示表格和图形，但对于页面布快控制，则不够灵活，而JSP页面可以很好地控制页面布局，但不容易解决表格和图形的显示功能。如果两者能结合起来，使用上就会更灵活，简单的页面布局可以用WebChart自带的，而复杂的页面布局则可以用JSP来控制。

    通过为WebChart编写自定议的JSP Tag库，就可以做到这两者的无缝集成，在JSP页面中先引入WebChart的Tag库。

<%@ taglib uri="webchart" prefix="webchart" %>

    然后可以在页面中，直接使用Tag来引用WebChart的功能，可以通过文件名进行调用。

<webchart:webchart page="test.rhtml" />

    或者直接将页面定义在标记中，例如：

<webchart:webchart>
webchart.cache=gantt_demo
webchart.type=bar
webchart.width=450
webchart.height=320
webchart.query_1=select col1, col4 from gantt_demo
</webchart:webchart>

    下面是一个完整的JSP代码，用来从数据库中查询数据，然后阵出一个条状图表。

<%@ taglib uri="webchart" prefix="webchart" %>

<HTML>
<HEAD>
<TITLE>WebChart in JSP Demo</TITLE>
</HEAD>

<BODY bgcolor="#ffffcc">

<webchart:webchart>
webchart.cache=gantt_demo
webchart.alpha=0.8
webchart.type=bar
webchart.width=450
webchart.height=320
webchart.query_1=select col1, col4 from gantt_demo
</webchart:webchart>

</BODY>
</HTML>

    WebChart中的连接池功能、高级缓存功能在JSP中同样有效，可以非常快速地创建高效的页面程序，不浪费时间是现代工作中最重要的一个原则。

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/webchart-jsp-tag-support.html/feed 1 http://www.anysql.net/tools/webchart-jsp-tag-support.html 让WebChart从本地文件读取数据 http://feedproxy.google.com/~r/AnySQL/~3/zS89PMrbX1I/webchart-load-text-file.html http://www.anysql.net/tools/webchart-load-text-file.html#comments Wed, 06 Jun 2012 08:26:04 +0000 anysql http://www.anysql.net/?p=803     WebChart是做简易数据分析的好平台，但要求数据先进入到数据库，这个限制会使做一些临时性的数据分析的工作比较复杂，比如从日志grep出来的数据，很容易存成格式化文本，但装载到数据库这一步，却让很多人非DBA的从业人员感到为难。本着客户第一的精神，对WebChart做了改进，可以从本地文件读取数据。

    在磁盘上有一个文件(datatest.txt)，里面包含如下记录：

D:\>type datatest.txt
A,10
B,20
C,30
D:\>

    在WebChart中可以用DATA标记，来指定各个列的类型，并且读入指定的文本文件，这时可以不指定QUERY标记。

WEBCHART.DATA_1=
    ADD X VARCHAR
    ADD Y INTEGER
    LOAD D:\\DATATEST.TXT ,

    接下来就可以在网页上使用数据了，不过这个功能不支持行列转换（交叉表）功能，希望这个本地数据读取功能能给你带来工作上的方便。

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/webchart-load-text-file.html/feed 0 http://www.anysql.net/tools/webchart-load-text-file.html 使用mysqlcopy来迁移MySQL历史数据 http://feedproxy.google.com/~r/AnySQL/~3/KvEXJgXK16w/mysqlcopy-delete-source.html http://www.anysql.net/tools/mysqlcopy-delete-source.html#comments Tue, 05 Jun 2012 03:56:57 +0000 anysql http://www.anysql.net/?p=801     mysqlcopy工具可以很方便地用来在MySQL库之间拷贝数据，虽然极限速度上没有通过文本LOAD DATA来得快，但一秒钟两三万条足够一般场合使用了。除了拷贝数据的场合外，我们还有移动数据的需求，也就是在拷贝后还要删除原端的原始数据，来做行级历史数据迁移，mysqlcopy的delete选项就是为此目的设计的。

    假设我们有TEST3和TEST4两个表，要将TEST3的记录移动到TEST4表中。

mysql> select count(*) from test3;
+----------+
| count(*) |
+----------+
|    13088 |
+----------+
1 row in set (0.01 sec)

mysql> select count(*) from test4;
+----------+
| count(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

    为mysqlcopy配置一个参数文件，请注意DELETE选项可以指定一个在源端数据库要执行的SQL语句.

E:\dbpress>type test.txt
user1=/@::test
user2=/@::test
table1=test3
table2=test4
sync=arrins
delete=delete from test3 where object_id=:object_id

    在命令行下，可以很方便地进行MySQL库之间的数据迁移了.

E:\dbpress>mysqlcopy parfile=test.txt
        0 rows processed at 2012-06-05 11:34:06.
    13088 rows processed at 2012-06-05 11:34:10.

    检查一下结果，是否所有的记录过去了？

mysql> select count(*) from test3;
+----------+
| count(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

mysql> select count(*) from test4;
+----------+
| count(*) |
+----------+
|    13088 |
+----------+
1 row in set (0.02 sec)

    此工具并没有使用分布式事务来保证事务性，只是保证在目标端数据库提交成功后，源端的DELETE才会提交。请不要用于非常严格要求的财务数据的迁移。在没有DB LINK的MySQL库之间，这个工具可以发挥DB Link的部份作用。专业去IOE DBA团队，尽在阿里巴巴！

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/mysqlcopy-delete-source.html/feed 0 http://www.anysql.net/tools/mysqlcopy-delete-source.html 用squldr2进行Oracle到MySQL的数据迁移 http://feedproxy.google.com/~r/AnySQL/~3/oImUgdoQUtk/sqluldr2-mysql-data-migration.html http://www.anysql.net/tools/sqluldr2-mysql-data-migration.html#comments Thu, 17 May 2012 01:00:47 +0000 anysql http://www.anysql.net/?p=799     从Oracle迁移数据到MySQL时，通常用文本或SQL语句的方式，但都为MySQL的特殊字符处理而发愁，后来淘宝丁奇告诉MySQL的标准函数中有unhex函数，可以将十六进制的串转换成原来的字符串，从而轻松解决原来很麻烦的特殊字符处理的问题，于是对sqluldr2作了改进处理，对于所有的字符字段，都直接转换成十六进制串处理算了。

E:\dbpress>sqluldr2 anysql/anysql query=tab text=mysqlins
INSERT INTO `tab` (`TNAME`,`TABTYPE`,`CLUSTERID`) VALUES
(unhex('4150505f43415445474f5259'),unhex('5441424c45'),null),
(unhex('4150505f444550454e4453'),unhex('5441424c45'),null),
......
(unhex('545f4d565445535432'),unhex('5441424c45'),null);

    不管增加了多不功能，sqluldr2都保持了一如即往的导出性能，生成复杂INSERT语句的速度和直接导出文本一样快。

E:\dbpress>sqluldr2 anysql/anysql query=test3 text=mysqlins file=temp.txt
      0 rows exported at 2012-05-17 08:38:51, size 0 MB.
1000000 rows exported at 2012-05-17 08:38:59, size 244 MB.
2000000 rows exported at 2012-05-17 08:39:11, size 492 MB.
3000000 rows exported at 2012-05-17 08:39:23, size 740 MB.
4000000 rows exported at 2012-05-17 08:39:37, size 984 MB.
4764032 rows exported at 2012-05-17 08:39:46, size 1175 MB.
        output file temp.txt closed at 4764032 rows, size 1175 MB.

    有了这个功能后，sqluldr2会成为最流行的从Oracle迁移数据到MySQL的工具，我们自己及淘宝DBA都在日常工作中使用它。

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/sqluldr2-mysql-data-migration.html/feed 3 http://www.anysql.net/tools/sqluldr2-mysql-data-migration.html WebChart的JSON格式输出 http://feedproxy.google.com/~r/AnySQL/~3/amYjJUUJKLM/webchar-json-output.html http://www.anysql.net/tools/webchar-json-output.html#comments Fri, 09 Dec 2011 04:51:08 +0000 anysql http://www.anysql.net/?p=797     WebChart增加JSON格式输出，可以将查询结果以JSON格式的文本进行输出，直接作为ExtJS的Ext.data.Store的输入. 页面(jsontest.rhtml)定义如下:

webchart.doctype=json

webchart.query_1=select empno, ename from emp order by empno

    用浏览器访问页面时，返回JSON格式的纯文本.

{
  "metaData":
  {
      "root": "rows",
      "fields": [
        {"name": "empno", "type": "int"},
        {"name": "ename"}],
      "remoteSort": true
  },
  "rows":
  [
      {
        "empno": 1,
        "ename": "Lou Fangxin"
      },
      {
        "empno": 2,
        "ename": "Zhi Qiong"
      }
  ]
}

    在ExtJS 4中可以直接用如下代码，得到一个Store类型变量.

Ext.define('mydata', {extend: 'Ext.data.Model'});
var store2 = Ext.create('Ext.data.Store',
    {model: 'mydata', proxy:{type: 'ajax', url: 'sampledata.txt', reader: {type: 'json'}}});

    然后用ExtJS进行表格输出或者画图，将数据接口直接交给WebChart来方便地处理.

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/webchar-json-output.html/feed 0 http://www.anysql.net/tools/webchar-json-output.html 多个测试环境的表结构同步 http://feedproxy.google.com/~r/AnySQL/~3/K8zuNoTX1rk/ocidiff-oracle-schema-auto-repair.html http://www.anysql.net/tools/ocidiff-oracle-schema-auto-repair.html#comments Tue, 19 Apr 2011 05:57:04 +0000 anysql http://www.anysql.net/?p=796     一个复杂系统往往会有几套开发测试环境，对于开发DBA或测试环境DBA来讲，维护这些环境之间的同步是一个比较烦琐的事情。在2005年时，曾和当时的三个同事，花了足足三天时间来手工同步两个环境的表结构差异，最后促使我去开发一个表结构自动同步工具，现在是对那个工具的进一步升级。

-- GetDDL: DDL Script Generator for Oracle, Release 3.0.1
-- (@) Copyright Lou Fangxin (AnySQL.net) 2010, all rights reserved.
-- Oracle Data Recovery, System Tuning and Monitoring and Tuning Service

Usage: ocidiff fromuser=... touser=... file=...

Options:
  fromuser  -- Source Connection String
  fromschema -- Source Schema to Switch
  touser    -- Destination Connection String
  toschema  -- Destination Schema to Swith
  tstab      -- Tablespace for Tables
  tsind      -- Tablespace for Indexes
  sync      -- Sync List (ALL,SEQUENCE,TABLE,INDEX,VIEW,SOURCE,COMMENT)
  file      -- Output Script File Name
  log        -- SQL*Plus Spool log file name
  auto      -- Automaticall call SQL*Plus to sync(YES)

    上面的命令行选项，对于DBA来讲应当都比较容易理解，就不一个一个讲了。File和Log选项有一些特殊的设置，指定文件名时可以用%Y来表示年份，用%M来表示月份，同理用%D来表示日期，以便给自动同步工具留下足够的运行日志。

ocidiff ...... file=scott_%%y%%m%%d.sql log=scott_%%y%%m%%d.log ...

    运行时加上"AUTO=YES"选项，会自动调用SQL*Plus连接到远程库上执行，执行后会留带日期的SQL和日志文件。

D:\ocidiff>dir /b scott_*
scott_20110419.log
scott_20110419.sql

    对于生成的自动同步SQL的脚本准确性，还需要进行大量的测试及进一步的改进，下载试试吧。

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/ocidiff-oracle-schema-auto-repair.html/feed 8 http://www.anysql.net/tools/ocidiff-oracle-schema-auto-repair.html AUL for Oracle ASM数据恢复测试 http://feedproxy.google.com/~r/AnySQL/~3/IpLBk68p6hM/oracle-asm-data-recovery-testcase.html http://www.anysql.net/aulmydul/oracle-asm-data-recovery-testcase.html#comments Mon, 18 Apr 2011 07:15:00 +0000 anysql http://www.anysql.net/?p=795     创建了一个跨越在两个盘中的Oracle ASM表空间，并在上面建了一个有49万条记录的表，用来进行ASM恢复测试。

SQL> select disk_number, name,path from v$asm_disk;

DISK_NUMBER NAME            PATH
----------- ---------------- ------------------------------
          0 TEST_0000        D:\ORACLEASM\FILE01.ASM
          1 TEST_0001        D:\ORACLEASM\FILE02.ASM

SQL> create table emp_asm tablespace asmdemo as
  2  select * from emp_bak where rownum < 500000;

    第一次测试是在两个ASM盘都在的情况，应当可以恢复出49万条记录才是准确的，先从ASM中恢复出Oracle数据文件。

ASM> disk disk.txt
  2 ASM disks opened.
---- -----------------------------------
  0 d:\oracleasm\file01.asm
  1 d:\oracleasm\file02.asm
ASM> scan
RFN File            Size  Blocks
---- --------------- ----- --------
  5 aulasm_0005.dbf    25    3079
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
---- ---------------------------------------------------------
  5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

    然后在AUL中进行数据恢复，确认是不是恢复出全部49万条记录。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:52:45
Sucessfully unload 499999 rows ...
2011-04-18 14:53:05

    第二次测试中丢失了第二块盘，应当可以恢复出大约一半的记录才是对的，先从ASM中恢复出Oracle数据文件。

ASM> disk disk.txt
  1 ASM disks opened.
---- -----------------------------------
  0 d:\oracleasm\file01.asm
ASM> scan
RFN File            Size  Blocks
---- --------------- ----- --------
  5 aulasm_0005.dbf    25    3079
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
---- ---------------------------------------------------------
  5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

    然后在AUL中进行数据恢复，看看从AUL中恢复出来多少条记录，在这里刚好是将近一半，说明结果良好。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:55:09
Sucessfully unload 257375 rows ...
2011-04-18 14:55:20

    第三次测试中丢失了第一块盘，应当可以恢复出另一半的记录才是对的，理论上第二次和第三次恢复记录数之和应当和第一次恢复的记录数相等。

ASM> disk disk.txt
  1 ASM disks opened.
---- -----------------------------------
  0 d:\oracleasm\file02.asm
ASM> scan
RFN File            Size  Blocks
---- --------------- ----- --------
  5 aulasm_0005.dbf    24    3071
ASM> create file aulasm_0005.dbf size 26
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
---- ---------------------------------------------------------
  5 aulasm_0005.dbf
ASM> restore
Restore by ASM extent map file.

    然后在AUL中进行数据恢复，看看从AUL中恢复出来多少条记录。计算了一下第二次和第三次恢复出来的记录数之后刚好等于第一次恢复的记录数，证明ASM恢复软件可用。

AUL> unload object 13456 to 13456.txt;
2011-04-18 14:57:30
Sucessfully unload 242624 rows ...
2011-04-18 14:57:40

    顺便透露一个Linux版AUL的改进消息，许可证不再动态了，只有服务器重起了才会改变，以方便大家进行数据恢复，毕竟Linux服务器很稳定，对大家来讲应当是更有利的许可证模式。

Relative Posts:

Zemanta
]]> http://www.anysql.net/aulmydul/oracle-asm-data-recovery-testcase.html/feed 4 http://www.anysql.net/aulmydul/oracle-asm-data-recovery-testcase.html Oracle ASM灾难恢复工具–AULASM http://feedproxy.google.com/~r/AnySQL/~3/xzzlsHjUruQ/oracle-asm-recovery-aulasm.html http://www.anysql.net/aulmydul/oracle-asm-recovery-aulasm.html#comments Fri, 15 Apr 2011 01:30:38 +0000 anysql http://www.anysql.net/?p=793     昨天晚上花了几个小时时间，写了一个Oracle ASM的灾难恢复软件, 当Oracle ASM一个或多个盘损坏或丢失时, 可以最大化地将其余盘上的数据恢复出来.

    程序还是采用不为大家所爱的命令行界面.

AUL : AnySQL UnLoader(MyDUL) for Oracle ASM, release 1.0.0

(C) Copyright Lou Fangxin 2011 (AnySQL.net), all rights reserved.

ASM> help
  DISK      -- open ASM disks.
  SCAN      -- scan ASM disks
  RESTORE    -- restore data file from ASM
  CREATE    -- create empty data file
  OPEN      -- open data file
  QUIT/EXIT  -- exit the program.

    打开磁盘组文件, 配置文件中列出各个盘的路径或镜象文件位置就行.

ASM> disk disk.txt
  2 ASM disks opened.
---- -----------------------------------
  0 d:\oracleasm\file01.asm
  1 d:\oracleasm\file02.asm

    扫描磁盘组，找出可能的数据文件.

ASM> scan
  5 aulasm_0005.dbf    1      12

    创建空的数据文件, 并打开.

ASM> create file aulasm_0005.dbf size 1
ASM> open rfn 5 file aulasm_0005.dbf
RFN File
---- ---------------------------------------------------------
  5 aulasm_0005.dbf

    从ASM中读出数据块，写入对应的文件。

ASM> restore

    然后用AUL去恢复，这里步骤就不详解了。

D:\oracleasm>aul5b
Register Code: QYOW-EHSO-EIXO-MEKA-VQFG
AUL : AnySQL UnLoader(MyDUL) for Oracle 8/8i/9i/10g/11g, release 5.1.2

(C) Copyright Lou Fangxin 2005-2010 (AnySQL.net), all rights reserved.

AUL> open db.txt
*  ts#  fno  rfn ver bsize    blocks filename
- ---- ---- ---- --- ----- ---------- -----------------------------------
Y    6    5    5 a2  8192      16384 aulasm_0005.dbf
AUL> scan data
2011-04-15 09:19:38
RDBA=0x0140000c(5/12),type=0x06,fmt=0xa2,seq=0x02,flag=0x04
seg/obj=0x00003486=13446,csc=0x0000.00412ee2,itc=3,typ=1 - DATA
tab#=  0    nrow=  2    offs=  0

2011-04-15 09:19:38

    下载Windows版本玩玩吧。

Relative Posts:

Zemanta
]]> http://www.anysql.net/aulmydul/oracle-asm-recovery-aulasm.html/feed 2 http://www.anysql.net/aulmydul/oracle-asm-recovery-aulasm.html Oracle到MySQL的数据迁移工具 http://feedproxy.google.com/~r/AnySQL/~3/w216RDLp78o/oracle-mysql-data-migration-tool.html http://www.anysql.net/tools/oracle-mysql-data-migration-tool.html#comments Sat, 02 Apr 2011 09:46:05 +0000 anysql http://www.anysql.net/?p=790     前段时间使用SQLULDR2和MySQL的Load Data命令迁移了大量数据, 操作步骤复杂一些, 但性能高, 但对于记录数较少的大量小表, 还是比较麻烦的, 刚好前几天想学习一下MySQL的C客户端编程, 于是就想写一个简洁的从Oracle迁移数据到MySQL的小程序, 作为练习题, 一直相信学什么可以用什么!

    可以下载新工具ora2mysql进行测试, 目前请不要用于做正式迁移. 使用方法如下:

D:\>ora2mysql user1=scott/tiger user2=/@localhost:3306:test table=emp
        0 rows processed at 2011-04-02 15:03:08.
        2 rows processed at 2011-04-02 15:03:08.

    在速度方面，由于不支持Array操作，因此速度比较慢，希望Oracle能让SQL * Plus也能连接MySQL库，或改造一下MySQL客户端，增加Array接口。

D:\>ora2mysql user1=scott/tiger user2=/@::test table1=emp_bak table2=emp
        0 rows processed at 2011-04-02 19:48:51.
    100000 rows processed at 2011-04-02 19:49:17.
    200000 rows processed at 2011-04-02 19:49:42.
    300000 rows processed at 2011-04-02 19:50:07.
    400000 rows processed at 2011-04-02 19:50:32.
    500000 rows processed at 2011-04-02 19:50:57.
    600000 rows processed at 2011-04-02 19:51:23.
    700000 rows processed at 2011-04-02 19:51:48.
    800000 rows processed at 2011-04-02 19:52:14.
    900000 rows processed at 2011-04-02 19:52:39.
  1000000 rows processed at 2011-04-02 19:53:03.
  1100000 rows processed at 2011-04-02 19:53:29.
  1200000 rows processed at 2011-04-02 19:53:56.
  1300000 rows processed at 2011-04-02 19:54:24.
  1400000 rows processed at 2011-04-02 19:54:53.

    目前还不支持BLOB类型, 也不支持字符集的设置, 请大家理解与支持.

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/oracle-mysql-data-migration-tool.html/feed 6 http://www.anysql.net/tools/oracle-mysql-data-migration-tool.html DataCopy通过300GB的数据测试 http://feedproxy.google.com/~r/AnySQL/~3/pnuuM2JfLjs/datacopy-300gb-data-test.html http://www.anysql.net/tools/datacopy-300gb-data-test.html#comments Mon, 28 Mar 2011 11:50:24 +0000 anysql http://www.anysql.net/?p=789     网友使用DataCopy进行了数据迁移测试, 数据量有300GB的样子, 表有几百个, DataCopy表现不错, 单进程时也和Exp/Imp不相上下, 因为DataCopy可以很方便地自动并行处理, 这是他选择DataCopy的重要理由, 只需要加一个并行度就行了.

datacopy user1=... user2=... table=... degree=4

    Bug往往在大量测试或要正式使用时出现, 这次也不例外. 总共解决了两个程序缺限, 错误信息如下所示:

ORA-01405: fetched column value is NULL
ORA-24816: Expanded non LONG bind data supplied after actual LONG or LOB column

    第一个错误是因为使用回调函数处理Long或LOB类型时, 没有使用标志变量(Indicator Variable), 第二个错误是因为传绑定变量时没有将Long或LOB列放在最后. 以前居然没有理解这一点, 汗颜啊!

ORA-24345: A Truncation or null fetch error occurred

    另外还回答了两个问题, 第一个是上面的错误, 这是因为NLS_LANG中标明的字符集与数据库的字符集不一样, 发生了转换, 导致程序给的缓冲区不够用引起的. 另一个问题是, Direct Load方式迁移数据库出现乱码, 一般也是因为NLS_LANG中标明的字符集与数据库的字符集不一样.

    经过这一次的改进, DataCopy和DataSync应当是相当稳定了, 已编译好AIX的版本让大家选择. 如果觉得好, 可以赞助个10元/5元的, 让我们技术人员知道技术环境正在逐步改善.

Relative Posts:

Zemanta
]]> http://www.anysql.net/tools/datacopy-300gb-data-test.html/feed 17 http://www.anysql.net/tools/datacopy-300gb-data-test.html