sysbench是一款开源的多线程性能测试工具，可以执行CPU/内存/线程/IO/数据库等方面的性能测试。数据库目前支持MySQL/Oracle/PostgreSQL。本文只是简单演示一下几种测试的用法，后续准备利用sysbench来对MySQL进行一系列的测试。具体的一些参数设置，需要根据不同的测试要求来进行调整。

下载
http://sourceforge.net/projects/sysbench/

编译安装
默认支持MySQL，如果需要测试Oracle/PostgreSQL，则在configure时需要加上–with-oracle或者–with-pgsql参数

./configure --prefix=/u01/sysbench \
--with-mysql-includes=/opt/mysql/include/mysql \
--with-mysql-libs=/opt/mysql/lib/mysql

make && make install

参数

NinGoo:/u01/sysbench/bin>$sysbench
Missing required command argument.
Usage:
  sysbench [general-options]... --test= [test-options]... command

General options:
  --num-threads=N            number of threads to use [1]
  --max-requests=N           limit for total number of requests [10000]
  --max-time=N               limit for total execution time in seconds [0]
  --forced-shutdown=STRING   amount of time to wait after --max-time before forcing shutdown [off]
  --thread-stack-size=SIZE   size of stack per thread [32K]
  --init-rng=[on|off]        initialize random number generator [off]
  --test=STRING              test to run
  --debug=[on|off]           print more debugging info [off]
  --validate=[on|off]        perform validation checks where possible [off]
  --help=[on|off]            print help and exit
  --version=[on|off]         print version and exit

Compiled-in tests:
  fileio - File I/O test
  cpu - CPU performance test
  memory - Memory functions speed test
  threads - Threads subsystem performance test
  mutex - Mutex performance test
  oltp - OLTP test

Commands: prepare run cleanup help version
See 'sysbench --test= help' for a list of options for each test.

CPU测试
sysbench采用寻找最大素数的方式来测试CPU的性能

NinGoo:/u01/sysbench/bin>$sysbench --test=cpu --cpu-max-prime=2000 run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1

Doing CPU performance benchmark

Threads started!
Done.

Maximum prime number checked in CPU test: 2000

Test execution summary:
    total time:                          2.3996s
    total number of events:              10000
    total time taken by event execution: 2.3917
    per-request statistics:
         min:                                  0.23ms
         avg:                                  0.24ms
         max:                                 27.44ms
         approx.  95 percentile:               0.24ms

Threads fairness:
    events (avg/stddev):           10000.0000/0.00
    execution time (avg/stddev):   2.3917/0.00

线程测试

NinGoo:/u01/sysbench/bin>$sysbench --test=threads --num-threads=64 --thread-yields=100 \
--thread-locks=2 run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 64

Doing thread subsystem performance test
Thread yields per test: 100 Locks used: 2
Threads started!
Done.

Test execution summary:
    total time:                          4.3925s
    total number of events:              10000
    total time taken by event execution: 280.4418
    per-request statistics:
         min:                                  0.04ms
         avg:                                 28.04ms
         max:                                 72.81ms
         approx.  95 percentile:              52.29ms

Threads fairness:
    events (avg/stddev):           156.2500/1.43
    execution time (avg/stddev):   4.3819/0.01

文件IO性能测试
首先生成需要的测试文件，文件总大小300M，16个并发线程，随机读写模式。执行完后会在当前目录下生成一堆小文件。

NinGoo:/u01/sysbench/bin>$sysbench --test=fileio --num-threads=16  \
--file-total-size=300M --file-test-mode=rndrw prepare
sysbench 0.4.12:  multi-threaded system evaluation benchmark

128 files, 2400Kb each, 300Mb total
Creating files for the test...

执行测试

NinGoo:/u01/sysbench/bin>$sysbench --test=fileio --num-threads=16  \
--file-total-size=300M --file-test-mode=rndrw run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 16

Extra file open flags: 0
128 files, 2.3438Mb each
300Mb total file size
Block size 16Kb
Number of random requests for random IO: 10000
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Threads started!
Done.

Operations performed:  5996 Read, 4004 Write, 12800 Other = 22800 Total
Read 93.688Mb  Written 62.562Mb  Total transferred 156.25Mb  (26.713Mb/sec)
 1709.66 Requests/sec executed

Test execution summary:
    total time:                          5.8491s
    total number of events:              10000
    total time taken by event execution: 12.5045
    per-request statistics:
         min:                                  0.01ms
         avg:                                  1.25ms
         max:                                373.28ms
         approx.  95 percentile:               0.03ms

Threads fairness:
    events (avg/stddev):           625.0000/109.60
    execution time (avg/stddev):   0.7815/0.29

清理现场

NinGoo:/u01/sysbench/bin>$sysbench --test=fileio --num-threads=16  \
--file-total-size=300M --file-test-mode=rndrw cleanup
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Removing test files...

Mutex测试

NinGoo:/u01/sysbench/bin>$sysbench --test=mutex --num-threads=16 \
--mutex-num=1024 --mutex-locks=10000 --mutex-loops=5000 run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 16

Doing mutex performance test
Threads started!
Done.

Test execution summary:
    total time:                          1.1561s
    total number of events:              16
    total time taken by event execution: 18.3831
    per-request statistics:
         min:                               1084.60ms
         avg:                               1148.94ms
         max:                               1153.52ms
         approx.  95 percentile:         10000000.00ms

Threads fairness:
    events (avg/stddev):           1.0000/0.00
    execution time (avg/stddev):   1.1489/0.02

内存测试

NinGoo:/u01/sysbench/bin>$sysbench --test=memory --num-threads=16 \
--memory-block-size=8192 --memory-total-size=1G run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 16

Doing memory operations speed test
Memory block size: 8K

Memory transfer size: 1024M

Memory operations type: write
Memory scope type: global
Threads started!
WARNING: Operation time (0.000000) is less than minimal counted value, counting as 1.000000
WARNING: Percentile statistics will be inaccurate
Done.

Operations performed: 131072 (114162.68 ops/sec)

1024.00 MB transferred (891.90 MB/sec)

Test execution summary:
    total time:                          1.1481s
    total number of events:              131072
    total time taken by event execution: 16.0448
    per-request statistics:
         min:                                  0.00ms
         avg:                                  0.12ms
         max:                                  3.60ms
         approx.  95 percentile:               0.01ms

Threads fairness:
    events (avg/stddev):           8192.0000/192.89
    execution time (avg/stddev):   1.0028/0.00

MySQL数据库测试
首先需要创建默认的sbtest数据库,或者使用–mysql-db指定一个已经存在的数据库

生成测试数据，引擎为myisam,表大小为1000000条记录

NinGoo:/u01/sysbench/bin>$sysbench --test=oltp --mysql-table-engine=myisam --oltp-table-size=1000000 \
--mysql-user=root --mysql-socket=/opt/mysql/run/mysql.sock prepare
sysbench 0.4.12:  multi-threaded system evaluation benchmark

No DB drivers specified, using mysql
Creating table 'sbtest'...
Creating 1000000 records in table 'sbtest'...

root@sbtest 11:42:18>desc sbtest.sbtest;
+-------+------------------+------+-----+---------+----------------+
| Field | Type             | Null | Key | Default | Extra          |
+-------+------------------+------+-----+---------+----------------+
| id    | int(10) unsigned | NO   | PRI | NULL    | auto_increment |
| k     | int(10) unsigned | NO   | MUL | 0       |                |
| c     | char(120)        | NO   |     |         |                |
| pad   | char(60)         | NO   |     |         |                |
+-------+------------------+------+-----+---------+----------------+

执行测试

NinGoo:/u01/sysbench/bin>$sysbench --test=oltp --mysql-table-engine=myisam --oltp-table-size=1000000 \
--mysql-user=root --mysql-socket=/opt/mysql/run/mysql.sock run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

No DB drivers specified, using mysql
Running the test with following options:
Number of threads: 1

Doing OLTP test.
Running mixed OLTP test
Using Special distribution (12 iterations,  1 pct of values are returned in 75 pct cases)
Using "LOCK TABLES WRITE" for starting transactions
Using auto_inc on the id column
Maximum number of requests for OLTP test is limited to 10000
Threads started!
Done.

OLTP test statistics:
    queries performed:
        read:                            140000
        write:                           50000
        other:                           20000
        total:                           210000
    transactions:                        10000  (336.64 per sec.)
    deadlocks:                           0      (0.00 per sec.)
    read/write requests:                 190000 (6396.11 per sec.)
    other operations:                    20000  (673.27 per sec.)

Test execution summary:
    total time:                          29.7056s
    total number of events:              10000
    total time taken by event execution: 29.6301
    per-request statistics:
         min:                                  2.27ms
         avg:                                  2.96ms
         max:                                 43.88ms
         approx.  95 percentile:               3.36ms

Threads fairness:
    events (avg/stddev):           10000.0000/0.00
    execution time (avg/stddev):   29.6301/0.00

清理现场

NinGoo:/u01/sysbench/bin>$sysbench --test=oltp --mysql-table-engine=myisam --oltp-table-size=1000000 \
--mysql-user=root --mysql-socket=/opt/mysql/run/mysql.sock cleanup
sysbench 0.4.12:  multi-threaded system evaluation benchmark

No DB drivers specified, using mysql
Dropping table 'sbtest'...
Done.

• MySQL的benchmark函数
• MySQL压力测试工具mysqlslap
• 压力测试和展示工具Swingbench简介
• AIX虚拟内存管理机制
• OOW2009美国行:宁静安详的波士顿
• Oracle10g新特性：使用DBMS_SQLTUNE优化SQL

PermLink: http://www.ningoo.net/html/2009/performance_test_tool_sysbench.html

Add Comments(0) | Follow NinGoo@Twitter | Google Reader

InnoDB在接受MySQL线程调用能时，有一个并发线程的检查机制，通过innodb_thread_concurrency参数进行控制。如果参数设置大于0，则表示检查机制开启，允许进入的线程数就是参数的值。等于0则禁用并发检查。

在新的MySQL线程调用Innodb接口前，Innodb会检查已经接受的请求线程数，如已经超过innodb_thread_concurrency设置的限制，则该请求线程会等待innodb_thread_sleep_delay微秒后尝试重新请求，如果第二次请求还是无法获得，则该线程会进入线程队列休眠。重试两次的机制是为了减少CPU的上下文切换的次数，以降低CPU消耗，这和Oracle中latch的spin机制是同样的道理。如果请求被Innodb接受，则会获得一个次数为innodb_concurrency_tickets(默认500次)的通行证，在次数用完之前，该线程重新请求时无须再进行前面所说innodb_thread_concurrency的检查。

上述检查逻辑在源码storage/innobase/srv/srv0srv.c(Innodb很多参数都可以在该文件中找到定义)的srv_conc_enter_innodb函数中，有兴趣的可以仔细阅读一下，代码比较浅显，不难理解。另外，如果是一个已经持有lock的线程，则通过调用srv_conc_force_enter_innodb函数可以无视该检查，这是为了避免线程长时间持有锁影响性能，且可能增加死锁的机率。除此之外，slave线程也是有无视检查直接通行的权限。

简单思考一下上述机制，可以得出一个初步的推论：在数据库并发请求较小的情况下，从性能上来说禁用检查机制应该是更好的，毕竟执行检查机制本身也需要加锁(Mutex)。当并发线程很高的情况下，则开启检查机制对性能更有利。至于具体innodb_thread_concurrency设置为多少，可能就需要在不同的条件下实际的做一下测试了，不同的硬件环境，不同的MySQL版本和Innodb版本，应该都会有一些区别。

源代码中对于innodb_thread_concurrency参数的注释如下：

/* The following controls how many threads we let inside InnoDB concurrently:
threads waiting for locks are not counted into the number because otherwise
we could get a deadlock. MySQL creates a thread for each user session, and
semaphore contention and convoy problems can occur withput this restriction.
Value 10 should be good if there are less than 4 processors + 4 disks in the
computer. Bigger computers need bigger values. Value 0 will disable the
concurrency check. */

ulong   srv_thread_concurrency  = 0;

因为检查机制需要Mutex保护(Mutex-based Model)，所以开启检查本身也有性能消耗，并且扩展性也会受到限制，在MySQL5.4版本中引入了一种新的机制（Timer-based Model），这里就不讨论了，有兴趣的可以参考这里(需要翻墙)，实际上XtraDB存储引擎里已经包含Timer-based Model，通过参数innodb_thread_concurrency_timer_based可以开启，默认为OFF。在MySQL5.4的srv0srv.c的源代码中的注释中，可以看到Google和Percona的版权声明，看来MySQL5.4中吸引了很多第三方的改进代码，值得期待。

• 从show innodb status看XtraDB的增强特性
• XtraDB存储引擎
• Innodb monitor介绍
• 使用Xtrabackup备份MySQL数据库(续)
• MySQL InnoDB存储引擎的事务隔离级别
• MySQL InnoDB存储引擎的一些参数

PermLink: http://www.ningoo.net/html/2009/about_innodb_thread_concurrency.html

Add Comments(0) | Follow NinGoo@Twitter | Google Reader

XtraDB存储引擎相对于标准的InnoDB引擎做了很多的改进，从show innodb status的结果可以初步看到部分增强的特性。下面是一个XtraDB测试环境(Linux)的结果：

root@(none) 11:25:18>show innodb status\G
*************************** 1. row ***************************
  Type: InnoDB
  Name:
Status:
=====================================
091106 11:26:11 INNODB MONITOR OUTPUT
=====================================
Per second averages calculated from the last 53 seconds
----------
BACKGROUND THREAD
----------
srv_master_thread loops: 8 1_second, 8 sleeps, 0 10_second, 15 background, 15 flush
srv_master_thread log flush and writes: 8  log writes only: 39
----------
SEMAPHORES
----------
OS WAIT ARRAY INFO: reservation count 9, signal count 9
Mutex spin waits 2, rounds 60, OS waits 0
RW-shared spins 9, OS waits 9; RW-excl spins 0, OS waits 0
Spin rounds per wait: 30.00 mutex, 30.00 RW-shared, 0.00 RW-excl
--------
FILE I/O
--------
I/O thread 0 state: waiting for i/o request (insert buffer thread)
I/O thread 1 state: waiting for i/o request (log thread)
I/O thread 2 state: waiting for i/o request (read thread)
I/O thread 3 state: waiting for i/o request (read thread)
I/O thread 4 state: waiting for i/o request (read thread)
I/O thread 5 state: waiting for i/o request (read thread)
I/O thread 6 state: waiting for i/o request (write thread)
I/O thread 7 state: waiting for i/o request (write thread)
I/O thread 8 state: waiting for i/o request (write thread)
I/O thread 9 state: waiting for i/o request (write thread)
Pending normal aio reads: 0, aio writes: 0,
 ibuf aio reads: 0, log i/o's: 0, sync i/o's: 0
Pending flushes (fsync) log: 0; buffer pool: 0
25 OS file reads, 48 OS file writes, 32 OS fsyncs
0.00 reads/s, 0 avg bytes/read, 0.09 writes/s, 0.08 fsyncs/s
-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 1, free list len 0, seg size 2,
0 inserts, 0 merged recs, 0 merges
Hash table size 553193, node heap has 1 buffer(s)
0.00 hash searches/s, 0.02 non-hash searches/s
---
LOG
---
Log sequence number 48613
Log flushed up to   48613
Last checkpoint at  48613
Max checkpoint age  7782360
Modified age        0
Checkpoint age      0
0 pending log writes, 0 pending chkp writes
24 log i/o's done, 0.04 log i/o's/second
----------------------
BUFFER POOL AND MEMORY
----------------------
Total memory allocated 136806400; in additional pool allocated 0
Internal hash tables (constant factor + variable factor)
    Adaptive hash index 2233316         (2212772 + 20544)
    Page hash           69556
    Dictionary cache    576800  (553912 + 22888)
    File system         41904   (41336 + 568)
    Lock system         167076  (166436 + 640)
    Recovery system     0       (0 + 0)
    Threads             41524   (41348 + 176)
Dictionary memory allocated 22888
Buffer pool size        8191
Buffer pool size, bytes 134201344
Free buffers            8170
Database pages          20
Modified db pages       0
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages read 19, created 2, written 45
0.00 reads/s, 0.00 creates/s, 0.04 writes/s
Buffer pool hit rate 1000 / 1000
LRU len: 20, unzip_LRU len: 0
I/O sum[2]:cur[0], unzip sum[0]:cur[0]
--------------
ROW OPERATIONS
--------------
0 queries inside InnoDB, 0 queries in queue
1 read views open inside InnoDB
Main thread process no. 16905, id 2788809632, state: waiting for server activity
Number of rows inserted 4, updated 0, deleted 0, read 0
0.02 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s
------------
TRANSACTIONS
------------
Trx id counter 509
Purge done for trx's n:o < 506 undo n:o < 0
History list length 1
LIST OF TRANSACTIONS FOR EACH SESSION:
---TRANSACTION 0, not started, process no 16905, OS thread id 2777967520
MySQL thread id 6, query id 196 dxmonitor 172.19.68.250 root
show innodb status
---TRANSACTION 508, ACTIVE 2 sec, process no 16905, OS thread id 2777766816
1 lock struct(s), heap size 320, 0 row lock(s), undo log entries 1
MySQL thread id 7, query id 195 dxmonitor 172.19.68.250 root
TABLE LOCK table `test`.`test` trx id 508 lock mode IX
----------------------------
END OF INNODB MONITOR OUTPUT
============================

1 row in set, 1 warning (0.00 sec)

从上面的结果可以看到：

• 增加了BACKGROUND THREAD部分，显示一些后台线程的统计信息
• SEMAPHORES部分，最后增加了一个关于spin的统计信息。引入了一个新的innodb_spin_wait_delay的参数对spin的行为进行控制
• FILE I/O部分，innodb默认开启4个IO线程，由参数innodb_file_io_threads控制，但在unix/linux平台该参数无效，只能是默认的4个。而XtraDB/innodb plugin默认开启8个IO线程，并且读线程和写线程可以分别由参数innodb_read_io_threads和innodb_write_io_threads控制。在多核CPU环境中，如果CPU和磁盘本身没有成为瓶颈，开启更多线程应该对提升IO性能有很好的作用。而读写线程的单独控制，则可以针对不同应用环境下的要求进行灵活配置。
• LOG部分，增加了max checkpoint age/Modified age/Checkpoint age信息，这些信息可用于调整一些IO相关的参数，具体可参考这里。
• BUFFER POOL AND MEMORY部分，XtraDB更加详细的列出buffer pool中不同部分的详细信息，还有buffer pool的命中率和LRU的信息等，对内存的使用情况一目了然，拒绝黑箱操作。

关于XtraDB的show innodb status的更多改进，请参考这里。

• XtraDB存储引擎
• InnoDB线程并发检查机制
• Innodb monitor介绍
• 使用Xtrabackup备份MySQL数据库(续)
• MySQL InnoDB存储引擎的事务隔离级别
• MySQL InnoDB存储引擎的一些参数

PermLink: http://www.ningoo.net/html/2009/xtradb_enhancements_in_show-innodb-status.html

Add Comments(0) | Follow NinGoo@Twitter | Google Reader

XtraDB存储引擎是percona公司对于innodb存储引擎进行改进加强后的产品，第一个版本为1.0.2-1，发布于2008年底。XtraDB兼容innodb的所有特性，并且在IO性能，锁性能，内存管理等多个方面进行了增强。

下载MySQL源代码，当前最新的5.1版本为5.1.40
http://dev.mysql.com/downloads/mysql/5.1.html#source

下载XtraDB源代码，当前最新的版本为1.0.4-8
http://launchpad.net/percona-xtradb/release-8/1.0.4-8/+download/percona-xtradb-1.0.4-8.tar.gz

解压MySQL

tar -zxvf mysql-5.1.40.tar.gz

解压XtraDB

tar -zxvf percona-xtradb-1.0.4-8.tar.gz

将MySQL原来的innodb源码删除或者重命名

cd mysql-5.1.40/storage
mv innobase innobase_bak

将XtraDB拷贝为innobase

cp -r ../../percona-xtradb-1.0.4-8 innobase/

重新编译安装MySQL

cd ../

./configure --prefix=/home/mysql/mysql --with-extra-charsets=all
--enable-assembler --enable-profiling --enable-community-features
--with-plugins=max --with-client-ldflags=-all-static --with-plugins=all

make && make install

安装完成后，就可以按照普通的MySQL安装创建数据库流程执行相应操作即可。XtraDB实际上是基于innodb plugin的代码修改而来，所以以上安装过程和innodb plugin的安装一致。

root@information_schema 04:19:48>show plugins;
+--------------------------------+----------+--------------------+---------+---------+
| Name                           | Status   | Type               | Library | License |
+--------------------------------+----------+--------------------+---------+---------+
| binlog                         | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| partition                      | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| ARCHIVE                        | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| BLACKHOLE                      | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| CSV                            | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| FEDERATED                      | DISABLED | STORAGE ENGINE     | NULL    | GPL     |
| MEMORY                         | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| InnoDB                         | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| INNODB_RSEG                    | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_BUFFER_POOL_PAGES       | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_BUFFER_POOL_PAGES_INDEX | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_BUFFER_POOL_PAGES_BLOB  | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_TRX                     | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_LOCKS                   | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_LOCK_WAITS              | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_CMP                     | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_CMP_RESET               | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_CMPMEM                  | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_CMPMEM_RESET            | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_TABLE_STATS             | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| INNODB_INDEX_STATS             | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| XTRADB_ENHANCEMENTS            | ACTIVE   | INFORMATION SCHEMA | NULL    | GPL     |
| MyISAM                         | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| MRG_MYISAM                     | ACTIVE   | STORAGE ENGINE     | NULL    | GPL     |
| ndbcluster                     | DISABLED | STORAGE ENGINE     | NULL    | GPL     |
+--------------------------------+----------+--------------------+---------+---------+

这里显示的innodb其实已经是XtraDB引擎了。可以简单看一下XtraDB引擎的特性来验证，例如XtraDB在information_schema中引入了xtradb_enhancements来记录其相对于innodb的增强特性。

root@information_schema 04:18:02>desc information_schema.xtradb_enhancements;
+-------------+--------------+------+-----+---------+-------+
| Field       | Type         | Null | Key | Default | Extra |
+-------------+--------------+------+-----+---------+-------+
| name        | varchar(255) | NO   |     |         |       |
| description | varchar(255) | NO   |     |         |       |
| comment     | varchar(100) | NO   |     |         |       |
| link        | varchar(255) | NO   |     |         |       |
+-------------+--------------+------+-----+---------+-------+

root@information_schema 04:19:45>select * from information_schema.xtradb_enhancements\G
*************************** 1. row ***************************
       name: xtradb_show_enhancements
description: I_S.XTRADB_ENHANCEMENTS
    comment:
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 2. row ***************************
       name: innodb_show_status
description: Improvements to SHOW INNODB STATUS
    comment: Memory information and lock info fixes
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 3. row ***************************
       name: innodb_io
description: Improvements to InnoDB IO
    comment:
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 4. row ***************************
       name: innodb_opt_lru_count
description: Fix of buffer_pool mutex
    comment: Decreases contention on buffer_pool mutex on LRU operations
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 5. row ***************************
       name: innodb_buffer_pool_pages
description: Information of buffer pool content
    comment:
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 6. row ***************************
       name: innodb_expand_undo_slots
description: expandable maximum number of undo slots
    comment: from 1024 (default) to about 4000
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 7. row ***************************
       name: innodb_extra_rseg
description: allow to create extra rollback segments
    comment: When create new db, the new parameter allows to create more rollback segments
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 8. row ***************************
       name: innodb_overwrite_relay_log_info
description: overwrite relay-log.info when slave recovery
    comment: Building as plugin, it is not used.
       link: http://www.percona.com/docs/wiki/percona-xtradb:innodb_overwrite_relay_log_info
*************************** 9. row ***************************
       name: innodb_thread_concurrency_timer_based
description: use InnoDB timer based concurrency throttling (backport from MySQL 5.4.0)
    comment:
       link:
*************************** 10. row ***************************
       name: innodb_expand_import
description: convert .ibd file automatically when import tablespace
    comment: the files are generated by xtrabackup export mode.
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 11. row ***************************
       name: innodb_dict_size_limit
description: Limit dictionary cache size
    comment: Variable innodb_dict_size_limit in bytes
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 12. row ***************************
       name: innodb_split_buf_pool_mutex
description: More fix of buffer_pool mutex
    comment: Spliting buf_pool_mutex and optimizing based on innodb_opt_lru_count
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 13. row ***************************
       name: innodb_stats
description: Additional features about InnoDB statistics/optimizer
    comment:
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 14. row ***************************
       name: innodb_recovery_patches
description: Bugfixes and adjustments about recovery process
    comment:
       link: http://www.percona.com/docs/wiki/percona-xtradb
*************************** 15. row ***************************
       name: innodb_purge_thread
description: Enable to use purge devoted thread
    comment:
       link: http://www.percona.com/docs/wiki/percona-xtradb
15 rows in set (0.00 sec)

可以看到引入了很多新的innodb控制参数，允许用户对xtradb引擎的工作方式做更多的控制

root@information_schema 04:22:01>show variables like '%innodb%';
+---------------------------------------+------------------------+
| Variable_name                         | Value                  |
+---------------------------------------+------------------------+
| have_innodb                           | YES                    |
| ignore_builtin_innodb                 | OFF                    |
| innodb_adaptive_checkpoint            | none                   |
| innodb_adaptive_flushing              | ON                     |
| innodb_adaptive_hash_index            | ON                     |
| innodb_additional_mem_pool_size       | 8388608                |
| innodb_autoextend_increment           | 8                      |
| innodb_autoinc_lock_mode              | 1                      |
| innodb_buffer_pool_size               | 134217728              |
| innodb_change_buffering               | inserts                |
| innodb_checksums                      | ON                     |
| innodb_commit_concurrency             | 0                      |
| innodb_concurrency_tickets            | 500                    |
| innodb_data_file_path                 | ibdata1:10M:autoextend |
| innodb_data_home_dir                  |                        |
| innodb_dict_size_limit                | 0                      |
| innodb_doublewrite                    | ON                     |
| innodb_enable_unsafe_group_commit     | 0                      |
| innodb_expand_import                  | 0                      |
| innodb_extra_rsegments                | 0                      |
| innodb_extra_undoslots                | OFF                    |
| innodb_fast_recovery                  | OFF                    |
| innodb_fast_shutdown                  | 1                      |
| innodb_file_format                    | Antelope               |
| innodb_file_format_check              | Antelope               |
| innodb_file_io_threads                | 4                      |
| innodb_file_per_table                 | OFF                    |
| innodb_flush_log_at_trx_commit        | 1                      |
| innodb_flush_method                   |                        |
| innodb_flush_neighbor_pages           | 1                      |
| innodb_force_recovery                 | 0                      |
| innodb_ibuf_accel_rate                | 100                    |
| innodb_ibuf_active_contract           | 0                      |
| innodb_ibuf_max_size                  | 67092480               |
| innodb_io_capacity                    | 200                    |
| innodb_lock_wait_timeout              | 50                     |
| innodb_locks_unsafe_for_binlog        | OFF                    |
| innodb_log_buffer_size                | 8388608                |
| innodb_log_file_size                  | 5242880                |
| innodb_log_files_in_group             | 2                      |
| innodb_log_group_home_dir             | ./                     |
| innodb_max_dirty_pages_pct            | 75                     |
| innodb_max_purge_lag                  | 0                      |
| innodb_mirrored_log_groups            | 1                      |
| innodb_open_files                     | 300                    |
| innodb_overwrite_relay_log_info       | OFF                    |
| innodb_read_ahead                     | linear                 |
| innodb_read_ahead_threshold           | 56                     |
| innodb_read_io_threads                | 4                      |
| innodb_replication_delay              | 0                      |
| innodb_rollback_on_timeout            | OFF                    |
| innodb_show_locks_held                | 10                     |
| innodb_show_verbose_locks             | 0                      |
| innodb_spin_wait_delay                | 6                      |
| innodb_stats_auto_update              | 1                      |
| innodb_stats_method                   | nulls_equal            |
| innodb_stats_on_metadata              | ON                     |
| innodb_stats_sample_pages             | 8                      |
| innodb_stats_update_need_lock         | 1                      |
| innodb_strict_mode                    | OFF                    |
| innodb_support_xa                     | ON                     |
| innodb_sync_spin_loops                | 30                     |
| innodb_table_locks                    | ON                     |
| innodb_thread_concurrency             | 0                      |
| innodb_thread_concurrency_timer_based | OFF                    |
| innodb_thread_sleep_delay             | 10000                  |
| innodb_use_purge_thread               | OFF                    |
| innodb_use_sys_malloc                 | ON                     |
| innodb_version                        | 1.0.4-7                |
| innodb_write_io_threads               | 4                      |
+---------------------------------------+------------------------+
70 rows in set (0.00 sec)

对比一下原版的5.1.40，innodb相关参数只有37个，整整多了33个参数。

mysql> show variables like '%innodb%';
+-----------------------------------------+------------------------+
| Variable_name                           | Value                  |
+-----------------------------------------+------------------------+
| have_innodb                             | YES                    |
| ignore_builtin_innodb                   | OFF                    |
| innodb_adaptive_hash_index              | ON                     |
| innodb_additional_mem_pool_size         | 1048576                |
| innodb_autoextend_increment             | 8                      |
| innodb_autoinc_lock_mode                | 1                      |
| innodb_buffer_pool_size                 | 8388608                |
| innodb_checksums                        | ON                     |
| innodb_commit_concurrency               | 0                      |
| innodb_concurrency_tickets              | 500                    |
| innodb_data_file_path                   | ibdata1:10M:autoextend |
| innodb_data_home_dir                    |                        |
| innodb_doublewrite                      | ON                     |
| innodb_fast_shutdown                    | 1                      |
| innodb_file_io_threads                  | 4                      |
| innodb_file_per_table                   | OFF                    |
| innodb_flush_log_at_trx_commit          | 1                      |
| innodb_flush_method                     |                        |
| innodb_force_recovery                   | 0                      |
| innodb_lock_wait_timeout                | 50                     |
| innodb_locks_unsafe_for_binlog          | OFF                    |
| innodb_log_buffer_size                  | 1048576                |
| innodb_log_file_size                    | 5242880                |
| innodb_log_files_in_group               | 2                      |
| innodb_log_group_home_dir               | ./                     |
| innodb_max_dirty_pages_pct              | 90                     |
| innodb_max_purge_lag                    | 0                      |
| innodb_mirrored_log_groups              | 1                      |
| innodb_open_files                       | 300                    |
| innodb_rollback_on_timeout              | OFF                    |
| innodb_stats_on_metadata                | ON                     |
| innodb_support_xa                       | ON                     |
| innodb_sync_spin_loops                  | 20                     |
| innodb_table_locks                      | ON                     |
| innodb_thread_concurrency               | 8                      |
| innodb_thread_sleep_delay               | 10000                  |
| innodb_use_legacy_cardinality_algorithm | ON                     |
+-----------------------------------------+------------------------+
37 rows in set (0.00 sec)

• 从show innodb status看XtraDB的增强特性
• InnoDB线程并发检查机制
• Innodb monitor介绍
• 使用Xtrabackup备份MySQL数据库(续)
• MySQL InnoDB存储引擎的事务隔离级别
• MySQL InnoDB存储引擎的一些参数

PermLink: http://www.ningoo.net/html/2009/xtradb_storage_engine.html

Add Comments(3) | Follow NinGoo@Twitter | Google Reader

上个星期在武汉参加校园招聘，整整两天半的面试，算了算差不多面了40个人，累得够呛。当然，DBA并没有这么多候选人，只有14位，因为面试官紧缺，顺便帮忙面试了C++开发和系统工程师。和南京时一样，来参加面试的大多是硕士研究生，本科生应该不到十位，博士研究生一位。

总体来说，面试中还是碰到了很多基础不错，有想法的同学，也恭喜这些同学能顺利通过面试，希望明年我们能一起认真工作，快乐生活。对于那些没能通过面试的同学，作为一个过来人和面试官，在这里罗嗦再几句：

一、自信相当重要，如果你都不相信自己能做好这份工作，如何能让面试官相信？部分同学面试时相当的紧张，这也可以理解，所以一开始的紧张还好，但如果半个小时的面试过去了，手脚还在发抖，就不得不让人对你的抗压能力发生怀疑。

二、清楚的认识自己，确认明显的求职方向。有些同学，投的职位从DBA到开发到前端，似乎无所不能。甚至还有同学，面试投的是技术方面的职位，简历上的求职意向却是销售，然后用笔把销售二字涂掉以后再写上DBA，这个，玩笑开得有点大了吧？当然，如果发现有的同学确实基础还不错，而应聘的职位不是太符合的情况下，我会尽量推荐到合适职位的面试官哪里去，但也不能天马行空胡乱撒网是吧？

三、沟通的技巧。有些同学，一上来就像背教科书一样噼里啪啦一通，甚至都不让面试官有开口发问的机会，只好强行打断。或者面对问题再三的避而不答，顾左右而言它，或者用不断提问的方式试图以攻为守。抛开技术能力不谈，这样的方式，在团队中如何能做到有效沟通？

武汉归来，一群人大肆采购周黑鸭，麻辣口味，名不虚传啊。

• 淘宝网2010年校园招聘启航
• 淘宝2009校园招聘
• 招聘这事儿
• 淘宝网招聘主机存储工程师，Oracle DBA及MySQL DBA
• 阿里妈妈，求贤若渴
• 转载：EMC存储平台Symmetrix DMX-3在淘宝网成功应用

PermLink: http://www.ningoo.net/html/2009/taobao_university_recruitment_wuhan.html

Add Comments(3) | Follow NinGoo@Twitter | Google Reader

在oow2009第三天，听过这堂《Managing Statistics for Optimal Query Performance》，讲课的是Karen Morton女士，非常巧妙的利用一副扑克牌来讲述统计信息的概念，这个ppt让我印象深刻。今天在网上看到Karen Morton已经将该ppt放出来了，引用在这里供大家分享：

• OOW2009美国行:金门大桥与奥巴马
• OOW2009美国行:大会第四天
• OOW2009美国行:大会第三天续
• OOW2009美国行:大会第三天
• OOW2009美国行:大会第二天
• OOW2009美国行:大会第一天

PermLink: http://www.ningoo.net/html/2009/oow2009_ppt_managing_statistics_for_optimal_query_performance.html

Add Comments(3) | Follow NinGoo@Twitter | Google Reader

太平洋时间15号，OOW第五天，也是最后一天，估计会场已经相当冷清了，只能是估计，因为这一天我没有去会场，没有数据库相关的sessin可以听了。

到了旧金山，不能不去一下金门大桥，虽然起床后发现老天阴沉着脸，时不时还飘点细雨，但想着明天就要离开，我和Fenng还是义无反顾。在Market Street和Powell Street的路口花了5刀搭乘Cable Car到渔人码头。Cable Car也叫叮当车，是旧金山最有名的交通工具。1873年通车，100多年容颜未改的行驶在城市之中，旧金山真是的一座山城，上坡下坡非常多，而叮当车穿行其间，速度虽不快，却别有一番风味。

本想在渔人码头找公交车去金门大桥，两个土鳖转了一圈也没找到，只好打车过去，车费25刀，过桥费6刀，勉强可以接受。天气不好，金门大桥和对面的旧金山城市都笼罩在薄雾之中，拍照受到相当大的影响，不过云山雾罩，也别有一番滋味，爬上桥旁边的小山坡，大桥和旧金山市尽收眼底。第二天去机场的时候，多日阴雨终于第一次晴空万里，却又要匆匆离去，无缘一赏蓝天白云下的金门大桥，有遗憾，待来年，只是未知来年是何年了。

金门大桥是世界著名悬索桥，被誉为近代桥梁工程的一项奇迹。金门大桥的设计者是工程师史特劳斯，大桥雄峙于美国加利福尼亚州宽1900多米的金门海峡之上。金门大桥的巨大桥塔高227米，每根钢索重6412公吨，由27000根钢丝绞成。1933年1月始建，1937年5月首次建成通车。

去是容易回时难。找回城的车又让我们傻眼了，这里没有出租车，也没有找到公交车。最后找到一辆双层观光车，本来是2天35刀随便上下车的，我们和司机说好搭个顺风车回联合广场，每人10刀，后来才发现这10刀还真是值了。我们两个坐在上层，导游一路跟我们聊天，介绍沿途的景点，超级加长型的专车享受啊。车在Golden Gate Park里迂回穿行，一路走马观花，美景不尽。

回到联合广场，发现一拨人正在举着牌子喊口号，而且沿街很多警察，头顶直升机盘旋。找人一打听，说是Obama要来，我们混在人群了等了一个小时，望眼欲穿也没等到，只好放弃。据说Obama和我们入住了同一个酒店，所以后来回酒店时也遇到了一点麻烦，进入酒店的路被封了，还被检查了背包，看来奥巴马出行的阵势也不简单。不过还好也不算太扰民，至少示威的可以示威，路过的也可以路过，只是可能多花点时间而已。

北京时间17号晚上六点，经过13个小时的飞行，终于飞回上海浦东国际机场，为期16天的长途旅行宣告结束。

• OOW2009美国行:大会第四天
• OOW2009美国行:大会第三天续
• OOW2009美国行:大会第三天
• OOW2009美国行:大会第一天
• OOW2009美国行:大会第二天
• OOW2009美国行:东部之旅结束

PermLink: http://www.ningoo.net/html/2009/oracle_open_world_2009_golden_gate_and_obama.html

Add Comments(0) | Follow NinGoo@Twitter | Google Reader

14号上午没有想听的session，就出去转了转。酒店和会场就在旧金山的购物大街Market Street旁边没多远的Howard Street，走过去几分钟就够了。Market Street街上很多名牌专卖店，我基本都是不懂的，再过去一点就是联合广场(Union Square)，号称全美三大购物中心之一，看了看好像也没感觉有啥特别的地方的，把要买东西的几个店的地方摸清楚就回去吃午饭了。

第四天的重头戏，自然是拉里埃里森的演讲，据说加州州长，终结者阿诺施瓦辛格同学也会来捧场，更加的有噱头。所以下午2:45分才开始的keynote，而且前面一个小时还是infosys的CEO的预热场，结果吃饭午饭不久就开始排起来了长龙。因为不想排队，我和Fenng又出去转了一圈，打算等四点左右看能不能混进会场，事实证明是不可行的。没办法，我们只能在昨天听tom讲课的教室里看大屏幕直播。进去的时候埃里森正在不遗余力的推广Sun Oracle Database Machine(Exadata v2)，PPT上甚至出现了大段大段的技术细节描述。

埃里森在ppt里公布了Exadata V2的价格：

讲到中途，拉里正在拿一千万悬赏跟IBM宣战呢，后面突然冒出几个人搬上讲台和凳子，施瓦辛格闪亮出场了。阿诺在演讲中大肆赞言了技术对加州的重要性，也顺带拍了下Oracle和Sun的马屁。曾经的终结者，如今的州长，世事变迁，岁月流转，一切皆有可能。演讲的最后，施瓦辛格开玩笑说请大家帮个忙，留在这就别走了，多花钱消费，加州需要你们的money，全场一片哄笑。施瓦辛格来去匆匆，一分钟都不耽误，演讲一完成立马跑路。然后拉里再接着之前的话题继续推销Exadata，也没说要尊重领导，要等领导先讲之类的。

终于还是不死心，又听了Tom的最后一场《Effective PL/SQL》，这次近距离的拍了一场tom的特写。

晚上Oracle在金银岛(Treasure Island)举办了一个盛大的party，请了四支乐队(Aerosmith,Roger Daltrey,The Wailers,THree Dog Night)，准备了大量的游乐设施和食品，几万人的狂欢之夜。现场感受了Aerosmith乐队疯狂震撼的演出，真的是震耳欲聋，声嘶力竭。回到酒店已经凌晨一点了，所以blog也是今天补记的。

于我而言，OOW2009到第四天就算是结束了，第五天已经没有和database相关的session了，正好可以趁机好好逛一下旧金山，顺带扫货回家咯。

• OOW2009美国行:大会第三天
• OOW2009美国行:金门大桥与奥巴马
• OOW2009美国行:大会第三天续
• OOW2009美国行:大会第一天
• OOW2009美国行:大会第二天
• OOW2009美国行:东部之旅结束

PermLink: http://www.ningoo.net/html/2009/oracle_open_world_2009_fouth_day.html

Add Comments(0) | Follow NinGoo@Twitter | Google Reader

下午写完上一篇blog后，雨终于停了。看了看还能赶上五点半的一场session，就又晃悠到了会场，打算听听《The top 10 – No, 11 – New Features of Oracle Database 11g Release 2》，进去以后才发现居然是Thomas Kyte主讲的，不禁暗喜，本来还一直在遗憾错过了第一天早上Tom的Develop keynote呢。不过刚回头看了下tom的blog，发现其实他要讲很多个session，昨天本来有一个DBA2.0的我是计划好要去听的，但是因为其他原因又错过了。明天下午他还有最后一场关于PL/SQL的，果然是大忙人。

Oracle 11gR2的新特性很多，要从其中选出10来个，不同的人，关注的方面肯定不同，那么Tom关注的是哪些呢？当然，如果要详谈，每一个新特性都足可以写成长篇大论。这里我根据Tom的ppt粗略整理了一下，回国后可以花点时间去详细了解每个特性：

1.Do it youself parallelism
这一条主要讲的是11g通过引入dbms_parallel_execute包来帮助自动实现原来需要人工实现的并行。像以前我们对一张达标，可以根据rowid范围进行人工并行查询，现在则可以借助这个包来实现。Tom在ppt上就演示了一个rowid拆分并行的例子。

2.Analytics are the coolest thing to happen to SQL since the keyword SELECT
分析函数一直都是Oracle比较强大的地方，11gR2则引入了一个新的listagg，按tom的话说这是长久以来就期待的。这个分析函数可以将多行的值拼接到一行，这在9i需要使用用户自定义函数实现，在10g可以利用sys_connect_by_path实现，但是比较繁琐而且不易理解，是一个高深的“技巧”，而listagg则把事情变得简单多了。

3.Execute on a directory
这个新特性最让人激动的地方，就是外部表可以借此执行os层面上的代码，如shell脚本等。也就是说在对外部表执行select的时候，可以触发执行os上的脚本，这在某些情况下会非常有用。

4.Recursive Subquery Factoring
可以递归调用子查询，以避免使用让人难以理解的connect by子句。并且这是符合ANSI标准的，而connect by是oracle自己的语法。

5.Improved Time Travel
这是指闪回查询相关的，闪回查询支持穿越DDL了。

6.You’ve got Mail
通过File Watcher，可以在某个目录下有文件生成时捕获事件并执行预定义的代码。

7.Deferred Segment Creation
延迟段创建，也就是在DDL执行创建表或者索引的时候，对应的segment实际上是不创建的，只有等到有真正的数据插入的时候，Oracle才会去创建段。

8.Flash Cache
利用SSD盘来作为二级SGA。为此，oracle11gR2引入了两个新的初始化参数，用于设置Flash Cache：db_flash_cache_file和db_flash_cache_size。

9.Parallel Improved
oracle11gR2可以自动调整并行度(degree of parallelism)，并且在parallem server不足的情况下自动将后续的并行查询排进一个FIFO队列。另外还实现了In-Memory Parallel Execution。

10.Edition-base Redefinition
11.Edition-base Redefinition
你没看错，这两条其实是同一条，Tom认为这是oracle11gR2的killer feature，所以值得当成两条特性。Oracle将程序开发中的代码版本的概念和功能搬进了数据库，对于开发功力深厚的Tom来说，这个特性应该是会感到非常惬意的。

Tom，还有昨天的Lewis，都是在oracle领域做了20多年的真正的大师，他们对于技术几十年的坚持和更新，不得不让人赞叹。这次到美国参加oow，给我感受最深的，不是oracle又推出了多少新特性，不是oracle又整合了多少新产品，而是会场上的与会者，须发皆白，皱纹满面者，处处皆是。不像2007年在上海，基本都是二三十岁的年轻人。能坚持者，方成大器，放眼国内，能有几人。

• OOW2009美国行:金门大桥与奥巴马
• OOW2009美国行:大会第四天
• OOW2009美国行:大会第三天
• OOW2009美国行:大会第一天
• OOW2009美国行:大会第二天
• OOW2009美国行:东部之旅结束

PermLink: http://www.ningoo.net/html/2009/oracle_open_world_2009_third_day_2.html

Add Comments(2) | Follow NinGoo@Twitter | Google Reader

美国太平洋时间10月13日，中国北京时间10月14日，OOW2009时间第三日，雨。壬辰水箕破日，日值月破，大事不宜。

今天不再受东西部时差困扰，一觉睡到早上八点。拉开窗帘一看，旧金山笼罩在阴云细雨中，于是早上八点半开始的keynote就没有去听。熬到十点多，雨还是不停，只好冒雨跑到旁边不远的Moscone west的展厅，嗯，先到那里解决早餐的问题。昨天在展厅走马观花，没有细看，原来GoldenGate也有展台。

在昨天的session中，了解到Sun Oracle Database Machine备份数据到磁带可以达到7.8TB/小时，刚好今天上午有个session讲关于database machine备份和恢复的，就去听了听。原来昨天的数据就是今天讲的一个测试环境测试出来的。

听完还特意跑到keynote会场旁边放的五台Database Machine旁边给它们拍了一张特写。

今天中午比较好运，找到一份有鸡肉的快餐，做为一个无肉不欢的DBA，这是一件值得庆幸的事情。昨天在Salesforce.com展台领了件T-shirt，结果收到邮件说今天下午一点他们有个session，前500位参加的送一台Flip HD camera。吃完饭看还差三十分钟就想去排队，结果队伍已经排到了外面大街上，雨还在稀里哗啦的下，我又没带雨伞，只好作罢。回头随便找了个session，《managing statistcs for optimal query performance》，实际上在这样的大会上听这种比较深入的技术课程是比较难听进去的。这个session的讲师是一位女士，非常风趣的利用扑克牌将课程讲得更加浅显易懂，这个ppt回去以后应当去找找，用来给新人做培训非常不错。

接下来走了几个会场都没找到想听的，外面雨越来越大，就想打道回酒店休息。顺道去会场里的Oracle Book Store里转了一下，买了件印有Oracle Logo的抓绒外套，加税82刀多，还不打折，NND，肉痛。

• OOW2009美国行:大会第四天
• OOW2009美国行:金门大桥与奥巴马
• OOW2009美国行:大会第三天续
• OOW2009美国行:大会第一天
• OOW2009美国行:大会第二天
• OOW2009美国行:东部之旅结束

PermLink: http://www.ningoo.net/html/2009/oracle_open_world_2009_third_day.html

Add Comments(4) | Follow NinGoo@Twitter | Google Reader