Spool的结果的确很乱, 在Yong Huang提议在AnySQL中加入MySQL按列显示功能后, 就在文本导出工具中也加入了这个功能, 第一版本的ociuldr使用如下参数.

ociuldr form=yes ...

    第二版的文本导出工具也有这个功能, 只是SQLULDR2中需要设置三个选项才行.

$sqluldr2 scott/tiger query=emp colsep=0x20:0x20 field=0x0a record=0x0a0x0a file=-

EMPNO    : 7369
ENAME    : SMITH
JOB      : CLERK
MGR      : 7902
HIREDATE : 1980-12-17 00:00:00
SAL      : 800
COMM    :
DEPTNO  : 20

EMPNO    : 7499
ENAME    : ALLEN
JOB      : SALESMAN
MGR      : 7698
HIREDATE : 1981-02-20 00:00:00
SAL      : 1600
COMM    : 300
DEPTNO  : 30
......

    能用SQLULDR2来改善用户体验, 真是当初意想不到的事情.

Relative Posts:

• 2010/01/15 -- 两个用户的SQLULDR2需求 (1)
• 2009/12/25 -- SQLULDR2的按列文本输出 (0)
• 2009/12/25 -- SQLULDR2的自定义转义符处理 (2)
• 2009/10/27 -- 将SQLULDR2转义符进行到底 (3)
• 2009/10/26 -- SQLULDR2处理MySQL转义符 (1)
• 2009/08/31 -- SQLULDR2处理MySQL的空值 (2)
• 2009/04/02 -- 给SQLULDR2加上Key保护 (6)
• 2008/01/25 -- ociuldr更新(2008/01/25) (13)
• 2007/08/22 -- ociuldr的更新, 为了更好的long类型支持 (1)
• 2007/01/02 -- 在ociuldr的SQL中使用绑定变量 (4)

EMPNO	7782
ENAME	CLARK
JOB	MANAGER
MGR	7839
HIREDATE	1981-06-09 00:00:00.0
SAL	2450
COMM
DEPTNO	10
EMPNO	7839
ENAME	KING
JOB	PRESIDENT
MGR
HIREDATE	1981-11-17 00:00:00.0
SAL	5000
COMM
DEPTNO	10

    实现这个功能, 并没有修改任何一行代码, 只是改了一下控制显示格式的XSL文件, 然后在报表定义文件中加入一行.

WEBCHART.XMLATTR=form="yes"
WEBCHART.QUERY_1=SELECT * FROM EMP WHERE DEPTNO=10

    想要更丰富的格式, 只需要再改进一下XSL文件即可, 不需要修改Java代码, 不过这需要你对XML和XSLT比较熟悉.

Relative Posts:

• 2010/01/20 -- 逻辑连接层与物理连接层 (3)
• 2010/01/08 -- DataReport中的超级表达式 (0)
• 2010/01/08 -- DataReport的重复值合并 (0)
• 2010/01/05 -- DataReport中的FORALL循环 (0)
• 2009/12/29 -- DataReport中的Cache为王 (4)
• 2009/12/28 -- 统一DataReport的Servlet (2)
• 2009/12/02 -- 添加URL/HTML字符转义功能 (1)
• 2009/09/21 -- 多支持了四种业务图 (0)
• 2009/07/28 -- DataReport增加JfreeChart支持 (7)
• 2009/07/25 -- DataReport的图片服务功能 (0)

    除了时间和资源外, 在当时的条件下, 解决新生期的细节上的问题是入不付出的, 并且事物不会因为这个细节上的问题, 而导致当时的失败, 甚至可能什么都表现不出来, 相当长的一段时间内都会隐藏得很好, 除了当时事物的制造者可能知道外, 不是所有的细节上的问题在形成之初就是已知的, 都认为这是一个十分完美的事物.

    虽然不是所有的细节上的问题在形成之初就是已知的, 但有很多应当是已知的, 只是这个细节上的问题, 在传承上出了问题, 事物可能前后经由多个人进行修改与完善, 前面已经感觉到的问题, 如果没有有效地交托给下一个, 就隐藏了, 没被隐藏的一般都是比较大的问题, 不会成为历史遗留问题.

    历史遗留问题的发现一般都是由于事故, 量变引起质变, 在量没有到达之前, 不会形成事故, 不会有让人感觉到难过的严重危害. 拿IT系统来说, 用户数的增长, 业务的增长, 数据量的极速增长, 到一定的量后, 才会发现当初被忽略的细节现在都成了头痛的问题, 成了历史遗留问题, 不满意的用户绝对数量在增加. 在用户的心目中, 事物应当变得越来越完善, 但当发现没有变化时, 变得越来越失望, 为什么当初没造成用户体验问题, 现在却造成了用户体验问题, 当时用得好好的, 什么也没有变, 就变成了问题很多的事物了. 看来对既有事物的完善速度必须要超过社会发展的速度, 才不会引起用户体验问题.

    一个历史遗留问题的爆发, 往往会引出更多的历史遗留问题, 站在今天的时间点回首看去, 会发现一个一个的黑洞, 从而引生出放弃旧事物, 开发新事物的想法, 并且很容易取得一致的共识, 大量的历史遗留问题是很难解决的, 重新做一个要比改造来得更快更好. 另外此时彼时物虽是人已非, 每个人都不想去修复历史遗留问题, 因为长期的积累, 这些问题已经变得很难处理, 处理好了只是个小功劳, 处理不好就是大问题.

    有部份的历史遗留问题一定是通过创建新事物来解决的, 也有一些必须通过修复来解决的, 当你偏向于某一方时, 就会在一定的时间段内引起一定的问题, 问题在于你能否支撑过这段青黄不接的时期.

Relative Posts:

• 2010/01/04 -- 最近在整理的几篇文档 (2)
• 2009/09/11 -- DBA有什么个人前途? (17)
• 2009/09/08 -- 因丈母娘的需求而买房? (5)
• 2009/09/03 -- 收费有助于网购信用 (1)
• 2009/08/25 -- 关于技术积累的几点想法 (5)
• 2009/08/17 -- 努力创造DBA额外价值 (27)
• 2009/08/12 -- 个人价值决定个人回报 (13)
• 2009/08/04 -- DBA最缺的不是技术 (8)
• 2009/08/02 -- 当群众演员比干DBA还累 (9)
• 2009/07/29 -- 域名解释与行人问路 (2)

    按位置(POSITION)访问, 指程序提供一个标识位置的数, 然后与逻辑连接层的连接源数目进行取余操作, 根据余数来获取指定位置的数据源. 继续上一次中的四个MySQL的例子, 我们创建如下逻辑连接, 在访问时如果提供的值是5, 则最后取到的是5余4的位置, 即SLAVE1.

LOGICAL.DEFAULT=POSITION|MASTER,SLAVE1,SLAVE2,SLAVE3

    按范围(RANGE)访问, 指程序提供一个标识位置的数, 然后与逻辑连接层的连接数据源进行比较操作, 按顺序找到指定位置的数据源. 继续上一次中的四个MySQL的例子, 我们创建如下逻辑连接, 在访问时如果提供的值是250, 则最后取到的是小于300的位置, 即SLAVE2. 同前面的按位置相比, 这个可以在增减数据源时, 将影响控制得更好.

LOGICAL.DEFAULT=POSITION|MASTER,SLAVE1,SLAVE2,SLAVE3
LOGICAL.DEFAULT.VALUES=100,200,300,400

    在程序中, 可以根据业务特色提供这个标识位置的数, 然后在JDBC的访问URL中提供这个值, 访问代码如下所示.

try {
  Connection db = DriverManager.getConnection("jdbc:anysql:default/250", null);
  ......
  db.close();
}
catch (SQLException sqle)
{
  ......
}

    接下来当然还会思考有没有新的方式了, 有了这些访问方式, 进一步抽像一下, 可以看看能不能将数据库当成一个磁盘(Database as Disk)来看, 写一个弱弱的DatabaseRaid类在实验室玩玩数据冗余.

Relative Posts:

• 2010/01/05 -- DataReport中的FORALL循环 (0)
• 2010/01/20 -- 逻辑连接层与物理连接层 (3)
• 2010/01/08 -- DataReport中的超级表达式 (0)
• 2010/01/08 -- DataReport的重复值合并 (0)
• 2009/12/29 -- DataReport中的Cache为王 (4)
• 2009/12/28 -- 统一DataReport的Servlet (2)
• 2009/12/02 -- 添加URL/HTML字符转义功能 (1)
• 2009/09/21 -- 多支持了四种业务图 (0)
• 2009/07/28 -- DataReport增加JfreeChart支持 (7)
• 2009/07/25 -- DataReport的图片服务功能 (0)

    JDBC Driver的类名为:

com.lfx.db.AnySQLDriver

    使用这个类时, 需要传入一个保存连接配置信息(逻辑库, 物理库)的文件, 只要创建一个类实例就行了.

new com.lfx.db.AnySQLDriver(Sting config_file);

    接下来就可以用标准的JDBC来获得逻辑库的连接了, URL规则为:

jdbc:anysql:logical_database_name

    比如在批处理中, 要从上一篇的三个Slave库中的一个读取一条记录, 就可以使用如下代码.

try {
  Connection db = DriverManager.getConnection("jdbc:anysql:readdb", null);
  ......
  db.close();
}
catch (SQLException sqle)
{
  ......
}

    现在还没有真正投入使用, 只在实验室中测试了一下, 感觉上还可以.

Relative Posts:

• 2009/02/26 -- AnySQL DB查询组件 (0)
• 2009/01/14 -- WebChart的Excel导出 (3)
• 2010/01/26 -- 逻辑连接层与物理连接层(2) (0)
• 2010/01/20 -- 逻辑连接层与物理连接层 (3)
• 2010/01/08 -- DataReport中的超级表达式 (0)
• 2010/01/08 -- DataReport的重复值合并 (0)
• 2010/01/05 -- DataReport中的FORALL循环 (0)
• 2009/12/29 -- DataReport中的Cache为王 (4)
• 2009/12/28 -- 统一DataReport的Servlet (2)
• 2009/12/04 -- 报表页面导航链接定义 (1)

    还是举一个例子来说明一下, 比如你有一台主MySQL库(master)后面挂了三台从MySQL库(Slave), 然后用DataReport去搭建一个以读为主的应用, 希望DataReport能首先随机挑选三个Slave库中的一台进行读取, 如果三台Slave都不行, 则从Master进行读取.

    首先定义四台MySQL数据库的连接, 称为物理层的配置.

PHYSICAL.DBLIST=MASTER|SLAVE1|SLAVE2|SLAVE3

    然后定义逻辑连接层, 以实现上面的要求.

LOGICAL.DBLIST=writedb|slavedb|readdb
LOGICAL.WRITEDB=FIRST|MASTER
LOGICAL.SLAVEDB=RANDOM|SLAVE1,SLAVE2,SLAVE3
LOGICAL.READDB=FAILOVER|SLAVEDB,WRITEDB

    其中FIRST表示读取第一个连接池, RANDOM表示从后面的连接中随机选一个, FAILOVER表示第一个失败的话，取下一个. 通过这三种关系, 就实现了我们的要求. 然后给物理连接池及每个逻辑连接都加上状态判断, 当遇到连接关闭的错误时, 就将相应的连接池标记为不可用(Markdown), 逻辑库层可以主动跳过已经被Markdown的下一级节点, 按照规则查找到一个可用的物理数据库连接.

    在DataReport中还设置了一个守护进程, 会每分钟检查各个Markdown的物理连接池, 偿试去Markup, 一当出现意外的物理库回到正常状态, 就可以提供服务, 使应用保持高可用状态.

Relative Posts:

• 2010/01/08 -- DataReport中的超级表达式 (0)
• 2010/01/08 -- DataReport的重复值合并 (0)
• 2010/01/05 -- DataReport中的FORALL循环 (0)
• 2009/12/29 -- DataReport中的Cache为王 (4)
• 2009/12/28 -- 统一DataReport的Servlet (2)
• 2009/12/02 -- 添加URL/HTML字符转义功能 (1)
• 2009/09/21 -- 多支持了四种业务图 (0)
• 2009/07/28 -- DataReport增加JfreeChart支持 (7)
• 2009/07/25 -- DataReport的图片服务功能 (0)
• 2009/07/23 -- 更灵活的DataReport格式控制 (0)

    建表的语法会写在SQLLDR的控制文件中, 并不生成独立的SQL文件, 当我们运行如下命令.

sqluldr2 scott/tiger query=emp table=emp

    得到的SQLLDR控制文件(emp_sqlldr.ctl)中, 就包含了建表语法, 如下所示.

--
-- SQL*UnLoader: Fast Oracle Text Unloader (GZIP), Release 3.0.1
-- (@) Copyright Lou Fangxin (AnySQL.net) 2004 - 2010, all rights reserved.
--
/*
  CREATE TABLE emp (
    EMPNO NUMBER(4),
    ENAME VARCHAR2(10),
    JOB VARCHAR2(9),
    MGR NUMBER(4),
    HIREDATE DATE,
    SAL NUMBER(7,2),
    COMM NUMBER(7,2),
    DEPTNO NUMBER(2)
  );
*/
OPTIONS(BINDSIZE=2097152,READSIZE=2097152,ERRORS=-1,ROWS=50000)
LOAD DATA
INFILE 'uldrdata.txt' "STR X'0a'"
INSERT INTO TABLE emp
FIELDS TERMINATED BY X'2c' TRAILING NULLCOLS
(
  EMPNO CHAR(6) NULLIF EMPNO=BLANKS,
  ENAME CHAR(10) NULLIF ENAME=BLANKS,
  JOB CHAR(9) NULLIF JOB=BLANKS,
  MGR CHAR(6) NULLIF MGR=BLANKS,
  HIREDATE DATE "YYYY-MM-DD HH24:MI:SS" NULLIF HIREDATE=BLANKS,
  SAL CHAR(10) NULLIF SAL=BLANKS,
  COMM CHAR(10) NULLIF COMM=BLANKS,
  DEPTNO CHAR(4) NULLIF DEPTNO=BLANKS
)

    数据类型的准确性还有待验证, 并且只是Oracle的建表语法, CHAR和VARCHAR2也没有进行区分, 若有必要可进一步改善.

Relative Posts:

• 2010/02/08 -- SQLULDR2也可改善用户体验 (0)
• 2009/12/25 -- SQLULDR2的按列文本输出 (0)
• 2009/12/25 -- SQLULDR2的自定义转义符处理 (2)
• 2009/10/30 -- SQLULDR2功能增加, 性能不减 (14)
• 2009/10/27 -- 将SQLULDR2转义符进行到底 (3)
• 2009/10/26 -- SQLULDR2处理MySQL转义符 (1)
• 2009/08/31 -- SQLULDR2处理MySQL的空值 (2)
• 2009/04/02 -- 给SQLULDR2加上Key保护 (6)
• 2009/03/12 -- 让ociuldr支持1000个列 (4)
• 2008/01/25 -- ociuldr更新(2008/01/25) (13)

    例如, 在我的笔记本上, 每次启动AUL都得到如下输出.

Register Code: DETO-NODT-JETT-DNMX-DDCN
AUL : AnySQL UnLoader(MyDUL) for Oracle 8/8i/9i/10g/11g, release 5.1.1

(C) Copyright Lou Fangxin 2005-2010 (AnySQL.net), all rights reserved.

AUL>

    这里所说的同一台机器, 并不是指物理的机器, 即使只是操作系统的重装, 也有可能让注册码发生更改, 从而需要新的许可证, 固定许可证方式将对AUL的用户更加有利, 其他平台的AUL也将一步一步进行许可证改造.

    在固定许可证模式下, 你购买AUL时, 不只是得到了一次服务, 更重要的是你真正得到达了一个长期可用的许可证.

Relative Posts:

• 2009/06/09 -- AUL程序上的两处缺陷 (1)
• 2009/04/26 -- 拯救数据, 拯救地球? (9)
• 2008/08/01 -- 终极Oracle数据恢复工具 — AUL (8)
• 2008/07/06 -- 连错库误删100多张表 (9)
• 2008/04/16 -- AUL Sybase数据恢复工具 (4)
• 2008/03/30 -- AUL也走品牌路线? (2)
• 2008/03/28 -- 选择AUL恢复数据的理由 (3)
• 2008/03/19 -- Oracle数据恢复服务模式 (0)
• 2007/11/06 -- 将完成AUL最后一个心愿, 支持Compress表 (2)
• 2009/11/20 -- 首次AUL恢复失败案例 (1)

    这样的需求还是有一定的通用性的, 不如放到客户端来计算, 在DataReport中实现它吧! 下面这个报表的后台数据库是在MySQL上的, 先猜猜是如何完成的.

empno	ename	job	sal	deptno	Pecent	Rank
7782	CLARK	MANAGER	2450.0	10	28	2
7839	KING	PRESSIDEN	5000.0		57.1429	1
7934	MILLER	CLERK	1300.0		14.8571	3
7369	SSMITH	CLERK	800.0	20	7.3563	5
7566	JONESS	MANAGER	2975.0		27.3563	3
7788	SSCOTT	ANALYSST	3000.0		27.5862	1
7876	ADAMSS	CLERK	1100.0		10.1149	4
7902	FORD	ANALYSST	3000.0		27.5862	2
7499	ALLEN	SSALESSMA	1600.0	30	17.0213	2
7521	WARD	SSALESSMA	1250.0		13.2979	5
7654	MARTIN	SSALESSMA	1250.0		13.2979	4
7698	BLAKE	MANAGER	2850.0		30.3191	1
7844	TURNER	SSALESSMA	1500.0		15.9574	3
7900	JAMESS	CLERK	950.0		10.1064	6

    所用的SQL只是非常简单的SELECT语句.

select
        empno, ename, job, sal, deptno
    from emp_his order by deptno

    在报表定义文件中, 定义了两个虚拟列, 指定表达式, 就完成这个工作了.

webchart.express_1=Pecent|100*x/y|sal,sum::sal|deptno
    Rank|x|rnk::sal|deptno
webchart.merge_1=deptno

    这样在不同的数据库之间迁移起来就简单多了, DataReport中已经实现了"min, max, sum, avg, cnt, row, rnk"这七个计算公式. 虽然功能很好, 但实现的逻辑并没有优化, 处理大量数据估计不行, 但一个页面上的少量数据, 应当没有什么问题.

Relative Posts:

• 2010/01/20 -- 逻辑连接层与物理连接层 (3)
• 2010/01/08 -- DataReport的重复值合并 (0)
• 2010/01/05 -- DataReport中的FORALL循环 (0)
• 2009/12/29 -- DataReport中的Cache为王 (4)
• 2009/12/28 -- 统一DataReport的Servlet (2)
• 2009/12/02 -- 添加URL/HTML字符转义功能 (1)
• 2009/09/21 -- 多支持了四种业务图 (0)
• 2009/07/28 -- DataReport增加JfreeChart支持 (7)
• 2009/07/25 -- DataReport的图片服务功能 (0)
• 2009/07/23 -- 更灵活的DataReport格式控制 (0)

EMPNO	ENAME	JOB	SAL	DEPTNO
7782	CLARK	MANAGER	2450	10
7839	KING	PRESIDENT	5000	10
7934	MILLER	CLERK	1300	10
7369	SMITH	CLERK	800	20
7566	JONES	MANAGER	2975	20
7902	FORD	ANALYST	3000	20
7499	ALLEN	SALESMAN	1600	30
7521	WARD	SALESMAN	1250	30
7654	MARTIN	SALESMAN	1250	30
7698	BLAKE	MANAGER	2850	30
7844	TURNER	SALESMAN	1500	30
7900	JAMES	CLERK	950	30

    也许我们更希望, 最右边的部门号字段进行复值合并, 得到如下输出.

EMPNO	ENAME	JOB	SAL	DEPTNO
7782	CLARK	MANAGER	2450	10
7839	KING	PRESIDENT	5000
7934	MILLER	CLERK	1300
7369	SMITH	CLERK	800	20
7566	JONES	MANAGER	2975
7902	FORD	ANALYST	3000
7499	ALLEN	SALESMAN	1600	30
7521	WARD	SALESMAN	1250
7654	MARTIN	SALESMAN	1250
7698	BLAKE	MANAGER	2850
7844	TURNER	SALESMAN	1500
7900	JAMES	CLERK	950

    在DataReport中现在可以做到了, 只需要指定要进行合并处理的列, 用如下标记.

WEBCHART.MERGE_n=col1|col2|...

    如果你有网页查询系统要开发, 可以试试免费的DataReport软件.

Relative Posts:

• 2010/01/20 -- 逻辑连接层与物理连接层 (3)
• 2010/01/08 -- DataReport中的超级表达式 (0)
• 2010/01/05 -- DataReport中的FORALL循环 (0)
• 2009/12/29 -- DataReport中的Cache为王 (4)
• 2009/12/28 -- 统一DataReport的Servlet (2)
• 2009/12/02 -- 添加URL/HTML字符转义功能 (1)
• 2009/09/21 -- 多支持了四种业务图 (0)
• 2009/07/28 -- DataReport增加JfreeChart支持 (7)
• 2009/07/25 -- DataReport的图片服务功能 (0)
• 2009/07/23 -- 更灵活的DataReport格式控制 (0)

WEBCHART.QUERY_1=select ... from mysql_load where host='mysql1'
WEBCHART.QUERY_2=select ... from mysql_load where host='mysql1'
WEBCHART.QUERY_3=select ... from mysql_load where host='mysql1'
......
WEBCHART.QUERY_10=select ... from mysql_load where host='mysql1'

    同事数次询问有没有循环的功能, 以减轻DataReport页面编写的任务, 经过几番思量, 为其增加了FORALL循环功能.

WEBCHART.FORALL_n= var1=var1 value 1; var2=var2 value 1
      var1=var1 value 2; var2=var2 value 2
      ......
      var1=var1 value n; var2=var2 value n

    对于FORALL标记的每一行, 都会执行一次第n个定义的循环处理, 比如下面的页面定义.

webchart.xsldoc=xsl/default.xsl

webchart.forall_1=dno=10; title=Dept 10
  dno=20; title=Dept 20
  dno=30; title=Dept 30

webchart.query_1=select  empno, ename
    from emp
    where deptno = :dno

    就会执行三次对EMP表的查询, 分别列出不同部门的员工编号和员工名字, 有了这个功能后, 使得显示10个MySQL Master数据性能页面的编写变得简单可维护多了.

Relative Posts:

• 2010/01/26 -- 逻辑连接层与物理连接层(2) (0)
• 2010/01/20 -- 逻辑连接层与物理连接层 (3)
• 2010/01/08 -- DataReport中的超级表达式 (0)
• 2010/01/08 -- DataReport的重复值合并 (0)
• 2009/12/29 -- DataReport中的Cache为王 (4)
• 2009/12/28 -- 统一DataReport的Servlet (2)
• 2009/12/02 -- 添加URL/HTML字符转义功能 (1)
• 2009/09/21 -- 多支持了四种业务图 (0)
• 2009/07/28 -- DataReport增加JfreeChart支持 (7)
• 2009/07/25 -- DataReport的图片服务功能 (0)

    第二篇讲述的是一个简单的数据展示平台，也就是在荒凉时期积累下来的DataReport程序，用它快速展示各种各样的数据，节约了原来用来学习PHP、Cacti、RRD Tool等的时间。收集了数据如果不加以展示和分析，无法发挥应用的作用，通过对数据种种图形的展示，不仅让我自已更快更好地了解了系统，也帮助了公司里的其他人更好地了解系统。

    第三篇讲述了作为DBA第一个要面临的空间管理问题，如何了解数据库中各个表的数据增长情况，如何得到业务量增长和数据量增长之间的关系，如何提前给表空间添加数据文件等，使空间管理更附合生活节奏。

    第四篇讲述了对备库的一点管理经验，对于备库的技术方面，大家没有任何问题，却在业务高速增升、数据高速增长的情况下的归档日志安全清理方面裁了不少跟头，导致了好几次备库的重建。

    第五篇讲述了Statspack与AWR所收集的性能数据的另一种分析方式，不同于各自产生的报表，着重于性能数据在时间轴上的变化趋势，同时也着重于如何将SQL的性能信息如何更好地分享给公司的开发人员及架构师。

    第六篇讲述了应用服务器到数据库服务器的连接数的分析，如何为应用服务器设置合理的连接数，以合理控制数据库的并发会话数，DBA、架构师和应用管理人员从这些数据的分析中得到了一些有用的认识。

    第七篇讲述了如何分析应用服务器与数据库的紧密程度，以便进行应用服务器的多机房分布问题，也为应用服务器的层次划分提供了一点数据依据，DBA及架构师从这部份数据的分析中得到了一些有用的认识。

    第八篇讲述了一种业务量实时预测与监控的原理，监控体系中必不可少的一部份，也是全公司所有人能毫无异议地理解一致的监控数据，是评估突发事件紧急性及影响程度的重要依据之一。

    第九篇讲述了如何用分析性能数据，进行数据库的垂直拆分。当一个数据库不足以满足业务量的增长需求时，就要进行拆分，垂直拆分总是先行的一步。拆分的难点并不在于拆分本身，而在于拆分前对于拆分后效果的有效评估。

    还是想努力去完成2009年初制定的写一本书的目标.

Relative Posts:

• 2010/01/28 -- 谈谈历史遗留问题 (2)
• 2009/09/11 -- DBA有什么个人前途? (17)
• 2009/09/08 -- 因丈母娘的需求而买房? (5)
• 2009/09/03 -- 收费有助于网购信用 (1)
• 2009/08/25 -- 关于技术积累的几点想法 (5)
• 2009/08/17 -- 努力创造DBA额外价值 (27)
• 2009/08/12 -- 个人价值决定个人回报 (13)
• 2009/08/04 -- DBA最缺的不是技术 (8)
• 2009/08/02 -- 当群众演员比干DBA还累 (9)
• 2009/07/29 -- 域名解释与行人问路 (2)

    但Web应用Cache为王, 加机器也解决不了单次访问时间的问题, 不能从根本上解决内部用户体验的问题, 所以为DataReport加上了Cache功能. 使用很简单, 有两个属性可以指定Cache相关属性.

WEBCHART.CACHE=cache key
WEBCHART.KEEP_CACHE_TIME=expire time in seconds

    要启用Cache功能, 必须指定第一个参数, 用与指定页面的缓冲KEY, 在这里可以使用表达式方式, 比如我们有一个时间参数(PDAY), 则我们可以指定如下的缓冲KEY, 不同的日期条件会保存成不同的缓冲页面.

WEBCHART.CACHE=CACHE_${REQUEST.FILE}_$PDAY

    有一些Load监控页面, 显示的数据比较多, 每次刷新要比较久的时间, 我们更多时侯只希望看到最近几分钟的数据就行了, 不一定要实时的, 这时可以启用这个功能, 用另一个参数控制页面缓冲过期的时间(默认为5分钟), 如1分钟的过期时间.

WEBCHART.KEEP_CACHE_TIME=60

    可以在每一个页面进行独立的控制, HTML的内容和图片会一起进行缓存处理, 做了这样的改进之后, 使用起来超级爽.

Relative Posts:

• 2010/01/20 -- 逻辑连接层与物理连接层 (3)
• 2010/01/08 -- DataReport中的超级表达式 (0)
• 2010/01/08 -- DataReport的重复值合并 (0)
• 2010/01/05 -- DataReport中的FORALL循环 (0)
• 2009/12/28 -- 统一DataReport的Servlet (2)
• 2009/12/02 -- 添加URL/HTML字符转义功能 (1)
• 2009/09/21 -- 多支持了四种业务图 (0)
• 2009/07/28 -- DataReport增加JfreeChart支持 (7)
• 2009/07/25 -- DataReport的图片服务功能 (0)
• 2009/07/23 -- 更灵活的DataReport格式控制 (0)

    为了集成安全登录和在线编辑功能, 保留了7个页面, 它们是:

syslogin.<FileExtention>  -- Process Login
sysloginform.<FileExtention> -- Default Login Page
syspassword.<FileExtention>  -- Change Password
syspasswordform.<FileExtention> -- Default Password Page
syslogout.<FileExtention>  -- Process Logout
syseditxsl.<FileExtention>  -- XSLT for online editor page
sysedit.<FileExtention>  -- Online Page Editor Page

    其中<FileExtention>在Java Web应用的配置文件中指定, 经此改进后的Web应用配置文件简洁如下:

<?xml version="1.0" encoding="ISO-8859-1"?>
<!DOCTYPE web-app
    PUBLIC "-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN"
    "http://java.sun.com/dtd/web-app_2_3.dtd" >
<web-app>
  <display-name>WebChart</display-name>
      <description>WebChart</description>
  <listener>
    <listener-class>com.lfx.web.WebChartListener</listener-class>
  </listener>
 
  <servlet>
    <servlet-name>WebChart</servlet-name>
    <servlet-class>com.lfx.web.WebChart2Servlet</servlet-class>
          <init-param>
                  <param-name>FileExtention</param-name>
                  <param-value>.rhtml</param-value>
          </init-param>
  </servlet>

  <servlet-mapping>
          <servlet-name>WebChart</servlet-name>
    <url-pattern>*.rhtml</url-pattern>
  </servlet-mapping>

  <session-config>
    <session-timeout>900</session-timeout>
  </session-config> 
</web-app>

    如果使用了登录功能, 在升级后需要调整与登录有关的部份代码, 这一次没有做到完全兼容, 这点需要注意.

Relative Posts:

• 2010/01/20 -- 逻辑连接层与物理连接层 (3)
• 2010/01/08 -- DataReport中的超级表达式 (0)
• 2010/01/08 -- DataReport的重复值合并 (0)
• 2010/01/05 -- DataReport中的FORALL循环 (0)
• 2009/12/29 -- DataReport中的Cache为王 (4)
• 2009/12/02 -- 添加URL/HTML字符转义功能 (1)
• 2009/09/21 -- 多支持了四种业务图 (0)
• 2009/07/28 -- DataReport增加JfreeChart支持 (7)
• 2009/07/25 -- DataReport的图片服务功能 (0)
• 2009/07/23 -- 更灵活的DataReport格式控制 (0)

<row>
COL1=column1 value
COL2=column2 value
......
</row>

    为此SQLULDR2增加了三个选项, 分别用于指定行首(rowpre), 行尾(rowsuf), 及列名和列值之间的分隔符(colsep). 如下所示:

rowpre  = row prefix string for each line.
rowsuf  = row sufix string for each line.
colsep  = separator string between column name and value.

    和字段分隔符(field)及记录分隔符(record)结合起来, 总共有5种分隔符了, 对于任何一条记录, 其输出顺序如下:

<rowpre>
  [<colmn 1 name><colsep>]<column 1 value><field>
  [<colmn 2 name><colsep>]<column 2 value><field>
  ......
  [<colmn n name><colsep>]<column n value>
<rowsuf>
<record>

    在最后一个列的后面并没有打印字段分隔符(field), 如果需要在最后一个字段后面加上字段分隔符, 可以通过在记录分隔符(record)中实现. 有了这5个灵活的选项后, 就可以生成格式更灵活的文本输出. 比如要按列文本输出:

user=system/oracle
query=select * from scott.dept
file=-
rowpre=<row>0x0a
rowsuf=0x0a</row>0x0a
field=0x0a
record=0x0a
colsep==

    使用SQLULDR2导出时, 就生成了如下格式的文本, 可能就是一些搜索引挚或NOSQL所需要的格式.

<row>
DEPTNO=10
DNAME=ACCOUNTING
LOC=NEW YORK
</row>

<row>
DEPTNO=20
DNAME=RESEARCH
LOC=DALLAS
</row>
......

    比如最近流行的jason文件格式, 我也可以考虑进去, 或者这5个选项是不是已经支持了. 加上上一篇的自定义转义符处理, 输出功能已经相当强劲了.

Relative Posts:

• 2010/02/08 -- SQLULDR2也可改善用户体验 (0)
• 2010/01/15 -- 两个用户的SQLULDR2需求 (1)
• 2009/12/25 -- SQLULDR2的自定义转义符处理 (2)
• 2009/10/27 -- 将SQLULDR2转义符进行到底 (3)
• 2009/10/26 -- SQLULDR2处理MySQL转义符 (1)
• 2009/08/31 -- SQLULDR2处理MySQL的空值 (2)
• 2009/04/02 -- 给SQLULDR2加上Key保护 (6)
• 2008/01/25 -- ociuldr更新(2008/01/25) (13)
• 2007/08/22 -- ociuldr的更新, 为了更好的long类型支持 (1)
• 2007/01/02 -- 在ociuldr的SQL中使用绑定变量 (4)