Recentemente participei de primeiro encontro de Jenkins do Brasil, e além da presença do Bruno Kinoshita que falou de como criar um plugin para o Jenkins e do Tony Lâmpada sobre o Liquibase (a palestra dele toda feita em giz de cera foi uma das melhores que já vi, ele mesmo comentou que demorou quase um mês para desenhar tudo) , contamos com a participação ilustre de nada mais nada menos que o criador do Jenkins, o Kohsuke Kawaguchi.

O Kohsuke é um cara que foge ao padrão dos “japas tradicionais”… pra começar ele é gigante, tem dois metros de altura… ele viu minha camiseta de 25 anos do Metal Gear para MSX e comentou: “ah, eu não tinha um desses, mas morava do lado de uma loja cheia de jogos para MSX“.

Mas foi quando começou a palestra dele que a plateia ficou na dúvida… quem está falando agora, é o Kohsuke ou o Pavarotti ?

Aqui tem a lista completa dos vídeos das palestras do Jenkins Meetup São Paulo.

Depois da palestra do Bruno eu tentei criar um plugin e consegui sem muita complicação.
A ideia é testar o tempo de conexão ao banco de dados (Oracle,MySQL, SQL Server), que pode ser exibida, por exemplo, antes de um build ou um de rodar os testes.

Para você criar o seu plugin, siga o tutorial que é bem tranquilo, mas vou usar o meu como exemplo.

Eu comecei usando o site do gerado de plugin… acessei, escolhi o nome database-connection-speed e cliquei em Generate. Depois de poucos segundos foi gerado um zip com o projeto de exemplo de plugin inteiro, basta eu descompactar dentro do workspace do Eclipse.

O segundo passo foi rodar o plugin… aí com o Maven facilitou bastante, não preciso instalar nada na minha máquina, o que eu preciso fazer é ir no diretório do projeto e rodar: mvn clean install hpi:run , ele baixará todas as dependências necessárias para rodar o Jenkins local.

Todo plugin que você usa tem as configurações globais e as específicas de cada job, certo?

No seu plugin, o Jenkins utiliza o framework Jelly para trabalhar com essas informações.

No meu exemplo, essa tela de configuração geral:

É representada por esse XML:

<j:jelly xmlns:j="jelly:core" xmlns:st="jelly:stapler" xmlns:d="jelly:define" xmlns:l="/lib/layout" xmlns:t="/lib/hudson" xmlns:f="/lib/form">
  <f:section title="Database Connection Speed Test">
    <f:entry title="detalhes" field="detalhes"
      description="Exibir acesso ao banco de dados com detalhes">
      <f:checkbox />
    </f:entry>
  </f:section>
</j:jelly>

E essas configurações de cada job:

São representadas por esse XML:

<j:jelly xmlns:j="jelly:core" xmlns:st="jelly:stapler" xmlns:d="jelly:define" xmlns:l="/lib/layout" xmlns:t="/lib/hudson" xmlns:f="/lib/form">
  <f:entry name="dbType" title="Tipo de banco de dados" field="dbType">
    <select name="dbType">
        <option value="mysql">MySQL</option>
        <option value="oracle">Oracle</option>
        <option value="sqlserver">SQL Server</option>
    </select>
</f:entry>
  <f:entry title="url" field="url">
    <f:textbox />
  </f:entry>
  <f:entry title="usuario" field="usuario">
    <f:textbox />
  </f:entry>
  <f:entry title="senha" field="senha">
    <f:password />
  </f:entry>
</j:jelly>

Então, só falta ler esses valores e mostrar o resultado.
Tudo isso é feito na classe abaixo, os valores entram pelo construtor e no método perform você implementa o que o seu plugin realmente faz:

public class ConnectionTestBuilder extends Builder {

        ...

	@DataBoundConstructor
	public ConnectionTestBuilder(String dbType,String url,String usuario,String senha) {
		this.dbType = dbType;
		this.url = url;
		this.usuario = usuario;
		this.senha = senha;
	}

	...

	@Override
	public boolean perform(AbstractBuild build,Launcher launcher,BuildListener listener) {

		try {
			TestConnection.inicia(url,usuario,senha,dbType,getDescriptor().getDetalhes(),listener);
			listener.getLogger().println(" Tempo: " + TestConnection.diff() + " milisegundos  ");
			TestConnection.finaliza();
		} catch (Exception e) {
			e.printStackTrace();
		}

		return true;
	}
		 

Disso temos o resultado sem detalhes:

E com detalhes:

Todo o código do plugin está disponível no github.

Uma observação: como a licença do driver da Oracle não é livre, ela não pode ficar em nenhum repositório na Internet, você precisa baixar o driver (ojdbc6.jar) e depois instalar em seu repositório local com o comando:

mvn install:install-file -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.2.0.3 -Dpackaging=jar -Dfile=ojdbc6.jar -DgeneratePom=true

Fernando Boaglio, para a comunidade =)

Alguns afirmam que a tecnologia em nuvem é o maior avanço desde a criação das redes elétricas e distribuidoras de energia prestando serviço de distribuição.

Imagine se você tivesse que pagar 300 reais por mês de energia elétrica, independente se gastasse mais ou menos que isso. Um absurdo, não ? Mas é o que acontece com um serviço de hospedagem do seu site… você contrata uma tecnologia, escolhe um plano e usando ou não você paga por aquilo.

Existem excelentes serviços de nuvem que permitem que você use uma quota gratuita e se passar ultrapassar, paga uma taxa proporcional pelo serviço utilizado.

Isso é exatamente o que eu procurava e vou mostrar aqui com detalhes …

Eu tirei o meu site dessa situação:

• Hospedagem Java cobrando 7 dólares por mês
• 50 banco de dados MySQL
• Aplicação Java com limite da JVM de 64Mb

Para essa:

• Hospedagem Developer cobrando nada!
• Banco de dados PostgreSQL limitado a 10000 linhas
• Aplicação Java com limite da JVM de 512Mb

Para fazer isso na sua aplicação, os passos são simples:

1. Heroku – faça o cadastro e acesse o tutorial para aplicações Java
2. Maven – migre sua aplicação para Maven 3
3. Banco de dados – migre sua base para PostgreSQL

Provavelmente a sua base está em MySQL, então vale a pena seguir os dois tutoriais disponíveis.

Duas dicas para essa conversão de MySQL para PostgreSQL:

1. tipos booleanos não são convertidos
2. coloque o nome das tabelas em minúsculo para evitar o erro relation “[tabela]” does not exist

É importante saber também que o PostgreSQL é um banco de dados open source bem robusto e que possui características semelhantes ao Oracle Database, o que pode ser algo positivo para o seu caso. Além disso, ele acompanha a excelente ferramenta cliente pgAdmin, que é pau para toda obra.

O interessante também é que o Heroku foi feito para facilitar o deploy das aplicações, ele fornece uma ferramenta cliente para fazer todas as operações: atualizar a aplicação, atualizar a base, subir a aplicação, entre outras coisas.

Exemplo de alguns comandos:


fb@cascao ~/ > heroku pg:info HEROKU_POSTGRESQL_AQUARIUS
=== HEROKU_POSTGRESQL_AQUARIUS (DATABASE_URL)
Connections: 0
Created: 2012-06-08 02:15 UTC
Data Size: 10.6 MB
Fork/Follow: Unavailable
PG Version: 9.1.5
Plan: Dev
Rows: 4797/10000 (In compliance)
Status: available
Tables: 46

2012-10-28T21:42:56+00:00 heroku[nginx]: 201.80.25.250 - - [28/Oct/2012:21:42:56 +0000] "GET / HTTP/1.1" 200 455 "http://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CDAQFjAB&url=http%3A%2F%2%2F&ei=3aWNUM7yAoSm8gS0voDgAw&usg=AFQjCNHdT6664yXVdBOWUIZEZ0URPwC7KQ&sig2=-gSGuQSfmuy4j76IYUI7wQ" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4"
2012-10-28T21:42:56+00:00 heroku[nginx]: 201.80.25.250 - - [28/Oct/2012:21:42:56 +0000] "GET /js/browser.js HTTP/1.1" 200 502 "http://www.meusite.com.br/" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4" www.meusite.com.br
2012-10-28T21:42:56+00:00 heroku[router]: GET www.meusite.com.br/js/browser.js dyno=web.1 queue=0 wait=1ms service=49ms status=200 bytes=502
2012-10-28T21:42:57+00:00 app[web.1]: DEBUG [qtp744814285-29 - /games/index-home] (IndexAction.java:77) - iniciando IndexAction HOME...
2012-10-28T21:42:57+00:00 app[web.1]: INFO [qtp7
44814285-29 - /games/index-home] (InfoHelper.java:106) - usuario anonimo!
2012-10-28T21:42:57+00:00 app[web.1]: INFO [qtp744814285-29 - /games/index-home] (TelaDeJogoDAO.java:125) - [trazendo a lista ...]:


Depois de sua aplicação migrada, é possível ver as opções gratuitas contratadas:

Se, por exemplo, o seu sistema precisar de algo mais, sempre é possível contratar serviços adicionais em https://addons.heroku.com/ , como por exemplo o serviço de envio de email MailGun, que também possui uma cota gratuita de 300 mensagens por dia, se sua aplicaçào envia menos que isso, o serviço ficará de graça!

Também é possível registrar o domínio do seu site da Heroku aqui no Brasil pela Registro.br ou lá fora, por exemplo pela GoDaddy.

Fernando Boaglio, para a comunidade!

- O suporte formatou a máquina, pode instalar as suas coisas e depois a gente conversa.

A primeira coisa que você vai instalar será o JDK e segunda será sua IDE preferida, e existe uma boa chance dela ser o Eclipse.

Eu digo isso pois o meu artigo que escrevi em 2003 de instalação do Eclipse no Windows e no Linux tem acesso todo dia.

Você parou para pensar se o Eclipse fosse pago ? A resposta quase que automática é: “ah, eu usaria outra coisa de graça“.

Certo, é bem provavel que usaria uma opção open source, mas sua produtividade seria a mesma ? Aquele projeto que você atualiza em dias não poderia facilmente levar semanas ?

Quanto o Eclipse já te ajudou nisso? E se ao invés de pago, ele exibisse banners de propaganda, já imaginou isso ? Você clica no botão de debug e abre uma propaganda na tela inteira! Isso seria terrível, não?

Então, eu acredito que por não conseguir desenvolver sem essa ferramenta por todos esses anos eu posso ajudar de duas maneiras: contribuindo financeiramente ou desenvolvendo algo para o projeto.

Agora ficou mais fácil ajudar financeiramente… além de poder doar o que quiser existe um pequeno benefício para quem quiser doar mais do que 35 dólares.

Contribuindo ali você estará ajudando:

1. mais banda para upload/download para você e os committers
2. compra de mais servidores para os projetos do Eclipse
3. enviar estudantes ao EclipseCon
4. ajudar a bancar mais eventos para a comunidade do Eclipse

Se doar mais que 35 dólares você se torna um Eclipse Friend, que permite duas coisas.
A primeira é colocar esse logo no seu site pessoal:

E a segunda é baixar o Eclipse dos servidores com prioridade. Isso não é interessante para as versões estáveis, que já estão espalhadas nos servidores ao redor do mundo, e sim para as versões Milestone ou Release Candidade, que ficam apenas no servidor principal.

O download normal é assim:

O download com o mirror do Eclipse Friend fica assim:

Portanto , confira a lista e as mensagens dos doadores (ou apenas dos Eclipse Friends) e faça a sua parte!

E não se esqueça que não é só de Java que existe o Eclipse, ele possui opções diversas desde desenvolvimento de diversas linguagens e outros projetos interessantes que usam a engine, como por exemplo para mapas mentais.

Fernando Boaglio, para a comunidade =)

Naturalmente eu também fiquei desconfiado, mas como conheço pessoalmente alguns dos autores, comprei o livro de Introdução à arquitetura e design de software – uma visão sobre a plataforma Java.

Para minha surpresa, mesmo para quem tem experiência no assunto, é uma leitura bem agradável e rica em exemplos, dou destaques aos capítulos 2 da Java Virtual Machine , o 6 de decisões arquiteturais e o 7 de REST.

Não é nada fácil fazer um livro desse tipo, que envolve diversos conceitos, comparações , assuntos que não são triviais para explicar.

Vou listar alguns pontos positivos do livro:

• objetivo
• bem organizado
• conteúdo bem atual e com exemplos interessantes
• rico repositório de referências
• interessante prefácio de Jim Weber

Estou com a primeira edição e não vi a segunda, mas acredito que existam alguns pontos para melhorar:

• Diminuir os erros de digitação
• Faltou detalhamento da visão geral de performance de um sistema Java
• Não encontrei os links para as referências no site que o livro descreve
• Faltou um texto sobre ambiente em cluster, o comportamento Java nessa arquitetura

Algumas pessoas que leram o livro reclamaram que existe muita referência aos frameworks criados pela Caelum. Eu não entendo qual o drama disso, afinal os autores são de lá e o livro originou-se do curso deles. Percebam que é perfeitamente comum você ler um texto de Java da Oracle e eles mencionarem o JDeveloper, ou um texto da IBM que mencione o DB2.

No geral é uma leitura obrigatória para qualquer profissional Java, eu recomendo.

Espero que os autores encontrem mais tempo para novas literaturas, pois a comunidade brasileira precisa de bom conteúdo tecnológico.

Fernando Boaglio, para a comunidade.

As opções que temos:

- Antes de existir Java: a velha e boa stored procedure em PL/SQL … é um código pré-compilado em p-code que fica armazenado dentro do banco de dados… acesso local e nativo aos dados.

- Java client com driver JDBC Thin – acesso remoto aos dados.

- Java client com driver OCI Thin – acesso remoto e nativo aos dados.

- Java em stored procedure – desde o Oracle 8i temos uma engine em Java dentro do banco, o que nos possibilita executar rotinas em Java dentro do banco, com acesso local e nativo aos dados.

É impressionante a quantidade de profissionais Java que trabalha há anos com Oracle não conhece metade das opções existentes.

A implementação mais usada é a JDBC Thin, pois é a mais fácil de configurar, mas de acordo com a Oracle é a mais lenta de todas.

O Oracle OCI (Oracle Call Interface) é a maneira nativa que os clients utilizam para se conectar ao banco de dados, essa maneira nativa pode ser feita em várias linguagens (C, Cobol , Java) utilizando as bibliotecas do Oracle Client para acessar o banco de dados. Isso significa que para usar OCI, a instalação do Oracle client é obrigatória.

Ferramentas como Oracle SQL*Plus, PL/SQL Developer são rápidas porque usam OCI para acessar o banco de dados.

A configuração adequada do OCI pode ser complicada a primeira vez, e somente nesse fórum russo eu encontrei um simples resumo que explica como configurar o seu ambiente para usar OCI (depois de instalado o Oracle Client):

Em plataforma Windows:

- Adicione [ORACLE_HOME] \ jdbc \ lib \ ojdbc5.jar ao CLASSPATH para JDK 1.5 ou
[ORACLE_HOME] \ jdbc \ lib \ ojdbc6.jar para JDK 1.6.
- Adicione [ORACLE_HOME] \ jlib \ orai18n.jar ao CLASSPATH.
- Adicione [ORACLE_HOME] \ bin ao PATH (que fica nas variáveis de ambiente, nas configurações avançadas do Sistema)

Em plataforma Unix:

- Adicione [ORACLE_HOME] / jdbc / lib / ojdbc5.jar ao CLASSPATH para JDK 1.5 ou
[ORACLE_HOME] / jdbc / lib / ojdbc6.jar para JDK 1.6.
- Adicione [ORACLE_HOME] / jlib / orai18n.jar ao CLASSPATH.
- Adicione [ORACLE_HOME] / jdbc / lib ao LD_LIBRARY_PATH

Para trabalhar com Oracle Stored Procedures, você precisa primeiro ter uma ferramenta como Eclipse para desenvolver suas rotinas, e depois gerar suas classes com compatibilidade para JDK 1.5 (se for Oracle 11i) e JDK 1.4 (se for Oracle 10g).

Além disso, a opção de Java deve estar ativa no banco de dados, verifique com o SQL:

SQL> select value from V$option where parameter='Java';

VALUE
-------------------------------------------------------
TRUE

Essa opção Java não está disponível no Oracle Express Edition, é preciso instalar uma versão Personal Oracle, Standard ou Enterprise Edition.

Para carregar as classes em Java no banco é utilizado o loadjava, como por exemplo para carregar a nossa classe para o teste da corrida:

C:\workspace\corridaOracle\bin\>loadjava -user=boaglio1/boaglio1@boaglio1 -verbose TesteDeInternalProcedure.class

arguments: '-user' 'boaglio1/***@boaglio1' '-verbose' 'TesteDeInternalProcedure.
class'
creating : class com/boaglio/corridaOracle/TesteDeInternalProcedure
loading  : class com/boaglio/corridaOracle/TesteDeInternalProcedure
Classes Loaded: 1
Resources Loaded: 0
Sources Loaded: 0
Published Interfaces: 0
Classes generated: 0
Classes skipped: 0
Synonyms Created: 0
Errors: 0

E depois amarramos essa classe com uma procedure, dessa maneira:

create or replace procedure teste_java
 as
 language java 
 name 'com/boaglio/corridaOracle/TesteDeInternalProcedure.main(java.lang.String[])';

Bom, vamos falar agora do processo de carga… temos o primeiro exemplo que é executado inteiramente em PL/SQL:

 create or replace procedure teste_proc
is
 cursor todos_ceps is select * from cep;
 id_corrida integer;
begin

select corrida.nextval into id_corrida from dual;

for linha in todos_ceps loop
 if loweR(linha.cidade) like '%paulo%' then
  INSERT INTO TESTE_PROCEDURE (ID,UF,CIDADE,BAIRRO,ENDERECO_CEP,LOGRADOURO,ID_CORRIDA)
  VALUES (seq1.nextval,linha.uf,linha.cidade,linha.bairro,linha.endereco_cep,linha.logradouro,id_corrida);
 end if;
end loop;
  
end teste_proc;

Depois temos o outro exemplo que será chamado por todas as outras classes Java:

 
package com.boaglio.corridaOracle;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class CargaDeDadosDoCEP {

	static final String todos_ceps = "select * from cep";

	static final int DRIVER_JDBC_THIN=1;
	static final int DRIVER_JDBC_OCI=2;
	public  static final int INTERNAL_JAVA_PROC=3;

	public static void runLoad(Connection conexao,int tipoDeDriver) {

		Statement stmt = null;
		ResultSet rset = null;
		try {
			int idCorrida = buscaIdCorrida(conexao);
			stmt = conexao.createStatement();
			rset = stmt.executeQuery(todos_ceps);
			while (rset.next())
				validaDados(rset,conexao,tipoDeDriver,idCorrida);
		} catch (Exception ignore) {
		} finally {
			try {
				rset.close();
				stmt.close();
				if (tipoDeDriver!=CargaDeDadosDoCEP.INTERNAL_JAVA_PROC)
				   conexao.close();
			} catch (Exception ignore) {
			}
		}
	}

	private static int buscaIdCorrida(Connection conexao) {

		Statement stmt = null;
		ResultSet rset = null;
		int idCorrida =0;
		try {
			stmt = conexao.createStatement();
			rset = stmt.executeQuery("select corrida.nextval from dual");
			while (rset.next())
				idCorrida = rset.getInt(1);
		} catch (Exception ignore) {
		} finally {
			try {
				rset.close();
				stmt.close();
			} catch (Exception ignore) {
			}
		}
		return idCorrida;
	}

	private static void validaDados(ResultSet rset,Connection conexao,int tipoDeDriver,int idCorrida) throws SQLException {

		String cidade = rset.getString("cidade");
		String busca = "paulo";

		String SQL_CARGA="";
		if (tipoDeDriver==DRIVER_JDBC_THIN) {
			SQL_CARGA="INSERT INTO TESTE_DRIVER_THIN             (ID,UF,CIDADE,BAIRRO,ENDERECO_CEP,LOGRADOURO,ID_CORRIDA) "+
            "VALUES (seq2.nextval,?,?,?,?,?,?)";
		} else if (tipoDeDriver==DRIVER_JDBC_OCI) {
			SQL_CARGA="INSERT INTO TESTE_DRIVER_OCI (ID,UF,CIDADE,BAIRRO,ENDERECO_CEP,LOGRADOURO,ID_CORRIDA) "+
			"VALUES (seq3.nextval,?,?,?,?,?,?)";
		} else	if (tipoDeDriver==INTERNAL_JAVA_PROC) {
			SQL_CARGA="INSERT INTO TESTE_JAVA_PROC (ID,UF,CIDADE,BAIRRO,ENDERECO_CEP,LOGRADOURO,ID_CORRIDA) "+
	        "VALUES (seq4.nextval,?,?,?,?,?,?)";
		}
		if (cidade==null) return;
		if (cidade.toLowerCase().indexOf(busca)>=0) {
			PreparedStatement pstmt = null;
			try {
			        pstmt = conexao.prepareStatement(SQL_CARGA);
				pstmt.setString(1,rset.getString("uf"));
				pstmt.setString(2,cidade);
				pstmt.setString(3,rset.getString("bairro"));
				pstmt.setString(4,rset.getString("endereco_cep"));
				pstmt.setString(5,rset.getString("logradouro"));
				   pstmt.setInt(6,idCorrida);
				pstmt.executeUpdate();

			} catch (Exception e) {
				e.printStackTrace();
			} finally {
				try {
				pstmt.close();
				} catch (Exception ignore) {
				}
			}
		}
	}
}

Em ambos os casos temos o mesmo processo: buscar em uma View de todos os endereços do Brasil os que contém “paulo” no nome da cidade e armazenar em uma tabela separada.

Temos 57789 de 699307 registros (8,25%) em cada execução da rotina.

O cálculo foi feito da diferença do primeiro e o último insert (o tempo de 57789 inserções na base).

O teste foi feito sem envolver rede, no próprio servidor para tirar essa dúvida da nossa corrida.

Em todos os quatro casos as rotinas foram executadas dez vezes, com a seguinte performance:

1. Em primeiro lugar não é nenhuma surpresa que foi o PL/SQL, com tempo mínimo de 10 segundos, máximo de 12 e médio de 11.3
2. Em segundo lugar, pertinho vieram as stored procedures em Java, com tempo mínimo de 23 segundos, máximo de 25 e médio de 23,9
3. Em terceiro lugar, bem atrás vieram os drivers JDBC Thin, com tempo mínimo de 59 segundos, máximo de 79 e médio de 67
4. Em último lugar vieram os drivers JDBC OCI, com tempo mínimo de 64 segundos, máximo de 95 e médio de 71,9

Vamos fazer algumas comparações com os tempos médios… a mesma rotina em PL/SQL roda 2 vezes mais rápido que uma stored procedure Java e 6 vezes mais rápido uma rotina de OCI, isso mesmo 6 vezes!

O interessante é que a Oracle recomenda usar o driver Thin para maior portabilidade e o driver OCI para melhor performance, mas nessa minha corrida e em outras literaturas dizem exatamente o oposto.

Quer testar você mesmo? Acesse o fonte do projeto e tire suas próprias conclusões!