O Lucene (open-source search software) é uma ferramenta que tem lugar em um grande número de aplicações web e quem não conhece está perdendo tempo. Ontem saiu a nova versão com novidades que merecem aparecer aqui.
A grande mudança acontece com o novo algoritmo de indexação que agora trabalha na memória e consegue enorme melhoria no desempenho. A simples troca do jar do Lucene 2.2 pelo novo jar do Lucene 2.3 (sem recompilar nada) já mostra um excelente ganho de desempenho na indexação que pode atingir até 500%.
Algumas informações tiradas de http://svn.apache.org/repos/asf/lucene/java/tags/lucene_2_3_0/CHANGES.txt
Os defaults do IndexWriter mudaram de modo a maximizar a velocidade de indexação.
1) Agora o IndexWriter usa a memória, 16 MB por default) (call IndexWriter.setMaxBufferedDocs to get backwards compatible behavior).
2) ConcurrentMergeScheduler serve para executar merges usando background threads (call IndexWriter.setMergeScheduler(new SerialMergeScheduler()) to get backwards compatible behavior).
3) Os merges são escolhidos baseados no tamanho em bytes de cada segmento ao invés do número de documentos (call IndexWriter.setMergePolicy(new LogDocMergePolicy()) to get backwards compatible behavior).
O download pode ser veito em em http://lucene.apache.org/#24+January+2008+-+Lucene+Java+2.3.0+available
Vejam mais informações em http://www.infoq.com/news/2008/01/lucene-23-mahout
Fonte: http://www.guj.com.br