H2 DatabaseとHadoopでHDFS上のファイルをCLOBとして返す関数を作成する

H2 DatabaseとHadoopでHDFS上のファイルをCLOBとして返す関数を作成するには、以下の手順を実行します。

1.以下のソースファイルをantなどでコンパイルします。
HdfsGetAsciiFunction.java

package com.serverarekore.h2;
import java.io.*;
import java.sql.*;
import org.h2.tools.*;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
import java.net.*;

public class HdfsGetAsciiFunction
{
  static public Reader hdfs_get_ascii(String uri, 
    String user, String path)
    throws Exception
  {
    if( uri == null ){
      throw new Exception("uri is not specified.");
    }
    if( user == null ){
      throw new Exception("user is not specified.");
    }
    if( path == null ){
      throw new Exception("path is not specified.");
    }

    FileSystem fs = FileSystem.get(
      URI.create(uri), new Configuration(), user);
    Reader reader = null;

    if( fs.exists(new Path(path)) == false ){
      return null;
    }
    InputStreamReader isr = new InputStreamReader(
      fs.open(new Path(path))
    );

    final File tf = File.createTempFile("lobtmp", null);
    FileWriter fw = new FileWriter(tf.getAbsolutePath());

    char buf[] = new char[8192];
    int rs = -1;
    try
    {
      while( (rs = isr.read(buf)) != -1 ){
        fw.write(buf, 0, rs);
      }
    }
    finally
    {
      fw.close();
      isr.close();
    }

    reader = new Reader(){
      private final Reader reader = new FileReader(tf);
      private boolean deleted = false;
      private final File fn = tf;
      public int autoDelete(int sz) throws IOException
      {
        if(sz < 0 ){
          close();
        }
        return sz;
      }
      public void close() throws IOException
      {
        if( !deleted ){
          reader.close();
          fn.delete();
          deleted = true;
        }
      }
      public int read(char buf[], int off, int len) throws IOException
      {
        return deleted?-1:autoDelete(reader.read(buf, off, len));
      }

      public int read(char buf[]) throws IOException
      {
        return deleted?-1:autoDelete(reader.read(buf));
      }

      public int read() throws IOException 
      {
        return deleted?-1:autoDelete(reader.read());
      }
      public int read(java.nio.CharBuffer target) throws IOException 
      {
        return deleted?-1:autoDelete(reader.read(target));
      }
    };

    return reader;
  } 
}

build.xmlのサンプル

<project name="H2Functions" default="compile" basedir=".">
  <path id="lib.classpath">
    <fileset dir="lib">
      <include name="*.jar"/>
    </fileset>
    <pathelement location="c:/Program Files/H2/bin/h2-1.2.147.jar"/>
  </path>
  <target name="compile">
    <echo message="project: ${ant.project.name}"/>
    <mkdir dir="build/" />
    <javac srcdir="src/" destdir="build/" 
      deprecation="on" debug="on">
      <classpath>
        <path refid="lib.classpath"/>
      </classpath>
    </javac>
    <jar destfile="c:/share/jars/HdfsGetAscii.jar"
       basedir="build"/>
  </target>
  <target name="clean">
    <delete dir="build" />
  </target>
</project>

2.システム環境変数CLASSPATHにコンパイルしてできたHdfsGetAscii.jarを追加し、
H2 Databaseのサービスを再起動。

3.H2 Consoleから以下のSQLを実行して、ファンクション作成。

create alias hdfs_get_ascii for 
"com.serverarekore.h2.HdfsGetAsciiFunction.hdfs_get_ascii";

4.以下のようなSQLでHdfs上のファイルをCLOBに格納できます。

drop table if exists clobtest;
create table clobtest (c1 numeric(4), c2 clob);
insert into clobtest values (1, 
  hdfs_get_ascii(
  'hdfs://192.168.1.81:9000/',
  'hadoop', '/opt/hadoop-data/test.txt')
);
select * from clobtest;

※以下のjarをCLASSPATH環境変数に追加
hadoop-common-0.21.0.jar
hadoop-hdfs-0.21.0.jar
log4j-1.2.15.jar

動作環境
JDK6 Update22, Hadoop 0.21.0, H2 Database 1.2.147 (2010-11-21)

○関連情報
・CentOS5.5にHadoop0.21.0をインストールする
http://serverarekore.blogspot.com/2010/10/centos55hadoop0210.html
・H2 Databaseに関する他の記事はこちらを参照してください。