VagrantでApache Nifi 1.6.0とmosquittoがインストールされた仮想マシン(Debian Stretch/9.4)を構築する。

Apache Nifiは様々なデータを処理・分配するためのソフトウェアです。

〇Apache Nifiの画面

ブラウザからhttp://192.168.1.105:8080/nifi/にアクセスします。

〇構築方法
1.以下のVagrantfileを使用して、Apache Nifi 1.6.0とmosquittoがインストールされた仮想マシン(Debian Stretch/9.4)を構築します。

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/debian-9.4"
  config.vm.hostname = "db94nifi160mosquitto"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "db94nifi160mosquitto"
     vbox.cpus = 2
     vbox.memory = 2048
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
config.vm.network "private_network", ip: "192.168.55.105", :netmask => "255.255.255.0"
config.vm.network "public_network", ip:"192.168.1.105", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
apt-get -y install task-japanese
sed -i -e 's/# ja_JP.UTF-8 UTF-8/ja_JP.UTF-8 UTF-8/' /etc/locale.gen
locale-gen
update-locale LANG=ja_JP.UTF-8
localectl set-locale LANG=ja_JP.UTF-8
localectl set-keymap jp106
apt-get update
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade

# install mosquitto
apt-get -y install mosquitto mosquitto-clients


# maximum file handles & maximum forked processes
echo '*  hard  nofile  50000' >> /etc/security/limits.conf
echo '*  soft  nofile  50000' >> /etc/security/limits.conf
echo '*  hard  nproc  10000' >> /etc/security/limits.conf
echo '*  soft  nproc  10000' >> /etc/security/limits.conf

echo '*  soft  nproc  10000' >> /etc/security/limits.d/90-nproc

# install java
apt-get -y install openjdk-8-jdk

# download and install Apache Nifi
wget http://ftp.riken.jp/net/apache/nifi/1.6.0/nifi-1.6.0-bin.tar.gz
tar xvfz nifi-1.6.0-bin.tar.gz
mv nifi-1.6.0 /opt

cat << EOF > /etc/systemd/system/nifi.service
[Unit]
Description=Apache Nifi
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/nifi-1.6.0/bin/nifi.sh start
ExecStop=/opt/nifi-1.6.0/bin/nifi.sh stop
KillMode=none

[Install]
WantedBy=multi-user.target
EOF
systemctl enable nifi.service
systemctl start nifi.service

echo 'access url -> http://192.168.1.105:8080/nifi/'

echo 'execute command below for test.'
echo 'mosquitto_pub -t mytopic/test -h localhost -m "test message."'

SHELL
end

2.ConsumeMQTT Processorで、以下のようにパラメータを設定してローカルのmosquittoにアクセスします。
Broker URI : tcp://localhost:1883
Client ID : nifi
Topi Filter : mytopic/test
Quality of Service(QoS) : 0 - At most once
Max Queue Size : 100

※ローカルのmosquittoにメッセージをpublishするには、以下のようなコマンドを実行します。

mosquitto_pub -t mytopic/test -h localhost -m "test message."

○関連情報
・Apache NiFiに関する他の記事はこちらを参照してください。


○関連情報
・mosquittoに関する他の記事はこちらを参照してください。