VagrantでFoundationDBをインストールした仮想マシン(Ubuntu16.04)を構築する

FoundationDBは分散NoSQLデータベースです。

以下のVagrantfileを使用して、FoundationDBとPythonインターフェイスをインストールした仮想マシンを構築する

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-16.04"
  config.vm.hostname = "ub1604foundationdb"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1604foundationdb"
     vbox.cpus = 4
     vbox.memory = 4096
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
  # private network
config.vm.network "private_network", ip: "192.168.55.103", :netmask => "255.255.255.0"
  # bridge netwrok
config.vm.network "public_network", ip: "192.168.1.103", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
sed -i.bak -e "s#http://archive.ubuntu.com/ubuntu/#http://ftp.riken.jp/pub/Linux/ubuntu/#g" /etc/apt/sources.list
#localectl set-locale LANG=ja_JP.UTF-8
#localectl set-keymap jp106
apt-get update
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade

# install FoundationDB
wget https://www.foundationdb.org/downloads/5.1.5/ubuntu/installers/foundationdb-clients_5.1.5-1_amd64.deb
wget https://www.foundationdb.org/downloads/5.1.5/ubuntu/installers/foundationdb-server_5.1.5-1_amd64.deb

dpkg -i foundationdb-clients_5.1.5-1_amd64.deb
dpkg -i foundationdb-server_5.1.5-1_amd64.deb

systemctl enable foundationdb
systemctl start foundationdb

wget https://www.foundationdb.org/downloads/5.1.5/bindings/python/foundationdb-5.1.5.tar.gz
tar xvfz foundationdb-5.1.5.tar.gz
cd foundationdb-5.1.5
python setup.py install

cd /home/vagrant
cat << EOF > test.py
import fdb
fdb.api_version(510)
db = fdb.open()
test = fdb.directory.create_or_open(db, ('test',))
db[test['foo']] = 'hello world!'
print(db[test['foo']])
EOF
python test.py

SHELL
end

LXDでH2 Databaseがインストールされたコンテナ(Ubuntu16.04)を構築する

H2 Databaseはjava製のRDBです。

〇H2DBのコンソール画面

〇コンテナの構築
LXDで以下のコマンドを実行して、CouchDBがインストールされたコンテナを構築します。

lxc init ubuntu:16.04 h2db
lxc config set h2db user.user-data - < config.yml
lxc start h2db

config.yml

#cloud-config

package_upgrade: true

hostname: h2db
manage_etc_hosts: true

write_files:
  - path: /etc/systemd/system/h2.service
    content: |
      [Unit]
      Description=H2 database
      After=syslog.target network.target
      [Service]
      Type=simple
      EnvironmentFile=/opt/h2/bin/h2env
      WorkingDirectory=/opt/h2
      ExecStart=/usr/bin/java -cp "/opt/h2/bin/h2-1.4.197.jar:\\$H2CUSTOMJARS" org.h2.tools.Server -tcp -tcpAllowOthers -web -webAllowOthers -pg -pgAllowOthers -baseDir /opt/h2/data
      ExecStop=/usr/bin/kill -3 \\${MAINPID}
      [Install]
      WantedBy=multi-user.target
runcmd:
  - 'apt-get update'
  - 'apt-get -y install openjdk-8-jdk'
  - 'apt-get -y install unzip'
  - 'wget http://www.h2database.com/h2-2018-03-18.zip'
  - 'unzip h2-2018-03-18.zip'
  - 'mv h2 /opt'
  - mkdir /opt/h2/data
  - 'echo "H2CUSTOMJARS=" >> /opt/h2/bin/h2env'
  - systemctl enable h2.service
  - systemctl start h2.service
final_message: "completed."

〇ホストマシンの外部からコンテナにアクセスしたい場合
以下のコマンドを実行します。

PORT=9092 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'
PORT=5435 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'
PORT=8082 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'

○コンソール画面へのアクセス
ブラウザからhttp://<ホストのIP>:8092/にアクセスします。
JDBCURLには、「jdbc:h2:tcp://<コンテナのIP>/test」を指定し
ユーザ名sa、パスワードなしを指定します。

〇コンテナのIPを調べる
コンテナのIPは以下のコマンドで調べることができます。

lxc list

〇コンテナの停止

lxc stop h2db

〇コンテナの削除

lxc delete h2db

○関連情報
・H2 Databaseに関する他の記事はこちらを参照してください。

LXDでCouchDBがインストールされたコンテナを構築する

CouchDBはドキュメント指向のデータベースです。

〇CouchDBの画面

LXDで以下のコマンドを実行して、CouchDBがインストールされたコンテナを構築します。

lxc init ubuntu:16.04 couchdb
lxc config set couchdb user.user-data - < config.yml
lxc start couchdb

config.yml

#cloud-config

package_upgrade: true

hostname: couchdb
manage_etc_hosts: true

runcmd:
  - 'apt-get update'
  - 'apt-get -y install apt-file'
  - 'apt-get update'
  - 'apt-get -y install software-properties-common'
  - 'add-apt-repository -y ppa:couchdb/stable'
  - 'apt-get -y install couchdb'
  - sed -i -e 's/bind_address = 127.0.0.1/bind_address = 0.0.0.0/' /etc/couchdb/default.ini
  - systemctl restart couchdb.service
final_message: "access : http://{IP address of this container}:5984/_utils/index.html"

〇ホストマシンの外部からコンテナにアクセスしたい場合

PORT=5984 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'

コンテナのIPは以下のコマンドで調べることができます。

lxc list

〇コンテナの停止

lxc stop couchdb

〇コンテナの削除

lxc delete couchdb

○関連情報
・CouchDBに関する他の記事はこちらを参照してください。

VagrantでVanilla Forums2.5.1、MySQLがインストールされた仮想マシン(Ubuntu16.04)を構築する

Vanilla ForumsはPHP製の掲示板ソフトウェアです。
以下のVagratfileを使用して、Vanilla ForumsとMySQLをインストールされた仮想マシン(Ubuntu16.04) を構築する事ができます。
仮想マシン構築後、http://192.168.1.106/vanillaforums/にアクセスして初期設定を行います。

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-16.04"
  config.vm.hostname = "ub1604vanillaforums251"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1604vanillaforums251"
     vbox.cpus = 2
     vbox.memory = 2048
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
config.vm.network "private_network", ip: "192.168.55.107", :netmask => "255.255.255.0"
config.vm.network "public_network", ip:"192.168.1.107", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
# update packages
apt-get update
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade
echo "mysql-server-5.7 mysql-server/root_password password root" | sudo debconf-set-selections
echo "mysql-server-5.7 mysql-server/root_password_again password root" | sudo debconf-set-selections
apt-get -y install mysql-server-5.7
mysql -uroot -proot -e "CREATE DATABASE vanillaforums DEFAULT CHARACTER SET utf8;"
mysql -uroot -proot -e "CREATE USER vanillaforums@localhost IDENTIFIED BY 'vanillaforums';"
mysql -uroot -proot -e "GRANT ALL PRIVILEGES ON vanillaforums.* TO 'vanillaforums'@'localhost';"
mysql -uroot -proot -e "FLUSH PRIVILEGES;"
echo "sql_mode=NO_ENGINE_SUBSTITUTION" >> /etc/mysql/mysql.conf.d/mysqld.cnf
#set global SQL_MODE="NO_ENGINE_SUBSTITUTION";
systemctl restart mysql.service

apt-get -y install software-properties-common
add-apt-repository ppa:ondrej/php
apt-get update
apt-get -y install apache2 libapache2-mod-php7.1
apt-get -y install php7.1-gd php7.1-json php7.1-mysql php7.1-pdo php7.1-curl php7.1-mbstring
apt-get -y install php7.1-mcrypt php7.1-xml php7.1-zip php7.1-intl

# install vanillaforums
apt-get -y install unzip
wget https://open.vanillaforums.com/get/vanilla-core-2.5.1.zip
unzip vanilla-core-2.5.1.zip
mv vanilla-2.5.1 /opt/vanillaforums
chown -R www-data:www-data /opt/vanillaforums
ln -s  /opt/vanillaforums /var/www/html

service apache2 restart
echo 'access http://192.168.1.107/vanillaforums/'
echo 'db user:vanillaforums  password:vanillaforums  db:vanillaforums'
SHELL
end

〇Vanilla Forumsの初期設定画面

〇Vanilla Forumsの画面

○関連情報
・Vanilla Forumsに関する他の情報はこちらを参照してください。

LXDでAtomとXfce Desktop環境、XRDPをインストールしたコンテナ(Ubuntu16.04)を構築する

Atomはオープンソースのテキストエディタです。
XRDPもインストールされているので、リモートデスクトップから接続することができます。ユーザはubuntu、パスワードもubuntuです。

〇Atomの画面

〇構築方法
LXDで以下のコマンドを実行して、AtomとXfce Desktop環境インストールされたコンテナを構築します。

lxc init ubuntu:16.04 lxdxfceatom
lxc config set lxdxfceatom user.user-data - < config.yml
lxc start lxdxfceatom

config.yml

#cloud-config

package_upgrade: true

hostname: lxdxfceatom
manage_etc_hosts: true

write_files:
  - path: /tmp/.xsessionrc
    content: |
      export LANG=ja_JP.UTF-8
      export GTK_IM_MODULE=fcitx
      export QT_IM_MODULE=fcitx
      export XMODIFIERS="@im=fcitx"
      sed -i -e "s/^EnabledIMList.*$/EnabledIMList=fcitx-keyboard-jp:True,mozc:True,fcitx-keyboard-us:False/" /home/ubuntu/.config/fcitx/profile
      fcitx -r -d &

  - path: /etc/default/keyboard
    content: |
      XKBMODEL="pc106"
      XKBLAYOUT="jp"
      XKBVARIANT=""
      XKBOPTIONS=""
      BACKSPACE="guess"

runcmd:
  - 'sed -i.bak -e "s#http://archive.ubuntu.com/ubuntu/#http://ftp.riken.jp/pub/Linux/ubuntu/#g" /etc/apt/sources.list'
  - 'localectl set-locale LANG=ja_JP.UTF-8'
  - 'localectl set-keymap jp106'
  - 'apt-get update'
  - 'apt-get -y install software-properties-common'
  - 'add-apt-repository ppa:hermlnx/xrdp'
  - 'apt-get update'
  - 'echo "export LANG=ja_JP.UTF-8" >> /home/ubuntu/.bash_profile'
  - "echo 'ubuntu:ubuntu' | chpasswd"
  - 'apt-get -y install xrdp fcitx-mozc xubuntu-desktop language-pack-ja language-pack-ja'
  - 'im-config -n fcitx'
  - 'mv /tmp/.xsessionrc /home/ubuntu'
  - 'chown -R ubuntu:ubuntu /home/ubuntu'
  - 'apt-get -y install  gvfs-bin git xdg-utils'
  - 'wget https://github.com/atom/atom/releases/download/v1.21.2/atom-amd64.deb'
  - 'dpkg -i atom-amd64.deb'
  - 'fcitx -r -d &'

final_message: "completed."

〇コンテナのIPを調べる
コンテナのIPは以下のコマンドで調べることができます。

lxc list

〇ホストマシンの外部からコンテナにアクセスしたい場合
以下のコマンドを実行します。

PORT=3389 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'

〇コンテナに入る

lxc exec lxdxfceatom /bin/bash

〇コンテナの停止

lxc stop lxdxfceatom

〇コンテナの削除

lxc delete lxdxfceatom

○関連情報
・Atomに関する他の記事はこちらを参照してください。

dockerでJupyter Notebook、Redisがインストールされたコンテナのイメージを作成する

Jupyter Notebookでインタラクティブなコンピューティング環境を提供する事ができます。
以下の手順で、Jupyter Notebook、Redisのコンテナを構築・実行します。

○構築方法
1. mysqlclientを追加したJupyter Notebookイメージの作成(Dockerfileがあるフォルダで実行)

docker build -t scipy-notebook-redis .

Dockerfile

FROM jupyter/scipy-notebook
ENV TZ=Asia/Tokyo
USER root
RUN pip install redis
USER $NB_UID

2. Jupyter Notebookと Redisコンテナの構築・実行(docker-compose.ymlがあるフォルダで実行)

docker-compose up -d

docker-compose.yml

version: "2"
services:
  scipy-notebook:
    image: scipy-notebook-redis
    container_name: "scipy-notebook-redis"
    volumes:
      - "scipy-notebook-data:/home/jovyan/work"
    ports:
      - "8888:8888"
    environment:
      JUPYTER_TOKEN: jupyter
    depends_on:
      - db
  db:
    image: redis:alpine
    container_name: "redis"
    volumes:
      - "redis-data:/data"
    ports:
      - "6379:6379"
volumes:
  redis-data:
    driver: local
  scipy-notebook-data:
    driver: local

3.ブラウザから以下のURLにアクセス
http://<Dockerホスト名またはIP>:8888/?token=jupyter

※Jupyter Labを使用したい場合は、以下のようにenvironmentにJUPYTER_ENABLE_LAB: 1を追加します。

    environment:
      JUPYTER_TOKEN: jupyter
      JUPYTER_ENABLE_LAB: 1

〇動作確認用コード

import redis

r = redis.StrictRedis(host='db', port=6379, db=0)
r.set("mykey", "hello world!")
print(r.get("mykey"))

○Jupyter Notebookの画面

VagrantでJupyter LabとH2 Databaseをインストールした仮想マシン(Ubuntu16.04)を構築する

Jupyter Labでインタラクティブなコンピューティング環境を提供する事ができます。
以下のVagrantfileで、Jupyter LabとH2 Databaseをインストールした仮想マシン(Ubuntu16.04)を構築できます。

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-16.04"
  config.vm.hostname = "ub1604jupyterlabh2db"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1604jupyterlabh2db"
     vbox.cpus = 2
     vbox.memory = 2048
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
  config.vm.network "private_network", ip: "192.168.55.106", :netmask => "255.255.255.0"
  config.vm.network "public_network", ip:"192.168.1.106", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
# update packages
apt-get update
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade
locale-gen ja_JP.UTF-8
localectl set-locale LANG=ja_JP.UTF-8

# install java
apt-get -y install openjdk-8-jdk

# download h2 database
apt-get -y install unzip
wget http://www.h2database.com/h2-2018-03-18.zip
unzip h2-2018-03-18.zip
mv h2 /opt
mkdir /opt/h2/data

# setup console as service
cat << EOF > /opt/h2/bin/h2env
H2CUSTOMJARS=
EOF

cat << EOF > /etc/systemd/system/h2.service
[Unit]
Description=H2 database
After=syslog.target network.target

[Service]
Type=simple
EnvironmentFile=/opt/h2/bin/h2env
WorkingDirectory=/opt/h2
ExecStart=/usr/bin/java -cp "/opt/h2/bin/h2-1.4.197.jar:\\$H2CUSTOMJARS" org.h2.tools.Console -tcp -tcpAllowOthers -web -webAllowOthers -pg -pgAllowOthers -baseDir /opt/h2/data

ExecStop=/usr/bin/kill -3 \\${MAINPID}

[Install]
WantedBy=multi-user.target
EOF
systemctl enable h2.service
systemctl start h2.service

# install anaconda & jupyterlab
wget https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
chmod +x Anaconda3-5.1.0-Linux-x86_64.sh
./Anaconda3-5.1.0-Linux-x86_64.sh -b -p /opt/anaconda
source /opt/anaconda/bin/activate
pip install --upgrade pip
pip install jupyterlab

# install psycopg2
apt-get -y install libpq-dev python-dev
pip install psycopg2-binary

useradd py
mkdir -p /home/py
chown -R py:py /home/py
sudo -u py bash -c "mkdir /home/py/.jupyter"
sudo -u py bash -c "cat << EOF > /home/py/.jupyter/jupyter_notebook_config.py
conf = get_config()
conf.NotebookApp.ip = '*'
conf.NotebookApp.open_browser = False
conf.NotebookApp.port = 8080
conf.NotebookApp.token = 'jupyter'
EOF"

cat << EOF > /etc/systemd/system/jupyter.service
[Unit]
Description=Jupyter notebook
[Service]
Type=simple
ExecStartPre=source /opt/anaconda/bin/activate
ExecStart=/opt/anaconda/bin/jupyter lab
User=py
Group=py
WorkingDirectory=/home/py
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable jupyter
sudo systemctl start jupyter


echo '--------------------------------------------------'
echo 'access URL: http://192.168.55.106:8082/'
echo 'username: sa    default password: sa'
echo 'Driver class: org.h2.Driver'
echo 'JDBC URL: jdbc:h2:tcp://192.168.55.106/~/test'
echo '--------------------------------------------------'
echo 'access -> http://192.168.55.106:8080/?token=jupyter'

SHELL
end

〇動作検証用コード

import psycopg2

con = psycopg2.connect("dbname=test host=localhost port=5435 user=sa password=sa")

try:
  cur= con.cursor()
  cur.execute("create table messages (message_id integer, message varchar(100))")
  cur.execute("insert into messages values (1, 'Hello world!')")
  sql = "select message_id, message from messages"
  cur.execute(sql)

  for row in cur.fetchall():
    print(row)

except psycopg2.Error as er:
    print('psycopg2.Error:', er)
cur.close
con.close

〇Jupyter Labの画面

○関連情報
・H2 Databaseに関する他の記事はこちらを参照してください。

・psycopg2に関する他の記事はこちらを参照してください。