2018年4月22日日曜日

VagrantでJupyter LabとFoundationDBをインストールした仮想マシン(Ubuntu16.04)を構築する

Jupyter Labでインタラクティブなコンピューティング環境を提供する事ができます。

〇Jupyter Labの画面


〇構築方法
以下のVagrantfileで、Jupyter LabとFoundationDBをインストールした仮想マシン(Debian Stretch/9.3)を構築できます。

Vagrantfile
VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-16.04"
  config.vm.hostname = "ub1604jupyterlabfoundationdb"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1604jupyterlabfoundationdb"
     vbox.cpus = 2
     vbox.memory = 2048
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
config.vm.network "private_network", ip: "192.168.55.104", :netmask => "255.255.255.0"
config.vm.network "public_network", ip:"192.168.1.104", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
# update packages
apt-get update
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade
locale-gen ja_JP.UTF-8
localectl set-locale LANG=ja_JP.UTF-8


# install FoundationDB
wget https://www.foundationdb.org/downloads/5.1.5/ubuntu/installers/foundationdb-clients_5.1.5-1_amd64.deb
wget https://www.foundationdb.org/downloads/5.1.5/ubuntu/installers/foundationdb-server_5.1.5-1_amd64.deb

dpkg -i foundationdb-clients_5.1.5-1_amd64.deb
dpkg -i foundationdb-server_5.1.5-1_amd64.deb

systemctl enable foundationdb
systemctl start foundationdb


# install anaconda & jupyterlab
wget https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
chmod +x Anaconda3-5.1.0-Linux-x86_64.sh
./Anaconda3-5.1.0-Linux-x86_64.sh -b -p /opt/anaconda
source /opt/anaconda/bin/activate
pip install --upgrade pip
pip install jupyterlab

# install python binding
wget https://www.foundationdb.org/downloads/5.1.5/bindings/python/foundationdb-5.1.5.tar.gz
tar xvfz foundationdb-5.1.5.tar.gz
cd foundationdb-5.1.5
python setup.py install

cd /home/vagrant
cat << EOF > test.py
import fdb
fdb.api_version(510)
db = fdb.open()
test = fdb.directory.create_or_open(db, ('test',))
db[test['foo']] = 'hello world!'.encode(encoding='utf-8')
print(db[test['foo']].decode(encoding='utf-8'))
EOF
python test.py

useradd py
mkdir -p /home/py
chown -R py:py /home/py
sudo -u py bash -c "mkdir /home/py/.jupyter"
sudo -u py bash -c "cat << EOF > /home/py/.jupyter/jupyter_notebook_config.py
conf = get_config()
conf.NotebookApp.ip = '*'
conf.NotebookApp.open_browser = False
conf.NotebookApp.port = 8888
conf.NotebookApp.token = 'jupyter'
EOF"

cat << EOF > /etc/systemd/system/jupyter.service
[Unit]
Description=Jupyter notebook
[Service]
Type=simple
ExecStartPre=source /opt/anaconda/bin/activate
ExecStart=/opt/anaconda/bin/jupyter lab
User=py
Group=py
WorkingDirectory=/home/py
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable jupyter
sudo systemctl start jupyter

echo 'jupyter -> http://192.168.55.104:8888/?token=jupyter'
SHELL
end

○動作確認用コード
import fdb
fdb.api_version(510)
db = fdb.open()
test = fdb.directory.create_or_open(db, ('test',))
print(db[test['foo']].decode(encoding='utf-8'))

LXDでApache Zookeeperがインストールされたコンテナを構築する

Apache Zookeeperは設定情報や構成情報を管理する分散システムです。

〇コンテナの構築
LXDで以下のコマンドを実行して、CouchDBがインストールされたコンテナを構築します。
lxc init ubuntu:16.04 zookeeper
lxc config set zookeeper user.user-data - < config.yml
lxc start zookeeper

config.yml
#cloud-config

package_upgrade: true

hostname: zookeeper
manage_etc_hosts: true

write_files:
  - path: /etc/systemd/system/zookeeper.service
    content: |
      [Unit]
      Description=Apache Zookeeper
      Requires=network.target
      After=network.target
      [Service]
      Type=forking
      ExecStart=/opt/zookeeper/bin/zkServer.sh start /opt/zookeeper/conf/zoo.cfg
      ExecStop=/opt/zookeeper/bin/zkServer.sh stop
      WorkingDirectory=/opt/zookeeper
      [Install]
      WantedBy=multi-user.target
  - path: /tmp/zoo.cfg
    content: |
      tickTime=2000
      dataDir=/var/zookeeper
      clientPort=2181

runcmd:
  - 'apt-get update'
  - 'apt-get -y install openjdk-8-jdk'
  - 'apt-get -y install unzip'
  - 'wget http://ftp.riken.jp/net/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz'
  - 'tar xvfz zookeeper-3.4.11.tar.gz'
  - 'mv zookeeper-3.4.11 /opt/zookeeper'
  - 'mv /tmp/zoo.cfg /opt/zookeeper/conf'
  - systemctl enable zookeeper.service
  - systemctl start zookeeper.service
  - "while netstat -lnt | awk '$4 ~ /:2181$/ {exit 1}'; do sleep 10; done"
  - "sleep 10"
  - "/opt/zookeeper/bin/zkCli.sh -server localhost:2181 create /test mydata"
  - "/opt/zookeeper/bin/zkCli.sh -server localhost:2181 ls /"
  - "/opt/zookeeper/bin/zkCli.sh -server localhost:2181 get /test"
final_message: "completed."

〇コンテナに入る
lxc exec zookeeper /bin/bash

〇コンテナのIPを調べる
コンテナのIPは以下のコマンドで調べることができます。
lxc list

〇コンテナの停止
lxc stop zookeeper

〇コンテナの削除
lxc delete zookeeper

DockerでLychee、Percona Serverがインストールされたコンテナ(Alpine 3.7)を構築する

LycheeはPHP製の画像管理ソフトです。
以下の手順で、LycheeとPercona Serverのコンテナを構築・実行します。

○構築方法
1. Lycheeイメージの作成(Dockerfileがあるフォルダで実行)
docker build -t lychee .

Dockerfile
FROM alpine:3.7
WORKDIR /
RUN  apk update \
  && apk add --no-cache apache2 php7-apache2 php7-mysqli php7-pdo php7-session php7-mbstring php7-mcrypt php7-curl php7-json php7-xml php7-simplexml php7-zip php7-gd php7-zlib php7-exif openssl openrc unzip \
  && rm -rf /var/cache/apk/* \
  && wget  https://github.com/electerious/Lychee/archive/master.zip \
  && mkdir -p /opt \
  && unzip master.zip \
  && rm -f master.zip -f \
  && mv Lychee-master /opt/lychee \
  && chown -R apache:apache /opt/lychee \
  && mkdir -p /run/apache2 \
  && ln -s /opt/lychee /var/www/localhost/htdocs \
  && sed -i -e 's/max_execution_time = 30/max_execution_time = 200/' /etc/php7/php.ini \
  && sed -i -e 's/post_max_size = 8M/post_max_size = 100M/' /etc/php7/php.ini \
  && sed -i -e 's/upload_max_filesize = 2M/upload_max_filesize = 20M/' /etc/php7/php.ini \
  && sed -i -e 's/memory_limit = 128M/memory_limit = 256M/' /etc/php7/php.ini
EXPOSE 80
VOLUME /opt/lychee
CMD ["/usr/sbin/httpd", "-D", "FOREGROUND"]

2. LycheeとMariaDBコンテナの構築・実行(docker-compose.ymlがあるフォルダで実行)
docker-compose up -d

docker-compose.yml
version: "2"
services:
  lychee:
    image: lychee
    container_name: "lychee"
    volumes:
      - "lychee-data:/opt/lychee"
    ports:
      - "80:80"
    depends_on:
      - db
  db:
    image: percona:5.7
    container_name: "lychee-db"
    volumes:
      - "db-data:/var/lib/mysql"
    environment:
        MYSQL_DATABASE: lychee
        MYSQL_ROOT_PASSWORD: lychee
volumes:
  db-data:
    driver: local
  lychee-data:
    driver: local

3. ブラウザからhttp:///lychee/にアクセス
以下の項目を入力し、「Connect」ボタンをクリックする
Database Host:db
Database Username: root
Database Password:lychee
Datanase Name:lychee


4. 登録するユーザ情報を入力する


○Lycheeの画面


VagrantでFoundationDBをインストールした仮想マシン(Ubuntu16.04)を構築する

FoundationDBは分散NoSQLデータベースです。

以下のVagrantfileを使用して、FoundationDBとPythonインターフェイスをインストールした仮想マシンを構築する

Vagrantfile
VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-16.04"
  config.vm.hostname = "ub1604foundationdb"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1604foundationdb"
     vbox.cpus = 4
     vbox.memory = 4096
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
  # private network
config.vm.network "private_network", ip: "192.168.55.103", :netmask => "255.255.255.0"
  # bridge netwrok
config.vm.network "public_network", ip: "192.168.1.103", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
sed -i.bak -e "s#http://archive.ubuntu.com/ubuntu/#http://ftp.riken.jp/pub/Linux/ubuntu/#g" /etc/apt/sources.list
#localectl set-locale LANG=ja_JP.UTF-8
#localectl set-keymap jp106
apt-get update
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade

# install FoundationDB
wget https://www.foundationdb.org/downloads/5.1.5/ubuntu/installers/foundationdb-clients_5.1.5-1_amd64.deb
wget https://www.foundationdb.org/downloads/5.1.5/ubuntu/installers/foundationdb-server_5.1.5-1_amd64.deb

dpkg -i foundationdb-clients_5.1.5-1_amd64.deb
dpkg -i foundationdb-server_5.1.5-1_amd64.deb

systemctl enable foundationdb
systemctl start foundationdb

wget https://www.foundationdb.org/downloads/5.1.5/bindings/python/foundationdb-5.1.5.tar.gz
tar xvfz foundationdb-5.1.5.tar.gz
cd foundationdb-5.1.5
python setup.py install

cd /home/vagrant
cat << EOF > test.py
import fdb
fdb.api_version(510)
db = fdb.open()
test = fdb.directory.create_or_open(db, ('test',))
db[test['foo']] = 'hello world!'
print(db[test['foo']])
EOF
python test.py

SHELL
end

2018年4月21日土曜日

LXDでH2 Databaseがインストールされたコンテナを構築する

H2 Databaseはjava製のRDBです。

〇H2DBのコンソール画面


〇コンテナの構築
LXDで以下のコマンドを実行して、CouchDBがインストールされたコンテナを構築します。
lxc init ubuntu:16.04 h2db
lxc config set h2db user.user-data - < config.yml
lxc start h2db

config.yml
#cloud-config

package_upgrade: true

hostname: h2db
manage_etc_hosts: true

write_files:
  - path: /etc/systemd/system/h2.service
    content: |
      [Unit]
      Description=H2 database
      After=syslog.target network.target
      [Service]
      Type=simple
      EnvironmentFile=/opt/h2/bin/h2env
      WorkingDirectory=/opt/h2
      ExecStart=/usr/bin/java -cp "/opt/h2/bin/h2-1.4.197.jar:\\$H2CUSTOMJARS" org.h2.tools.Server -tcp -tcpAllowOthers -web -webAllowOthers -pg -pgAllowOthers -baseDir /opt/h2/data
      ExecStop=/usr/bin/kill -3 \\${MAINPID}
      [Install]
      WantedBy=multi-user.target
runcmd:
  - 'apt-get update'
  - 'apt-get -y install openjdk-8-jdk'
  - 'apt-get -y install unzip'
  - 'wget http://www.h2database.com/h2-2018-03-18.zip'
  - 'unzip h2-2018-03-18.zip'
  - 'mv h2 /opt'
  - mkdir /opt/h2/data
  - 'echo "H2CUSTOMJARS=" >> /opt/h2/bin/h2env'
  - systemctl enable h2.service
  - systemctl start h2.service
final_message: "completed."

〇ホストマシンの外部からコンテナにアクセスしたい場合
以下のコマンドを実行します。
PORT=9092 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'
PORT=5435 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'
PORT=8082 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'

○コンソール画面へのアクセス
ブラウザからhttp://<ホストのIP>:8092/にアクセスします。
JDBCURLには、「jdbc:h2:tcp://<コンテナのIP>/test」を指定し
ユーザ名sa、パスワードなしを指定します。

〇コンテナのIPを調べる
コンテナのIPは以下のコマンドで調べることができます。
lxc list

〇コンテナの停止
lxc stop h2db

〇コンテナの削除
lxc delete h2db

2018年4月20日金曜日

LXDでCouchDBがインストールされたコンテナを構築する

CouchDBはドキュメント指向のデータベースです。

〇CouchDBの画面


LXDで以下のコマンドを実行して、CouchDBがインストールされたコンテナを構築します。
lxc init ubuntu:16.04 couchdb
lxc config set couchdb user.user-data - < config.yml
lxc start couchdb

config.yml
#cloud-config

package_upgrade: true

hostname: couchdb
manage_etc_hosts: true

runcmd:
  - 'apt-get update'
  - 'apt-get -y install apt-file'
  - 'apt-get update'
  - 'apt-get -y install software-properties-common'
  - 'add-apt-repository -y ppa:couchdb/stable'
  - 'apt-get -y install couchdb'
  - sed -i -e 's/bind_address = 127.0.0.1/bind_address = 0.0.0.0/' /etc/couchdb/default.ini
  - systemctl restart couchdb.service
final_message: "access : http://{IP address of this container}:5984/_utils/index.html"

〇ホストマシンの外部からコンテナにアクセスしたい場合
PORT=5984 PUBLIC_IP=<ホストのIP> CONTAINER_IP=<コンテナのIP> sudo -E bash -c 'iptables -t nat -I PREROUTING -i eth0 -p TCP -d $PUBLIC_IP --dport $PORT -j DNAT --to-destination $CONTAINER_IP:$PORT -m comment --comment "container"'

コンテナのIPは以下のコマンドで調べることができます。
lxc list

〇コンテナの停止
lxc stop couchdb

〇コンテナの削除
lxc delete couchdb

VagrantでVanilla Forums2.5.1、MySQLがインストールされた仮想マシン(Ubuntu16.04)を構築する

Vanilla ForumsはPHP製の掲示板ソフトウェアです。
以下のVagratfileを使用して、Vanilla ForumsとMySQLをインストールされた仮想マシン(Ubuntu16.04) を構築する事ができます。
仮想マシン構築後、http://192.168.1.106/vanillaforums/にアクセスして初期設定を行います。

Vagrantfile
VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-16.04"
  config.vm.hostname = "ub1604vanillaforums251"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1604vanillaforums251"
     vbox.cpus = 2
     vbox.memory = 2048
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
config.vm.network "private_network", ip: "192.168.55.107", :netmask => "255.255.255.0"
config.vm.network "public_network", ip:"192.168.1.107", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
# update packages
apt-get update
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade
echo "mysql-server-5.7 mysql-server/root_password password root" | sudo debconf-set-selections
echo "mysql-server-5.7 mysql-server/root_password_again password root" | sudo debconf-set-selections
apt-get -y install mysql-server-5.7
mysql -uroot -proot -e "CREATE DATABASE vanillaforums DEFAULT CHARACTER SET utf8;"
mysql -uroot -proot -e "CREATE USER vanillaforums@localhost IDENTIFIED BY 'vanillaforums';"
mysql -uroot -proot -e "GRANT ALL PRIVILEGES ON vanillaforums.* TO 'vanillaforums'@'localhost';"
mysql -uroot -proot -e "FLUSH PRIVILEGES;"
echo "sql_mode=NO_ENGINE_SUBSTITUTION" >> /etc/mysql/mysql.conf.d/mysqld.cnf
#set global SQL_MODE="NO_ENGINE_SUBSTITUTION";
systemctl restart mysql.service

apt-get -y install software-properties-common
add-apt-repository ppa:ondrej/php
apt-get update
apt-get -y install apache2 libapache2-mod-php7.1
apt-get -y install php7.1-gd php7.1-json php7.1-mysql php7.1-pdo php7.1-curl php7.1-mbstring
apt-get -y install php7.1-mcrypt php7.1-xml php7.1-zip php7.1-intl

# install vanillaforums
apt-get -y install unzip
wget https://open.vanillaforums.com/get/vanilla-core-2.5.1.zip
unzip vanilla-core-2.5.1.zip
mv vanilla-2.5.1 /opt/vanillaforums
chown -R www-data:www-data /opt/vanillaforums
ln -s  /opt/vanillaforums /var/www/html

service apache2 restart
echo 'access http://192.168.1.107/vanillaforums/'
echo 'db user:vanillaforums  password:vanillaforums  db:vanillaforums'
SHELL
end

〇Vanilla Forumsの初期設定画面


〇Vanilla Forumsの画面