2018年7月20日金曜日

PortainerでJupyter LabとRedisのスタックを作成する

Jupyter Notebookでインタラクティブなコンピューティング環境を提供する事ができます。Portainerで簡単にwebブラウザからJupyter LabとRedisのスタックを作成する事ができます。

○Jupyter Labの画面


〇構築方法
1.Portainer画面横のImagesをクリックして、Image list画面からBuild a new imageボタンをクリック


2.Build image画面nameフィールドにmyjupyter-redisを入力

3.Web editorのテキストエリアに以下を貼り付け
FROM jupyter/scipy-notebook
ENV TZ=Asia/Tokyo
USER root
RUN pip install redis
USER $NB_UID



貼り付け後、build the image ボタンをクリックします。

4.画面横のStacksをクリック後、Stacks list画面でAdd a stackボタンをクリックします


5.Create stack画面で、Nameフィールドにjupyterlab-redis-stackを入力し、Web editorに以下を張り付ける
version: "3"
services:
  myjupyter:
    image: myjupyter-redis
    container_name: "myjupyter-redis"
    volumes:
      - "myjupyter-data:/home/jovyan/work"
    ports:
      - "8888:8888"
    environment:
      JUPYTER_TOKEN: jupyter
      JUPYTER_ENABLE_LAB: 1
    depends_on:
      - db
  db:
    image: redis:alpine
    container_name: "redis"
    volumes:
      - "redis-data:/data"
    ports:
      - "6379:6379"
volumes:
  redis-data:
    driver: local
  myjupyter-data:
    driver: local



貼り付け後、deploy stackボタンをクリックします。

6.ブラウザから以下のURLにアクセス
http://<Dockerホスト名またはIP>:8888/?token=jupyter

〇動作検証用コード
import redis

r = redis.StrictRedis(host='db', port=6379, db=0)
r.set("mykey", "hello world!")
print(r.get("mykey"))

VagrantでpgAdmin4とPostgreSQL10をインストールした仮想マシン(Ubuntu 16.04)を構築する

pgAdmin4はPostgreSQL用のwebインターフェイスです。

〇pgAdmin4の画面

ユーザはadmin@localhost、パスワードにはadminpassを指定します。
接続情報として、DBとしてdwh、ユーザ名dwh、パスワードdwhを指定します。

〇構築方法
以下のVagrantfileを使用して、pgAdmin4とPostgreSQL10をインストールした仮想マシン(Ubuntu 16.04)を構築する事ができます。

Vagrantfile
VAGRANTFILE_API_VERSION = "2"
Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-16.04"
  config.vm.hostname = "ub1604pg10pgadmin4"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1604pg10pgadmin4"
     vbox.cpus = 2
     vbox.memory = 2048
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
config.vm.network "private_network", ip: "192.168.55.105", :netmask => "255.255.255.0"
config.vm.network "public_network", ip:"192.168.1.105", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
sed -i -e 's/# ja_JP.UTF-8 UTF-8/ja_JP.UTF-8 UTF-8/' /etc/locale.gen
locale-gen
localectl set-locale LANG=ja_JP.UTF-8
localectl set-keymap jp106
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade


# install postgresql
echo "deb http://apt.postgresql.org/pub/repos/apt/ $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list
apt-get -y install wget ca-certificates
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | apt-key add -
apt-get update
apt-get upgrade
apt-get -y install postgresql-10 

echo "listen_addresses='*'" >> /etc/postgresql/10/main/postgresql.conf

#sed -i 's/host.*all.*all.*127.0.0.1/#host    all             all             127.0.0.1/g' /etc/postgresql/10/main/pg_hba.conf

echo "host    all         all         127.0.0.1/32          password" >> /etc/postgresql/10/main/pg_hba.conf
echo "host    all         all         192.168.1.0/24          password" >> /etc/postgresql/10/main/pg_hba.conf
echo "host    all         all         192.168.55.0/24          password" >> /etc/postgresql/10/main/pg_hba.conf

su - postgres << EOF
createdb -T template0 --locale=ja_JP.UTF-8 --encoding=UTF8 dwh
psql -c "
alter user postgres with password 'postgres';
create user dwh with password 'dwh';
grant all privileges on database dwh to dwh;
"
EOF
echo "postgres:postgres" | chpasswd
systemctl restart postgresql.service


# install pgadmin4
apt-get -y install libpq-dev python-dev python-pip libapache2-mod-wsgi apache2
wget https://ftp.postgresql.org/pub/pgadmin/pgadmin4/v3.0/pip/pgadmin4-3.0-py2.py3-none-any.whl
pip install pgadmin4-3.0-py2.py3-none-any.whl

cat << EOF >> /usr/local/lib/python2.7/dist-packages/pgadmin4/config_distro.py
LOG_FILE = '/var/log/pgadmin4/pgadmin4.log'
SQLITE_PATH = '/usr/local/lib/python2.7/dist-packages/pgadmin4/pgadmin4.db'
SESSION_DB_PATH = '/usr/local/lib/python2.7/dist-packages/pgadmin4/sessions'
STORAGE_DIR = '/usr/local/lib/python2.7/dist-packages/pgadmin4/storage'
EOF

cd /usr/local/lib/python2.7/dist-packages/pgadmin4
cat << EOF | python setup.py
admin@localhost
adminpass
adminpass
EOF
mkdir -p /var/log/pgadmin4
chown -R www-data:www-data /var/log/pgadmin4
mkdir -p /usr/local/lib/python2.7/dist-packages/pgadmin4/storage
chown -R www-data:www-data /usr/local/lib/python2.7/dist-packages/pgadmin4


cat << EOF > /etc/apache2/sites-available/pgadmin4.conf
<VirtualHost *>
  ServerName ub1604pg10pgadmin4

  WSGIDaemonProcess pgadmin processes=1 threads=25
  WSGIScriptAlias / /usr/local/lib/python2.7/dist-packages/pgadmin4/pgAdmin4.wsgi
  <Directory "/usr/local/lib/python2.7/dist-packages/pgadmin4/">
    WSGIProcessGroup pgadmin
    WSGIApplicationGroup %{GLOBAL}
    Require all granted
  </Directory>
</VirtualHost>
EOF

a2enmod wsgi
a2ensite pgadmin4.conf
a2dissite 000-default.conf
systemctl restart apache2

echo 'access to http://192.168.55.105/'


SHELL
end

2018年7月19日木曜日

DockerでHackMD、MariaDB10.3がインストールされたコンテナを構築する

HackMDでMarkdown文書をリアルタイムにほかのユーザと共同編集する事ができます。

〇HackMDの画面


〇構築方法
1.HackMDとMariaDB10.3コンテナの構築・実行(docker-compose.ymlがあるフォルダで実行)
docker-compose up -d

docker-compose.yml
version: '2'
services:
  hackmd:
    image: hackmdio/hackmd:1.1.1-ce
    environment:
      - HMD_DB_URL=mysql://root:hackmd@db:3306/hackmd
    ports:
      - "3000:3000"
    depends_on:
      - db
  db:
    image: mariadb:10.3
    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
    container_name: "mysql-db"
    volumes:
      - "db-data:/var/lib/mysql"
    ports:
      - "3306:3306"
    environment:
      MYSQL_DATABASE: hackmd
      MYSQL_ROOT_PASSWORD: hackmd
volumes:
  db-data:
    driver: local

DockerでNextcloud13.04、Percona Server5.7がインストールされたコンテナ(Alpine 3.7)を構築する

NextcloudはDropboxのようなファイルを共有できるサーバーアプリケーションです。

○Nextcloudの画面


○構築方法
以下の手順で、NextcloudとPercona Serverのコンテナを構築・実行します。

1. Nextcloudイメージの作成(Dockerfileがあるフォルダで実行)
docker build -t nextcloud .

Dockerfile
FROM alpine:3.7
WORKDIR /
RUN  apk update \
  && apk add --no-cache apache2 php7-apache2 php7-mysqli php7-pdo php7-pdo_mysql php7-intl php7-mcrypt php7-mbstring php7-session php7-curl php7-json php7-xml php7-zip php7-tokenizer php7-ctype php7-gd php7-xmlwriter php7-xmlreader php7-dom php7-iconv php7-simplexml php7-openssl openssl openrc unzip \
  && rm -rf /var/cache/apk/* \
  && wget https://download.nextcloud.com/server/releases/nextcloud-13.0.4.zip \
  && unzip nextcloud-13.0.4.zip \
  && rm -f nextcloud-13.0.4.zip \
  && mkdir -p /opt \
  && mv nextcloud /opt/nextcloud \
  && mkdir -p /opt/nextcloud/data \
  && chown -R apache:apache /opt/nextcloud \
  && ln -s  /opt/nextcloud /var/www/localhost/htdocs \
  && mkdir -p /run/apache2
EXPOSE 80
VOLUME /opt/nextcloud
CMD ["/usr/sbin/httpd", "-D", "FOREGROUND"]

2. NextcloudとPercona Serverコンテナの構築・実行(docker-compose.ymlがあるフォルダで実行)
docker-compose up -d

docker-compose.yml
version: "2"
services:
  nextcloud:
    image: nextcloud
    container_name: "nextcloud"
    volumes:
      - "nextcloud-data:/opt/nextcloud"
    ports:
      - "80:80"
    depends_on:
      - db
  db:
    image: percona:5.7
    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
    container_name: "db"
    volumes:
      - "db-data:/var/lib/mysql"
      - "db-log:/var/log/mysql"
    ports:
      - "3306:3306"
    environment:
      MYSQL_DATABASE: nextcloud
      MYSQL_ROOT_PASSWORD: nextcloud
volumes:
  db-data:
    driver: local
  db-log:
    driver: local
  nextcloud-data:
    driver: local

3. ブラウザからhttp://<Dockerホスト名またはIP>/nextcloud/にアクセス
インストーラー画面で以下の項目を入力します
データベースのユーザ名: root
データベースのパスワード: nextcloud
データベース名: nextcloud
データベースのホスト名: db:3306
他の項目は好みに合わせて入力


2018年7月18日水曜日

PortainerでJupyter LabとMongoDBのスタックを作成する

Jupyter Notebookでインタラクティブなコンピューティング環境を提供する事ができます。Portainerで簡単にwebブラウザからJupyter LabとMongoDBのスタックを作成する事ができます。

○Jupyter Labの画面


〇構築方法
1.Portainer画面横のImagesをクリックして、Image list画面からBuild a new imageボタンをクリック


2.Build image画面nameフィールドにmyjupyter-mongodbを入力

3.Web editorのテキストエリアに以下を貼り付け
FROM jupyter/scipy-notebook
ENV TZ=Asia/Tokyo
USER root
RUN pip install pymongo
USER $NB_UID


貼り付け後、build the image ボタンをクリックします。

4.画面横のStacksをクリック後、Stacks list画面でAdd a stackボタンをクリックします


5.Create stack画面で、Nameフィールドにjupyterlab-mongodb-stackを入力し、Web editorに以下を張り付ける
version: "3"
services:
  myjupyter:
    image: myjupyter-mongodb
    container_name: "myjupyter-mongodb"
    volumes:
      - "myjupyter-data:/home/jovyan/work"
    ports:
      - "8888:8888"
    environment:
      JUPYTER_TOKEN: jupyter
      JUPYTER_ENABLE_LAB: 1
    depends_on:
      - db
  db:
    image: mongo:3.7-jessie
    container_name: "mongodb"
    volumes:
      - "mongodb-data:/data/db"
      - "mongodb-configdb:/data/configdb"
    ports:
      - 27017:27017
volumes:
  mongodb-data:
    driver: local
  mongodb-configdb:
    driver: local
  myjupyter-data:
    driver: local



貼り付け後、deploy stackボタンをクリックします。

6.ブラウザから以下のURLにアクセス
http://<Dockerホスト名またはIP>:8888/?token=jupyter

〇動作検証用コード
import pymongo

client = pymongo.MongoClient('mongodb://db:27017/')
db = client.testdb
result = db.test.insert_one({"message_id":"100", "message":"helo world!"})
print(result)
for data in db.test.find():
  print(data)

Dockerでpgweb、PostgreSQL 10.4がインストールされたコンテナ(Alpine 3.7)を構築する

pgwebはPostgreSQLに対応するwebフロントエンドです。

○pgwebの画面

○構築方法
以下の手順で、pgwebとPostgreSQL 10.4のコンテナを構築・実行します。
1. pgwebイメージの作成(Dockerfileがあるフォルダで実行)
docker build -t pgweb .

Dockerfile
FROM alpine:3.7
WORKDIR /
RUN  apk update \
  && apk add --no-cache unzip \
  && rm -rf /var/cache/apk/* \
  && wget https://github.com/sosedoff/pgweb/releases/download/v0.9.12/pgweb_linux_amd64.zip \
  && unzip pgweb_linux_amd64.zip \
  && rm -f pgweb_linux_amd64.zip \
  && mkdir -p /opt/pgweb \
  && cp /pgweb_linux_amd64 /opt/pgweb \
  && rm /pgweb_linux_amd64
EXPOSE 8080
VOLUME /opt/pgweb
CMD ["/opt/pgweb/pgweb_linux_amd64", "--sessions", "--bind=0.0.0.0", "--listen=8080"]

2. pgwebとMySQLコンテナの構築・実行(docker-compose.ymlがあるフォルダで実行)
docker-compose up -d

docker-compose.yml
version: "2"
services:
  pgweb:
    image: pgweb
    container_name: "pgweb"
    volumes:
      - "pgweb-data:/opt/pgweb"
    ports:
      - "8080:8080"
    depends_on:
      - db
  db:
    image: postgres:10.4-alpine
    environment:
      POSTGRES_USER: pgweb
      POSTGRES_PASSWORD: pgweb
    ports:
      - "5432:5432"
    container_name: postgres
    volumes:
      - "postgres-data:/var/lib/postgresql/data"
volumes:
  postgres-data:
    driver: local
  pgweb-data:
    driver: local

3. ブラウザからhttp://<Dockerホスト名またはIP>:8080/にアクセス
ユーザ名pgweb、パスワードpgwebを指定します。

2018年7月17日火曜日

PortainerでJupyter LabとMariaDBのスタックを作成する

Jupyter Notebookでインタラクティブなコンピューティング環境を提供する事ができます。Portainerで簡単にwebブラウザからJupyter LabとMariaDBのスタックを作成する事ができます。

○Jupyter Labの画面


〇構築方法
1.Portainer画面横のImagesをクリックして、Image list画面からBuild a new imageボタンをクリック


2.Build image画面nameフィールドにmyjupyterを入力

3.Web editorのテキストエリアに以下を貼り付け
FROM jupyter/scipy-notebook
ENV TZ=Asia/Tokyo
USER root
RUN apt-get update \
  && apt-get -y install libmysqlclient-dev \
  && pip install mysqlclient \
  && apt-get clean
USER $NB_UID



貼り付け後、build the image ボタンをクリックします。

4.画面横のStacksをクリック後、Stacks list画面でAdd a stackボタンをクリックします


5.Create stack画面で、Nameフィールドにjupyterlab-mariadb-stackを入力し、Web editorに以下を張り付ける
version: "3"
services:
  myjupyter:
    image: myjupyter
    container_name: "myjupyter"
    volumes:
      - "myjupyter-data:/home/jovyan/work"
    ports:
      - "8888:8888"
    environment:
      JUPYTER_TOKEN: jupyter
      JUPYTER_ENABLE_LAB: 1
    depends_on:
      - jupyterdb
  jupyterdb:
    image: mariadb:10.3
    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
    container_name: "jupyterlab-db"
    volumes:
      - "jupyterdb-data:/var/lib/mysql"
    ports:
      - "3306:3306"
    environment:
        MYSQL_DATABASE: test
        MYSQL_ROOT_PASSWORD: test
volumes:
  jupyterdb-data:
    driver: local
  myjupyter-data:
    driver: local



貼り付け後、deploy stackボタンをクリックします。

6.ブラウザから以下のURLにアクセス
http://<Dockerホスト名またはIP>:8888/?token=jupyter

〇動作検証用コード
import MySQLdb

con = MySQLdb.connect(
  user='root',
  passwd='test',
  host='jupyterdb',
  db='test')

try:
  cur= con.cursor()
  cur.execute("create table messages (message_id integer, message varchar(100))")
  cur.execute("insert into messages values (100, 'hello world!')")
  sql = "select message_id, message from messages"
  cur.execute(sql)

  for row in cur.fetchall():
    print(row)

except MySQLdb.Error as er:
    print('MySQLdb.Error:', er)
cur.close
con.close