serverあれこれ

kyle

Jupyterとpandasdmxを使用して、OECDの農業観測のバイオ燃料データを取得してグラフ表示するには、以下のコードを実行します。

〇出力グラフ

〇コード

from pandasdmx import Request
import matplotlib.pyplot as plt

oecd = Request('OECD')
countries="AUS"
data_response = oecd.data(resource_id='HIGH_AGLINK_2018', key=countries + ".ET+BD.QP/all?startTime=2017&endTime=2027")
oecd_data = data_response.data

df = data_response.write(oecd_data.series, parse_time=True)
df = df.unstack(level=0).to_frame()
df.columns=['Biofuel(Kt)']
df = df.reset_index()
df = df[["COMMODITY", "TIME_PERIOD", "Biofuel(Kt)"]]
df.set_index(["COMMODITY", "TIME_PERIOD"], inplace=True)
df = df.rename(index={'ET':'Ethanol', 'BD':'Biodiesel'})
ax = df.unstack(level=0).plot()
plt.xticks(rotation=90)
plt.legend(loc='best')
plt.show()

〇元データ
OECD-FAO Agricultural Outlook 2018-2027
https://stats.oecd.org/Index.aspx?DataSetCode=HIGH_AGLINK_2018

○関連情報
・Pandasdmxに関する他の記事はこちらを参照してください。

kyle

Jupyterとpandasdmxを使用して、OECDの全道路網に対する市街地道路割合(Share of urban roads in total road network)データを取得してグラフ表示するには、以下のコードを実行します。

〇出力グラフ

〇コード

from pandasdmx import Request
import matplotlib.pyplot as plt

oecd = Request('OECD')
countries="FIN+USA+GBR"
data_response = oecd.data(resource_id='ITF_INDICATORS', key=countries + ".IND-INFR-URB-SHARE/all?startTime=2000&endTime=2016")
oecd_data = data_response.data

df = data_response.write(oecd_data.series, parse_time=True)
df = df.unstack(level=0).to_frame()
df.columns=['Share of urban roads']
df = df.reset_index()
df = df[["COUNTRY", "TIME_PERIOD", "Share of urban roads"]]
df.set_index(["COUNTRY", "TIME_PERIOD"], inplace=True)
ax = df.unstack(level=0).plot()
plt.xticks(rotation=90)
plt.legend(loc='best')
plt.show()

〇元データ
Indicators
https://stats.oecd.org/Index.aspx?DataSetCode=ITF_INDICATORS

○関連情報
・Pandasdmxに関する他の記事はこちらを参照してください。

kyle

Jupyterとwbdataで、国別年別の普通出生率を取得して、グラフ描画します。

〇出力画面

使用指標

SP.DYN.CBRT.IN
普通出生率 - Birth rate, crude (per 1,000 people)

サンプルコード

以下のコードをJupyterから実行してください。

%matplotlib inline
import matplotlib.pyplot as plt
import wbdata

df = wbdata.api.get_dataframe({"SP.DYN.CBRT.IN":"Birth rate, crude"}, country=["JP","US", "MY"], convert_date=True)
df.unstack(level=0).plot()
plt.legend(loc='best')
plt.show()

仮想マシンの構築方法

以下のVagrantfileを使用して、Talend Open Studio for Data Integration7.0.1、KDE Desktop環境、XRDPをインストールした仮想マシンを構築できます。

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/debian-9.5"
  config.vm.hostname = "db95kdetosdi701"
config.vm.network "public_network", ip:"192.168.1.119", :netmask => "255.255.255.0"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "db95kdetosdi701"
     vbox.gui = true
     vbox.cpus = 4
     vbox.memory = 4096
  end
  config.vm.provision "shell", inline: <<-SHELL
apt-get update
#DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade

apt-get -y install task-japanese
sed -i -e 's/# ja_JP.UTF-8 UTF-8/ja_JP.UTF-8 UTF-8/' /etc/locale.gen
locale-gen
update-locale LANG=ja_JP.UTF-8
localectl set-locale LANG=ja_JP.UTF-8
localectl set-keymap jp106
apt-get update
cat << EOF > /etc/default/keyboard
XKBMODEL="pc106"
XKBLAYOUT="jp"
XKBVARIANT=""
XKBOPTIONS=""
BACKSPACE="guess"
EOF


cat << EOF > /home/vagrant/.xsessionrc
export GTK_IM_MODULE=fcitx
export QT_IM_MODULE=fcitx
export XMODIFIERS="@im=fcitx"
sed -i -e "s/^EnabledIMList.*$/EnabledIMList=mozc:True,fcitx-keyboard-jp:False,fcitx-keyboard-us:False/" /home/vagrant/.config/fcitx/profile
fcitx-remote -r
fcitx -r -d
EOF
chown vagrant:vagrant .xsessionrc


apt-get -y install  xrdp fcitx-mozc task-kde-desktop tigervnc-standalone-server fcitx-tools

apt-get -y install build-essential module-assistant dkms
wget http://download.virtualbox.org/virtualbox/5.2.6/VBoxGuestAdditions_5.2.6.iso
mount -o loop -t iso9660 VBoxGuestAdditions_5.2.6.iso /media/
/media/VBoxLinuxAdditions.run


export DISPLAY=:0.0
im-config -n fcitx
#sudo -u vagrant bash -i -c "export DISPLAY=:0.0 && fcitx -r"


cp /etc/xrdp/xrdp.ini /etc/xrdp/xrdp.ini.org
cat /etc/xrdp/xrdp.ini.org | awk '/\\[Globals\\]/,/\\[Xorg\\]/' | sed -e 's/\\[Xorg\\]//' > /etc/xrdp/xrdp.ini
cat << EOF >> /etc/xrdp/xrdp.ini
[Xvnc]
name=Xvnc
lib=libvnc.so
username=ask
password=ask
ip=127.0.0.1
port=-1
EOF
systemctl restart xrdp
systemctl enable xrdp

# install java
apt-get -y install openjdk-8-jdk

# install Talend Open Studio
wget 'https://sourceforge.net/projects/talend-studio/files/Talend%20Open%20Studio/7.0.1/TOS_DI-20180411_1414-V7.0.1.zip'
unzip TOS_DI-20180411_1414-V7.0.1.zip
mv TOS_DI-20180411_1414-V7.0.1 /opt/tosdi

# create a shortcut for Talend Open Studio for Data Integration
cat << EOF > /usr/share/applications/tosdi.desktop
[Desktop Entry]
Version=1.0
Type=Application
Terminal=false
Exec=/opt/tosdi/TOS_DI-linux-gtk-x86_64
Name=Talend Open Studio for Data Integration
Categories=Utility;Development;
EOF

init 5
SHELL
end

使用指標

GC.DOD.TOTL.GD.ZS
中央政府債務GDP比 - Central government debt, total (% of GDP)

サンプルコード

以下のコードをJupyterから実行してください。

%matplotlib inline
import matplotlib.pyplot as plt
import wbdata

df = wbdata.api.get_dataframe({"GC.DOD.TOTL.GD.ZS":"Gov. Debt percent of GDP"}, country=["JP","US", "GB"], convert_date=True)
df.unstack(level=0).plot()
plt.legend(loc='best')
plt.show()

使用指標

EG.USE.COMM.FO.ZS
化石燃料消費率 - Fossil fuel evergy consumption (% of total)

サンプルコード

以下のコードをJupyterから実行してください。

%matplotlib inline
import matplotlib.pyplot as plt
import wbdata

df = wbdata.api.get_dataframe({"EG.USE.COMM.FO.ZS":"Percent of total"}, country=["JP","US", "BR"], convert_date=True)
df.unstack(level=0).plot()
plt.legend(loc='best')
plt.show()

使用指標

NY.GDP.MKTP.KD.ZG
GDP成長率 - GDP growth (annual %)

サンプルコード

以下のコードをJupyterから実行してください。

%matplotlib inline
import matplotlib.pyplot as plt
import wbdata

df = wbdata.api.get_dataframe({"NY.GDP.MKTP.KD.ZG":"Annual percent"}, country=["JP","US", "AU"], convert_date=True)
df.unstack(level=0).plot()
plt.legend(loc='best')
plt.show()

使用指標

EG.ELC.ACCS.ZS
電化率 - Access to electricity (% of population)

サンプルコード

以下のコードをJupyterから実行してください。

%matplotlib inline
import matplotlib.pyplot as plt
import wbdata

df = wbdata.api.get_dataframe({"EG.ELC.ACCS.ZS":"Percent of population"}, country=["JP","KH", "FJ"], convert_date=True)
df.unstack(level=0).plot()
plt.legend(loc='best')
plt.show()

使用指標

AG.LND.IRIG.AG.ZS
農業灌漑地率 - Agricultural irrigated land (% of total agricultural land)

サンプルコード

以下のコードをJupyterから実行してください。

%matplotlib inline
import matplotlib.pyplot as plt
import wbdata

df = wbdata.api.get_dataframe({"AG.LND.IRIG.AG.ZS":"Percent"}, country=["JP","US", "AU"], convert_date=True)
df.unstack(level=0).plot()
plt.legend(loc='center left')
plt.show()

構築方法

以下の手順で、Jupyter Notebookとwbdataのコンテナを構築・実行します。
1. psycopg2を追加したJupyter Notebookイメージの作成(Dockerfileがあるフォルダで実行)

docker build -t scipy-notebook-wbdata .

Dockerfile

FROM jupyter/scipy-notebook
ENV TZ=Asia/Tokyo
USER root
RUN pip install wbdata
USER $NB_UID

2. Jupyter Notebookの構築・実行(docker-compose.ymlがあるフォルダで実行)

docker-compose up -d

docker-compose.yml

version: "2"
services:
  scipy-notebook:
    image: scipy-notebook-wbdata
    container_name: "scipy-notebook-wbdata"
    volumes:
      - "scipy-notebook-data:/home/jovyan/work"
    ports:
      - "8888:8888"
    environment:
      JUPYTER_TOKEN: jupyter
volumes:
  scipy-notebook-data:
    driver: local

※Jupyter Labを使用したい場合は、以下のようにenvironmentにJUPYTER_ENABLE_LAB: 1を追加します。

    environment:
      JUPYTER_TOKEN: jupyter
      JUPYTER_ENABLE_LAB: 1

3.ブラウザから以下のURLにアクセス
http://<Dockerホスト名またはIP>:8888/?token=jupyter

サンプルコード

以下のコードで、ISO-4217通貨コードデータを取得します。

from datapackage import Package
import pandas as pd

package = Package('https://datahub.io/core/currency-codes/datapackage.json')

for resource in package.resources:
  if resource.name == "codes-all_csv":
    df = pd.read_csv(resource.descriptor['path'])
    display(df)

動作確認バージョン

datapackage=1.14.1 (2020/07/15確認)

構築方法

以下のVagrantfileを使用して、Talend Open Studio for Data Integration7.0.1、LXDE Desktop環境、XRDPをインストールした仮想マシンを構築できます。

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/debian-9.5"
  config.vm.hostname = "db95lxdetosdi701"
config.vm.network "public_network", ip:"192.168.1.118", :netmask => "255.255.255.0"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "db95lxdetosdi701"
     vbox.gui = true
     vbox.cpus = 4
     vbox.memory = 4096
  end
  config.vm.provision "shell", inline: <<-SHELL
apt-get update
DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade

apt-get -y install task-japanese
sed -i -e 's/# ja_JP.UTF-8 UTF-8/ja_JP.UTF-8 UTF-8/' /etc/locale.gen
locale-gen
update-locale LANG=ja_JP.UTF-8
localectl set-locale LANG=ja_JP.UTF-8
localectl set-keymap jp106
apt-get update
cat << EOF > /etc/default/keyboard
XKBMODEL="pc106"
XKBLAYOUT="jp"
XKBVARIANT=""
XKBOPTIONS=""
BACKSPACE="guess"
EOF


cat << EOF > /home/vagrant/.xsession
export GTK_IM_MODULE=fcitx
export QT_IM_MODULE=fcitx
export XMODIFIERS="@im=fcitx"
sed -i -e "s/^EnabledIMList.*$/EnabledIMList=fcitx-keyboard-jp:True,mozc:True,fcitx-keyboard-us:False/" /home/vagrant/.config/fcitx/profile
fcitx-remote -r
fcitx -r -d
lxsession -s LXDE -e LXDE
EOF
chown vagrant:vagrant .xsession


apt-get -y install  xrdp fcitx-mozc task-lxde-desktop tigervnc-standalone-server fcitx-tools


apt-get -y install build-essential module-assistant dkms
wget http://download.virtualbox.org/virtualbox/5.2.6/VBoxGuestAdditions_5.2.6.iso
mount -o loop -t iso9660 VBoxGuestAdditions_5.2.6.iso /media/
/media/VBoxLinuxAdditions.run


export DISPLAY=:0.0
im-config -n fcitx
sudo -u vagrant bash -i -c "export DISPLAY=:0.0 && fcitx -r"


cp /etc/xrdp/xrdp.ini /etc/xrdp/xrdp.ini.org
cat /etc/xrdp/xrdp.ini.org | awk '/\\[Globals\\]/,/\\[Xorg\\]/' | sed -e 's/\\[Xorg\\]//' > /etc/xrdp/xrdp.ini
cat << EOF >> /etc/xrdp/xrdp.ini
[Xvnc]
name=Xvnc
lib=libvnc.so
username=ask
password=ask
ip=127.0.0.1
port=-1
EOF
systemctl restart xrdp
systemctl enable xrdp


# install java
apt-get -y install openjdk-8-jdk

# install Talend Open Studio
wget 'https://sourceforge.net/projects/talend-studio/files/Talend%20Open%20Studio/7.0.1/TOS_DI-20180411_1414-V7.0.1.zip'
unzip TOS_DI-20180411_1414-V7.0.1.zip
mv TOS_DI-20180411_1414-V7.0.1 /opt/tosdi

# create a shortcut for Talend Open Studio for Data Integration
cat << EOF > /usr/share/applications/tosdi.desktop
[Desktop Entry]
Version=1.0
Type=Application
Terminal=false
Exec=/opt/tosdi/TOS_DI-linux-gtk-x86_64
Name=Talend Open Studio for Data Integration
Categories=Utility;Development;
EOF

init 5
SHELL
end

関連情報

・Talendに関する他の記事はこちらを参照してください。

kyle

Dockerとdocker-composeでコンテナの作成や実行を行うことができます。

〇インストール方法
1.下準備
~/.ansible.cfgに以下の内容を設定します

[ssh_connection]
pipelining=True
[defaults]
host_key_checking = False

2. Dockerインストール対象のホスト・ユーザ・パスワードを環境に合わせてinventoryファイルに記入します

inventory例

[docker]
192.168.1.16

[all:vars]
ansible_ssh_port=22
ansible_ssh_user=pi
ansible_ssh_pass=raspberry
ansible_sudo_pass=raspberry

3.inventoryとdocker.ymlを準備し、以下のコマンドを実行します。

ansible-playbook -i inventory docker.yml

docker.yml

- hosts: docker
  tasks:
    - name: download docker
      get_url:
        url: https://get.docker.com
        dest: /tmp/get-docker.sh
        mode: a+x
      become: true
    - name: install docker
      shell: creates=/usr/bin/docker /tmp/get-docker.sh
      become: true
    - name: add pi to docker group
      user: name=pi group=docker append=yes
      become: true
    - name: install python-pip
      apt: name={{ item }} state=present
      with_items:
        - python-pip
      become: true
    - name: install docker-compose
      pip:
        name: docker-compose
      become: true

○関連情報
・Ansibleに関する他の記事はこちらを参照してください。

・Raspberry Pi上のDockerに関する他の記事はこちらを参照してください。

kyle

LimeSurveyで、オンラインアンケートを設置することができます。

〇LimeSurveyの管理者画面

〇インストール方法
1.下準備
~/.ansible.cfgに以下の内容を設定します

[ssh_connection]
pipelining=True
[defaults]
host_key_checking = False

2. インストール対象ホストのユーザやパスワードを環境に合わせてinventoryファイルに記入します

inventory例

[lime-survey]
192.168.1.107

[all:vars]
ansible_ssh_port=22
ansible_ssh_user=vagrant
ansible_ssh_pass=vagrant
ansible_sudo_pass=vagrant

3.inventory、limesurvey.ymlを準備し、以下のコマンドを実行します。

ansible-playbook -i inventory limesurvey.yml

limesurvey.yml

- hosts: lime-survey
  vars:
    - dbname: limesurvey
    - dbuser: limesurvey
    - dbpassword: limesurvey
    - dbhost: localhost
    - dbport: 3306
  tasks:
    - name: set password for root
      shell: echo "mariadb-server-10.1 mysql-server/root_password password root" | sudo debconf-set-selections
      become: yes
    - name: set password for root
      shell: echo "mariadb-server-10.1 mysql-server/root_password_again password root" | sudo debconf-set-selections
      become: yes
    - name: install mariadb
      apt:
        name: mariadb-server
        state: present
      become: yes
    - name: enable and start mariadb
      systemd:
        name: mysql
        enabled: yes
        state: started
      become: yes
    - name: Install required software
      apt: name={{ item }} state=present
      with_items:
        - libmysqlclient-dev
        - python-pip
      become: true
    - name: install MySQL-python using pip
      pip:
        name: "{{ item }}"
        state: forcereinstall
      with_items:
        - pip
        - MySQL-python
      become: true
    - name: create db
      mysql_db:
        name={{ dbname }}
        state=present
        encoding=utf8
        login_user=root
      become: true
    - name: create and grant a database user
      mysql_user:
        name={{ dbuser }}
        password={{ dbpassword }}
        priv="limesurvey.*:ALL"
        state=present
      become: true
    - name: Install apache and php modules
      apt: name={{ item }} state=present
      with_items:
        - apache2
        - libapache2-mod-php7.2
        - php7.2-gd
        - php7.2-json
        - php7.2-mysql
        - php7.2-pdo
        - php7.2-curl
        - php7.2-mbstring
        - php7.2-xml
        - php7.2-zip
      become: true
    - name: download limesurvey
      get_url:
        url: https://github.com/LimeSurvey/LimeSurvey/archive/3.14.0+180730.tar.gz
        dest: /tmp/
      become: true
    - name: extract limesurvey
      unarchive:
        remote_src: yes
        src: /tmp/LimeSurvey-3.14.0-180730.tar.gz
        dest: /opt/
      become: true
    - name: change owner
      file:
        path: /opt/LimeSurvey-3.14.0-180730
        owner: www-data
        group: www-data
        recurse: yes
      become: true
    - name: symlink
      file:
        path: /var/www/html/limesurvey
        state: link
        src: /opt/LimeSurvey-3.14.0-180730
      become: true
    - name: clean up
      file:
        state: absent
        path: /tmp/LimeSurvey-3.14.0-180730.tar.gz
      become: yes
    - name: start apache2.service
      systemd:
        name: apache2
        state: restarted
      become: yes

4.ブラウザからhttp://192.168.55.107/limesurveyにアクセスして、「日本語 - Japan」を選択して「Start installation」をクリックします

5.ライセンスを確認して、同意できるのであれば「同意する」をクリックします

4.「インストール前のチェック」画面で「次へ」をクリックします

6.「データベース設定」画面で、以下の項目を入力して「次へ」をクリックします
データベース形式: MySQL
データの場所: localhost
データベースユーザー: limesurvey
データベースパスワード: limesurvey
データベース名: limesurvey

7.「データベースを作成する」をクリックします

8.「管理者設定」画面で管理者情報等を入力して、「次へ」をクリックします

9.インストーラ完了画面

○関連情報
・Ansibleに関する他の記事はこちらを参照してください。

・LimeSurveyに関する他の記事はこちらを参照してください。

kyle

unixBenchは歴史あるベンチマークツールです

〇構築方法
以下のVagrantfileを使用して、unixBenchをインストールした仮想マシン(Ubuntu16.04)を構築します。

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-16.04"
  config.vm.hostname = "ub1604unixbench"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1604unixbench"
     vbox.cpus = 2
     vbox.memory = 2048
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
config.vm.network "private_network", ip: "192.168.55.97", :netmask => "255.255.255.0"
config.vm.network "public_network", ip:"192.168.1.97", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
apt-get update
DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade
locale-gen ja_JP.UTF-8
localectl set-locale LANG=ja_JP.UTF-8
timedatectl set-timezone Asia/Tokyo

# install unixbench
apt-get -y install git build-essential
git clone https://github.com/kdlucas/byte-unixbench
cd byte-unixbench/UnixBench
./make
./Run

SHELL
end

○関連情報
・unixBenchに関する他の記事はこちらを参照してください。

kyle

Apache Nifiは様々なデータを処理・分配するためのソフトウェアです。

〇Apache NiFiの画面

〇インストール方法
1.下準備
~/.ansible.cfgに以下の内容を設定します

[ssh_connection]
pipelining=True
[defaults]
host_key_checking = False

2. インストール対象ホストのユーザやパスワードを環境に合わせてinventoryファイルに記入します

inventory例

[nifi-pg]
192.168.55.61

[all:vars]
ansible_ssh_port=22
ansible_ssh_user=vagrant
ansible_ssh_pass=vagrant
ansible_sudo_pass=vagrant

3.inventory、kanboard.ymlを準備し、以下のコマンドを実行します。

ansible-playbook -i inventory nifi-pg.yml

nifi-pg.yml

- hosts: nifi-pg
  vars:
    - dbname: test
    - dbuser: test
    - dbpassword: test
  tasks:
    - name: configure sources.list
      blockinfile:
        dest: /etc/apt/sources.list.d/pgdg.list
        create: yes
        block: |
          deb http://apt.postgresql.org/pub/repos/apt/ bionic-pgdg main
      become: true
    - name: add an apt key
      apt_key:
        url: https://www.postgresql.org/media/keys/ACCC4CF8.asc
        state: present
      become: yes
    - name: install packages
      apt:
        name: ca-certificates
        state: latest
      become: yes
    - name: Install required software
      apt: name={{ item }} state=latest
      with_items:
        - postgresql-10
        - libpq-dev
        - python-dev
        - python-pip
      become: true
    - name: install psycopg2 using pip
      pip:
        name: "{{ item }}"
        state: forcereinstall
      with_items:
        - psycopg2-binary
      become: true
    - name: configure postgresql.conf
      blockinfile:
        dest: /etc/postgresql/10/main/postgresql.conf
        create: yes
        block: |
          listen_addresses='*'
      become: true
    - name: edit pg_hba.conf
      replace: dest=/etc/postgresql/10/main/pg_hba.conf regexp="host.*all.*all.*127.0.0.1" replace="#host    all             all             127.0.0.1"
      become: true
    - name: edit pg_hba.conf
      replace: dest=/etc/postgresql/10/main/pg_hba.conf regexp="^host.*all.*all.*::1/128.*ident" replace="host    all             all             ::1/128    password"
      become: true
    - name: configure postgresql.conf
      blockinfile:
        dest: /etc/postgresql/10/main/pg_hba.conf
        create: yes
        block: |
          host    all         all         127.0.0.1/32          password
          host    all         all         192.168.1.0/24          password
          host    all         all         192.168.55.0/24          password
      become: true
    - name: enable and start postgresq.service
      systemd:
        daemon_reload: yes
        enabled: yes
        state: started
        name: postgresql.service
      become: true
    - name: create PostgreSQL user
      postgresql_user:
        name: "{{ dbuser }}"
        password: "{{ dbpassword }}"
        login_user: postgres
        encrypted: yes
      become: true
      become_user: postgres
    - name: create a database
      postgresql_db:
        name: "{{ dbname }}"
        owner: "{{ dbuser }}"
        encoding: 'UTF-8'
        lc_collate: 'ja_JP.UTF-8'
        lc_ctype: 'ja_JP.UTF-8'
        template: 'template0'
        login_user: postgres
      become: true
      become_user: postgres
    - name: download jdbc driver
      get_url:
        url: https://jdbc.postgresql.org/download/postgresql-42.2.4.jar
        dest: /usr/share/java
      become: true
    - name: configure limits.conf
      blockinfile:
        dest: /etc/security/limits.conf
        create: yes
        block: |
          *  hard  nofile  50000
          *  soft  nofile  50000
          *  hard  nproc  10000
          *  soft  nproc  10000
      become: true
    - name: Install openjdk
      apt: name={{ item }} state=present
      with_items:
        - openjdk-8-jdk
      become: true
    - name: download nifi
      get_url:
        url: http://ftp.riken.jp/net/apache/nifi/1.7.1/nifi-1.7.1-bin.tar.gz
        dest: /opt
      become: true
    - name: extract nifi
      unarchive:
        remote_src: yes
        src: /opt/nifi-1.7.1-bin.tar.gz
        dest: /opt/
      become: true
    - name: setup systemd
      blockinfile:
        dest: /etc/systemd/system/nifi.service
        create: yes
        block: |
          [Unit]
          Description=Apache Nifi
          After=syslog.target network.target
          [Service]
          Type=forking
          ExecStart=/opt/nifi-1.7.1/bin/nifi.sh start
          ExecStop=/opt/nifi-1.7.1/bin/nifi.sh stop
          KillMode=none
          [Install]
          WantedBy=multi-user.target
      become: true
    - name: clean up
      file:
        state: absent
        path: /opt/nifi-1.7.1-bin.tar.gz
      become: yes
    - name: enable and start nifi.service
      systemd:
        daemon_reload: yes
        enabled: yes
        state: started
        name: nifi.service
      become: true

4.DBCPConnectionPoolで、以下のようにパラメータを設定してローカルのPostgreSQLにアクセスします。
Database Connection -> URL jdbc:postgresql://localhost:5432/test
Database Driver Class Name -> org.postgresql.Driver
Database Driver Location(s) -> /usr/share/java/postgresql-42.2.4.jar
Database User -> test
Password -> test

○関連情報
・Apache NiFiに関する他の記事はこちらを参照してください。

・psycopg2に関する他の記事はこちらを参照してください。

・その他のAnsibleの記事

kyle

sysbenchでホストマシンやデータベースのベンチマークを行うことができます。

〇構築方法
以下のVagrantfileを使用して、sysbenchとMariaDBがインストールされた仮想マシン(Ubuntu18.04)を構築します。

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-18.04"
  config.vm.hostname = "ub1804sysbenchmariadb"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = "ub1804sysbenchmariadb"
     vbox.cpus = 2
     vbox.memory = 2048
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
config.vm.network "private_network", ip: "192.168.55.65", :netmask => "255.255.255.0"
config.vm.network "public_network", ip:"192.168.1.65", :netmask => "255.255.255.0"
  config.vm.provision "shell", inline: <<-SHELL
apt-get update
DEBIAN_FRONTEND=noninteractive apt-get -y -o Dpkg::Options::="--force-confdef" -o Dpkg::Options::="--force-confold" upgrade
locale-gen ja_JP.UTF-8
localectl set-locale LANG=ja_JP.UTF-8
timedatectl set-timezone Asia/Tokyo

# install mariadb
echo "mariadb-server-10.0 mysql-server/root_password password root" | sudo debconf-set-selections
echo "mariadb-server-10.0 mysql-server/root_password_again password root" | sudo debconf-set-selections
apt-get -y install mariadb-server
mysql -uroot -proot -e "CREATE DATABASE sysbench DEFAULT CHARACTER SET utf8mb4;"
mysql -uroot -proot -e "CREATE USER sysbench@localhost IDENTIFIED BY 'sysbench';"
mysql -uroot -proot -e "GRANT ALL PRIVILEGES ON sysbench.* TO 'sysbench'@'localhost';"
mysql -uroot -proot -e "FLUSH PRIVILEGES;"

# install and execute sysbench.
apt-get -y install sysbench
sysbench cpu run --threads=2
sysbench memory run --threads=2
sysbench fileio run --file-test-mode=seqwr --threads=2
sysbench fileio run --file-test-mode=rndwr --threads=2

sysbench /usr/share/sysbench/oltp_read_write.lua prepare --db-driver=mysql --mysql-host=localhost --mysql-port=3306 --mysql-user=sysbench --mysql-password=sysbench --mysql-db=sysbench
sysbench /usr/share/sysbench/oltp_read_write.lua run --db-driver=mysql --mysql-host=localhost --mysql-port=3306 --mysql-user=sysbench --mysql-password=sysbench --mysql-db=sysbench --threads=2

SHELL
end

○関連情報
・sysbenchに関する他の記事はこちらを参照してください。

kyle

QuiteRSSはオープンソースのRSSリーダーです。

○QuiteRSSの画面

○構築方法
以下のVagrantfileを使用して、QuiteRSSとXfce Desktop環境、XRDPをインストールした仮想マシン(Ubuntu16.04)を構築できます。
XRDPがインストールされているので、Windowsのリモートデスクトップで接続することができます。ユーザ名はvagrant、パスワードもvagrantでログオンできます。

Vagrantfile

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "bento/ubuntu-18.04"
  config.vm.hostname = "ub1804xfcequiterss"
config.vm.network :public_network, ip:"192.168.1.117"
config.vm.network "private_network", ip: "192.168.55.117", :netmask => "255.255.255.0"
  config.vm.provider :virtualbox do |vbox|
     vbox.name = " ub1804xfcequiterss"
     vbox.gui = true
     vbox.cpus = 2
     vbox.memory = 4096
     vbox.customize ["modifyvm", :id, "--nicpromisc2","allow-all"]
  end
  config.vm.provision "shell", inline: <<-SHELL
apt-get update
apt-get -y install language-pack-ja
sed -i.bak -e "s#http://archive.ubuntu.com/ubuntu/#http://ftp.riken.jp/pub/Linux/ubuntu/#g" /etc/apt/sources.list
localectl set-locale LANG=ja_JP.UTF-8
localectl set-keymap jp106
apt-get update
apt-get -y install xrdp=0.9.5-2 fcitx-mozc xubuntu-desktop language-pack-ja language-pack-ja
im-config -n fcitx

apt-get -y install --install-recommends linux-generic-hwe-18.04 xserver-xorg-hwe-18.04
apt-get -y install virtualbox-guest-dkms virtualbox-guest-utils virtualbox-guest-x11

sed -i -e "s/allowed_users=console/allowed_users=anybody/" /etc/X11/Xwrapper.config

echo "xfce4-session" > /home/vagrant/.xsession
apt-get -y purge light-locker

# install QuiteRSS
add-apt-repository ppa:quiterss/quiterss
apt-get update
apt-get -y install quiterss

echo 'sample feed: http://serverarekore.blogspot.com/feeds/posts/default'

init 5
SHELL
end

○関連情報
・QuiteRSSに関する他の記事はこちらを参照してください。

kyle

Jupyterとwbdataで、年別国別のコンピューター・通信・その他サービス(サービス輸出比)を取得して、棒グラフ描画します。

〇出力画面

使用指標

TX.VAL.OTHR.ZS.WT
コンピューター・通信・その他サービス(サービス輸出比) - Computer, communications and other services (% of commercial service exports)

サンプルコード

以下のコードをJupyterから実行してください。

%matplotlib inline
import matplotlib.pyplot as plt
import wbdata
import datetime

df = wbdata.api.get_dataframe({"TX.VAL.OTHR.ZS.WT":"Percent"}, country=["JP","US", "FR"], convert_date=True)
df.unstack(level=0).plot()
plt.legend(loc='best')
plt.show()

2018年9月30日日曜日

使用指標

サンプルコード

関連情報

関連情報

2018年9月29日土曜日

2018年9月28日金曜日

2018年9月27日木曜日

仮想マシンの構築方法

関連情報

使用指標

サンプルコード

関連情報

2018年9月26日水曜日

使用指標

サンプルコード

関連情報

2018年9月25日火曜日

使用指標

サンプルコード

関連情報

2018年9月24日月曜日

2018年9月23日日曜日

使用指標

サンプルコード

関連情報

2018年9月22日土曜日

使用指標

サンプルコード

関連情報

2018年9月21日金曜日

構築方法

関連情報

サンプルコード

動作確認バージョン

関連情報

2018年9月20日木曜日

構築方法

関連情報

2018年9月19日水曜日

2018年9月18日火曜日

使用指標

サンプルコード

関連情報

2018年9月17日月曜日

ラベル

ブログ アーカイブ

ブログアーカイブ