読者です 読者をやめる 読者になる 読者になる

AWS(EC2)上でのMySQL5.7ビルド時間の実験

 MySQLをビルドしたり動作させたりするための環境が手軽に手に入るようになったのが嬉しくて、いろいろ試してみています。
相変わらずビルドを繰り返し。
ビルドが必要となる要件は私にはそうそうありませんが、ここぞという時にちょこっとソースをいじってビルドできるという安心感を、この経験は与えてくれる気がしています。

ということで、今回はビルド時間編。

概要

 (1)AWSの 色々なインスタンスタイプで、ビルド時間を比べてみる
 (2)AWSの t2.2xlarge で、makeの -j オプション値を変更しながらビルド時間を比べてみる

 いずれも、この日記末尾のスクリプトを使用して測定した。
 (ここで話題にするのは makeの時間(03と04の間)のみ)


(1)AWSインスタンスタイプ差によるビルド時間の違い

 以下の表のとおり。make の -j オプションは、以下に明記のない場合はそれぞれのCPUの数に合わせた。

Type CPU Memory make時間 備考
t2.tiny 1 1 1h55'55" swapファイル使用
t2.tiny 1 1 2h12'28" swapファイル使用
t2.medium 2 4 35'43" make に j オプションなし
t2.medium 2 4 18'13" make -j 2
t2.2xlarge 8 32 4'46"
m4.10xlarge 40 160 2'20"

※t2.tiny での結果は、実施によってブレが大きかったので、両方載せた。


 4 CPU の環境での実験を行わなかったが、概ね、8CPU の環境であれば5分程度と、まぁソースを何か変更してビルドしてみるのに許容範囲かな、という気がします。


(2)makeの -j オプション値によるビルド時間の違い

 t2.2xlarge(8 CPU, 32GB memory) にて、make の j オプション(並列実行数)を変更しながら、どのようにmake時間が変化するかを見た。-j 10 と -j 12 は、おあそび。

makeオプション make時間 備考
-j 2 16'40"
-j 4 8'47"
-j 6 5'59"
-j 7 5'10"
-j 8 4'46"
-j 10 4'37 CPU数は8だけど
-j 12 4'47 CPU数は8だけど


 t2.tiny(2CPU)で -j 2 で実施したものと、本環境で -j 2 で実施したものが、17~18分程度と、ほぼ近い時間となっていますね。
"-j 10" と "-j 12" は興味本位で遊んでみたものですが、誤差の範囲と解釈して良い感じなのかな。 競合によって、もっと急激に遅くなると予想していたので、これはこれで結構意外。

 雑にプロットしたものが、以下。横軸がCPU数、縦軸がかかった時間(秒)。
f:id:sakaik:20170115235021j:plain:w400

参考:使用したスクリプト

 以下のスクリプトの make オプションの値を適宜変更してビルドを実施した。

touch ~/00start_`date +%H%M%S`
sudo yum -y install wget gcc gcc-c++ cmake libaio-devel bison ncurses-devel perl-Data-Dumper
sudo yum -y remove mariadb-libs
touch ~/01yumend_`date +%H%M%S`
mkdir mysql/
cd !$
wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-boost-5.7.17.tar.gz
tar xvf mysql-boost-5.7.17.tar.gz
cd mysql-5.7.17
touch ~/02tarend_`date +%H%M%S`
cmake -DWITH_BOOST=./boost -DCMAKE_INSTALL_PREFIX=/home/ec2-user/mysql/mysql5717 -DBUILD_CONFIG=mysql_release
touch ~/03cmakeend_`date +%H%M%S`
make -j 8
touch ~/04makeend_`date +%H%M%S`
make install
touch ~/05allend_`date +%H%M%S`

AWS上でMySQL5.7動作環境を最速で作る方法(Generic binaries使用)(※5.6追記あり)

 ビルドするほどに時間はかからず、rpmで入れるよりは自由度が高い(自分のローカルでの動作、複数バージョンの動作)ということで、Generic binariesを使って、とにかく最短でMySQL 5.7 の2つのバージョンを入れてみます。

f:id:sakaik:20170106162210j:plain:w350

 環境はいつもの t2.micro です。
今回からは、(デフォルトではディスク10GBだけど30GBまでは無料お試し枠に入っているということで)ディスクを30GBにしました。
10GBだと、MySQL 5.7 をダウンロード&展開(=インストール)のセット3つめで満杯になります。ちょっと窮屈。

スクリプトの作成と実行

 つべこべ言わず、以下の内容を記述したファイルを作成します。名前は inst5717 とか。
作成したら、実行権限を与えて実行します。
 次に(別窓とかで) inst5717 をコピーして inst5716 を作成し、ファイル中の MVER=17 の数字部分を 16 に変更して実行します。

 実行後は、それぞれのディレクトリに移動して、mysqlクライアントプログラムを使って接続確認&パスワードの変更をします。

#!/usr/bin/bash

MVER=17

sudo yum -y install wget libaio-devel
sudo yum -y remove mariadb-libs

cd ~
mkdir -p mysql/
cd mysql
wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.${MVER}-linux-glibc2.5-x86_64.tar.gz
tar xvf mysql-5.7.${MVER}-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.7.${MVER}-linux-glibc2.5-x86_64 mysql57${MVER}
cd mysql57${MVER}

#echo ------------------------------------
#echo Please push ENTER key to continue.
#read

cat <<EOF > my.cnf
[mysqld]
log-error=/home/ec2-user/mysql/mysql57${MVER}/my.err
basedir = /home/ec2-user/mysql/mysql57${MVER}
datadir = /home/ec2-user/mysql/mysql57${MVER}/data
port=157${MVER}
socket=/tmp/mysql57${MVER}.sock
character-set-server=utf8mb4

[mysqladmin]
socket=/tmp/mysql57${MVER}.sock

[mysql]
port=157${MVER}
socket=/tmp/mysql57${MVER}.sock
default-character-set=utf8mb4
EOF


bin/mysqld --defaults-file=./my.cnf --initialize
bin/mysql_ssl_rsa_setup --defaults-file=./my.cnf

bin/mysqld_safe &

sleep 3

grep 'temporary password' my.err 
echo To connect: ./bin/mysql --defaults-file=./my.cnf -uroot -p
echo Change password: ALTER USER root@localhost IDENTIFIED BY \'mypass\';

注意点やその他情報など

  • 当然ながら、ダウンロード提供されていないバージョンのファイルはダウンロードできませんので、適宜 MVER=17 の部分は最新状態に変更してお使いください。概ね、最新から3つのマイナーバージョンのダウンロードが提供されています。
  • スクリプト実行後は、インストールしたフォルダではなく実行時のフォルダに戻ってしまうので、クライアントからの接続確認の際には自分でcdする必要があります
  • この方法で、概ね3分程度で、MySQL実行までたどり着きます。ほとんどが tar を展開している時間です。

 こちらからは以上です



#5.6や 8.0のスクリプトも欲しいね。


●2017お年始のMySQL関連日記書き殴り一覧:

追記:MySQL 5.6 用スクリプト

 まぁここまで来たら作りますよね、当然。
データベースファイル群作成の方法が異なるのと、それに伴い、Perl系のプログラムやライブラリを入れておく必要がある点が異なります。処理時間は70秒程度でした。

あとは、やっていない事と言えば

  • 5.6と 5.7、ひとつのスクリプトになったらいいなぁ
  • ファイルのwgetについて、存在しない場合は検知してちゃんとエラー出して止まるといいなぁ
  • 処理終了後に、そのまま(インストール後の)フォルダに居てくれたらいいなぁ

というあたりでしょうか。

誰かやりませんか。


MySQL 5.6.35 をインストールするスクリプト例:

#!/usr/bin/bash

MVER=35

sudo yum -y install wget libaio-devel perl perl-Data-Dumper
sudo yum -y remove mariadb-libs

cd ~
mkdir -p mysql/
cd mysql
wget https://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.${MVER}-linux-glibc2.5-x86_64.tar.gz
tar xvf mysql-5.6.${MVER}-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.${MVER}-linux-glibc2.5-x86_64 mysql56${MVER}
cd mysql56${MVER}

#echo ------------------------------------
#echo Please push ENTER key to continue.
#read

cat <<EOF > my.cnf
[mysqld]
log-error=/home/ec2-user/mysql/mysql56${MVER}/my.err
basedir = /home/ec2-user/mysql/mysql56${MVER}
datadir = /home/ec2-user/mysql/mysql56${MVER}/data
port=156${MVER}
socket=/tmp/mysql56${MVER}.sock
character-set-server=utf8mb4

[mysqladmin]
socket=/tmp/mysql56${MVER}.sock

[mysql]
port=156${MVER}
socket=/tmp/mysql56${MVER}.sock
default-character-set=utf8mb4
EOF


scripts/mysql_install_db --datadir=./data

bin/mysqld_safe &

sleep 3

echo To connect: ./bin/mysql --defaults-file=./my.cnf -uroot 

MySQL 5.7 を t2.micro でもビルドできた!

 ひとつ前の日記で、「MySQL 5.7 は、ビルドのために大量にメモリを要求するので、AWS Red Hat の t2.micro、すなわちメモリ 1GBではビルドできない」という趣旨のことを書きました。その時点での対応策として、t2.medium というメモリ4GBの環境を利用することで、ビルドに成功しました。

 その後、「t2.micro は、デフォルトではswapファイルの設定が無効になっているよ」と、詳しい方から教えていただき、設定の後に t2.micro でも MySQL 5.7 をビルドできたので、ここに紹介します。

t2.micro でMySQL 5.7をビルドするために必要な設定

 以下の手順でswapファイルを作成し、使用可能な状態にします。ここでは 1GBの領域を作成しました。

# dd if=/dev/zero of=/myswapfile bs=1M count=1024
# chmod 600 /myswapfile
# mkswap /myswapfile
# swapon /myswapfile 

 swapファイルの状態を確認するコマンドは、

# swapon -s

 なので、作成前と作成後にどんな状態になっているかを確認すると良いでしょう。
 (ビルド中に、実際の使用量を確認するのにも使います)

 これだけです。

ビルド作業

 あとは、ひとつ前の日記で紹介した手順と同じです。
make中に swap の使用状況を見ていると、item_geofunc.cc.o 関連の処理のときに最大 600MB くらいまで使用されているのを確認できました。swap領域を含めて、概ね 2GB のメモリを積んでいれば、MySQL 5.7 をビルドできると考えて良さそうです(1GB+512MBなメモリ環境ではビミョー、たぶんアウト)。

 ただしベラボウに時間がかかります。
最初の難関である「item_geofunc.cc.o」のコンパイルまでが 約10分。無事に通過してくれて、しめしめと思っていたが、そこから先も長かった。結局処理が終わったのは、開始から75分後。
データベースの initialize をして接続確認まで、動作することを一応確認はしたけど、なんども実施するにはちょっとツラいくらいの時間ですね。

=====
追記:
 またまた詳しい人から情報を頂戴しました。
t2.micro で時間がかかるの原因のひとつとして推測できるのが、CPUクレジットとのこと。以下のブログ参照。
aws.typepad.com
=====

MySQL 5.7 のビルドにトライ ~ 5.6とは大違い

 ひとつ前の日記までで、MySQL 5.6 のビルドが快調にできたことに気をよくして、MySQL 5.7 のビルドにも挑戦してみました。5.6.35 と 5.6.34 の差(ビルド環境や方法に違いはない)と同じように バージョン番号関係の部分を 5.7.17 に変えれば良いのだろうと考えていたら、大違い。

MySQL5.6をビルドして動作させるのと違うところ

  • boost の 1.59 が要求される。Red Hat 7.3 のyumでは boost 1.53 しか入らないので一工夫必要
  • make するのにメモリが多く要求される。
  • データベースの初期化方法と、初期パスワード設定が違う


 以下それぞれについて説明したあと、全体の手順を紹介したいと思います。

boost 1.59 が必要

 yumでワンタッチで入らないので、一手間かかるなぁと思っていたら、MySQL開発チームは boost 1.59 入りのソースコードを提供してくれていました!*1
 mysql-5.7.17.tar.gz ではなく、mysql-boost-5.7.17.tar.gz をダウンロードして使用します。

f:id:sakaik:20170105160147j:plain:w350


メモリがいっぱい必要

 AWS Red Hat 7.3 の、t2.micro(1 CPU, 1GBメモリ)では、make の途中で落ちてしまいました。t2.medium (2 CPU, 4GBメモリ)では無事、処理を完了できました。

======
追記:
swapの設定をすることで、t2.micro でもビルドできました。ただし大変に時間がかかります。
MySQL 5.7 を t2.micro でもビルドできた! - sakaikの日々雑感~(T)編

======


 メモリが不足している環境で落ちるパターンは2つあるようで、

  • OOMキラーに殺されるケース (/var/log/messages にログが記録される)*2
  • 行儀良くメモリ不足になって落ちるケース


OOMキラーに殺されたときの出力:

 :
[ 43%] Building CXX object sql/CMakeFiles/sql.dir/item_func.cc.o
[ 43%] Building CXX object sql/CMakeFiles/sql.dir/item_geofunc.cc.o
c++: internal compiler error: Killed (program cc1plus)
Please submit a full bug report,
with preprocessed source if appropriate.
See <http://bugzilla.redhat.com/bugzilla> for instructions.
make[2]: *** [sql/CMakeFiles/sql.dir/item_geofunc.cc.o] Error 4
make[1]: *** [sql/CMakeFiles/sql.dir/all] Error 2
make: *** [all] Error 2

行儀よく(?)メモリ不足で落ちたときの出力:

[ 41%] Building CXX object sql/CMakeFiles/sql.dir/item_geofunc.cc.o
virtual memory exhausted: Cannot allocate memory
make[2]: *** [sql/CMakeFiles/sql.dir/item_geofunc.cc.o] Error 1
make[1]: *** [sql/CMakeFiles/sql.dir/all] Error 2
make: *** [all] Error 2


OOMキラーに殺されたときの/var/log/messages への記録:

Jan 4 21:55:39 ip-172-31-16-117 kernel: Out of memory: Kill process 28375 (cc1plus) score 812 or sacrifice child Jan 4 21:55:39 ip-172-31-16-117 kernel: Killed process 28375 (cc1plus) total-vm:990440kB, anon-rss:821020kB, file-rss:1828kB, shmem-rss:0kB

MySQL 5.7 のビルド

 ということで、MySQL 5.7.17 をビルドする方法です。前述したように AWSの t2.micro ではメモリが不足していたので、4GBメモリの t2.medium のインスタンスを立ち上げて試しました。

f:id:sakaik:20170105160246j:plain:w350


今回は新しいマシン環境にしたので、各種モジュールを入れる:

# yum -y install wget gcc gcc-c++ cmake libaio-devel bison ncurses-devel perl-Data-Dumper
# yum -y remove mariadb-libs


MySQL 5.7.17(boost入り)を取得して展開:

$ mkdir mysql/
$ cd !$
$ wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-boost-5.7.17.tar.gz
$ tar xvf mysql-boost-5.7.17.tar.gz
$ cd mysql-5.7.17

cmakeの実行。boostライブラリの位置を WITH_BOOST で指定するのがポイント。
その後 make*3

$ cmake -DWITH_BOOST=./boost -DCMAKE_INSTALL_PREFIX=/home/ec2-user/mysql/mysql5717 -DBUILD_CONFIG=mysql_release

$ make

$ make install

make には、t2.mediumの環境で40分かかりました。やっぱり MySQL 5.7、でかいですね。



インストール後の作業

 インストールが済んだら、

  • データベースファイルの作成
  • MySQLサーバの起動
  • クライアントからの接続確認

をします。

 MySQL 5.7.6 からは、初期データベースの作成方法が変更となっています*4

$ ./bin/mysqld --initialize
 :
2017-01-05T05:00:32.599615Z 1 [Note] A temporary password is generated for root@localhost: 4gV=;%jYin6v

作成すると、初期パスワードが画面に表示されていますので、覚えておきます*5


my.cnf を作成します。MySQL 5.6 と異なり、ベースとなるフォルダには my.cnf のひな形はありません。
新規に作成するか、あるいはテンプレートを使いたい人は support-files の中のmy-default.cnf ファイルをコピー/リネームして使います*6

$ vi my.cnf
------
[mysqld]
character-set-server=utf8mb4
log-error=/home/ec2-user/mysql/mysql5717/my.err
port=15717
socket=/tmp/mysql5717.sock

[mysqladmin]
socket=/tmp/mysql5717.sock

[mysql]
default-character-set=utf8mb4
socket=/tmp/mysql5717.sock
port=15717
------

 今回は ポートは 15717、キャラクタセットは utf8mb4 にしてみました。



MySQLサーバの起動:

$ ./bin/mysqld_safe &

クライアントからの接続:

$ ./bin/mysql --defaults-file=./my.cnf -uroot -p

 先ほど記憶した初期パスワードを入力します。

 MySQL 5.7 では、初期パスワードを変更するまで、なんにもできないようになっています。
ALTER USER 構文を使ってパスワードを変更します*7

mysql> ALTER USER root@localhost IDENTIFIED BY 'mynEwP455wD';

statusを見てみると、期待したバージョンが、期待したキャラクタセットの設定で起動していることがわかります。
f:id:sakaik:20170105160348j:plain:w350



 ということで、無事 MySQL 5.7 もビルドできました。
MySQL 5.7 は驚くほど大きな進化」とよく言いますが、1GBメモリの環境でビルドできないことや、ビルド時間が倍かかる(20分→40分)ことなどから、その進化のサイズが並ならぬものであることが実感できました。
 特に、今回メモリ不足で落ちたのが geo 関係のところということで、たまたまその位置で不足しただけという可能性は勿論ありますが、個人の印象としては「geo関係、でっかいなぁ」と感じました。


 ということで、年始の時間を利用した「MySQLビルドあそび」終了です。 yokuさんの記事に始まり、エラーの解決方法をtwitterでyokuさんに教えていただくなど、yokuさんにyokuお世話になりました。特に、メモリ不足の可能性には恐らく自力でたどり着かなかったと思います。ありがとうございました!

----------

*1:yoku0825さんに教えていただきました

*2:yoku0825さんに教えていただきました

*3:cmake したら make

*4:以前は、mysql_install_db スクリプトを使用しました

*5:ほとんどの人は自分の脳で覚えられないでしょうから、コピペなどの技術を用います

*6:MySQL 5.7.18からは、このファイルも同梱されなくなるとアナウンスされているので、基本的に my.cnf は自分で作るものだと思っておくと良いでしょう

*7:MySQL 5.7.6より前は SET PASSWORD FOR 構文を使いました

ふたつのバージョンのMySQLを同時に動かす on AWS Red Hat 7.3

 ひとつまえの日記の続きです。
最近、MySQL のインストールは rpm(CentOS)、あるいは MySQL Installer(Windows)に頼りっきりで、手動インストールからも、すっかり遠ざかっておりました。そんな折に、簡潔でシンプル*1な yoku0825さんの記事に助けられて、そして年末に「AWS触ってみてよ」と推してくれた方のおかげで、環境と時間と情報とやる気が一気にフルハウス
 さほど大きな苦労もせずに、久々にビルドに成功した*2のに気をよくして、同じマシン(OS)上に複数の MySQLサーバを立ち上げるのをやってみました。

ひとつ前の日記( http://sakaik.hateblo.jp/entry/20170103/build_mysql ) の続きです。ひとつ前の日記では、MySQL 5.6.35 をソースコードからビルドして起動しました。

今回やりたいこと

 すでに MySQL 5.6.35が動作している環境(port=15635) に、新たに MySQL 5.6.34 をビルドして、port=15634 で動作させる。
 プラス、起動方法をちょっと楽にする工夫も。

MySQL 5.6.34 のビルドとインストール

 ひとつ前の日記と同様にして、MySQL 5.6.34のソースコードを取得、cmake/make してインストールする。

$ cd ~/mysql
$ wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.34.tar.gz
$ tar xvf mysql-5.6.34.tar.gz 
$ cd mysql-5.6.34
$ cmake -DCMAKE_INSTALL_PREFIX=/home/ec2-user/mysql/mysql5634 -DBUILD_CONFIG=mysql_release .
$ make
$ make install

 後続の作業のために、MySQL 5.6.34をインストールしたフォルダに移動しておきましょう。

$ cd ../mysql5634

mysqld の起動

 MySQL 5.6.35をビルドして起動した時には、mysql_safe にsocketやらportやらを指定するパラメタを長々と書きました。毎回そんなことをするのは面倒なので、今回は my.cnf へ記述しておくことにします。

 まず、データファイルのインストール(作成)から。

 $ ./scripts/mysql_install_db --datadir=./data


 mysql_install_db を実行すると、当フォルダ(ここでは ~/mysql/mysql5634/)に my.cnf ファイルも作成されます。これを編集します。
 ポート、ソケット、データディレクトリ類の指定、およびキャラクタセットの設定もしておきます。

$ vi my.cnf
----
[mysqld]
basedir = /home/ec2-user/mysql/mysql5634 
datadir = /home/ec2-user/mysql/mysql5634/data 
port = 15634 
server_id = 5634 
socket = /tmp/mysql5634.sock 
character-set-server=utf8

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES 

[mysqladmin]
socket = /tmp/mysql5634.sock 

[mysql]
socket = /tmp/mysql5634.sock 
port = 15634 
default-character-set=utf8
----


 MySQL 5.6.34サーバの起動。カレントフォルダにある my.cnf を読み込んでくれるので、これだけで十分(ひとつ前の日記と見比べてください)*3

$ ./bin/mysqld_safe &

 mysqlコマンドラインクライアントから接続してみます。カレントの my.cnf を自動で読み込んでくれるわけではないようで*4、defaults-file パラメタで my.cnf ファイルを指定します。

$ bin/mysql --defaults-file=./my.cnf  -uroot

2つのバージョンを立ち上げて、mysqlクライアントから接続して、statusを確認したところ。5.6.35のほうは キャラクタセットを指定していないので、サーバ側 latin1 になっています。my.cnf で指定した 5.6.34のほうは utf8になっていますね。
f:id:sakaik:20170104185911j:plain



ちなみに、MySQLサーバの停止は、mysqladmin を使用します。

$ ./bin/mysqladmin --defaults-file=./my.cnf shutdown -uroot




参考: 過去の MySQLビルド関係記事(deplicated):
Windows上でのMySQLビルド方法・MySQL5.6+VC2010Express 編 - sakaikの日々雑感~(T)編
Windows上でのMySQLビルド方法まとめ - sakaikの日々雑感~(T)編
初めて MySQL 5.1 をビルドしてみた。 - sakaikの日々雑感~(T)編

*1:「説明が雑」とか言ってすいませんでした

*2:ほぼ5年ぶりのようです

*3:色々なところに配置されている my.cnf の読み込み順については、ここでは紹介しないので興味ある方は調べてみて下さい

*4:以前は読んでくれたんじゃなかったかなぁ、、記憶違いかなぁ

MySQLをビルドする on AWS Red Hat 7.3

yoku0825 さんが、Software Design 誌 2016年6月号に、最近のMySQLのビルドのしかたを簡潔に書いてくれていたのを見て、ずっとやりたかったのが、半年が経ち、年を越え。こんなに時間が経つなら忘れてしまえばいいのに、と思うのですが、先延ばしにすればするほど忘れられなくなるのが、この性分。ようやく年貢を納めることができた気分なので、メモ書き程度にここに残しておこうと思います。

 この年末年始に、AWSにやっと触ってみました。「AWSに触る」という表現が適切なのかどうかすらよくわかっていないレベルなのですが、アカウントを作って、マシンイメージからインスタンスを作ったり、あるいは壊したりする体験をしたところです。ということで、この環境の上で、MySQLをビルドして動かしてみることにしました。
 今回使用したのは、Amazon マシンイメージ(AMI)から、Red Hat Enterprise Linux 7.3 です。スペックは、1 CPU, 1GBメモリの t2.micro というタイプ。

f:id:sakaik:20170104112119j:plain:w350
f:id:sakaik:20170104113100j:plain:w350


試行錯誤紆余曲折艱難辛苦ありましたが、臥薪嘗胆七転八倒三寒四温の末、その集大成として、最短でゴールにたどり着ける方法をここでは書きたいと思います(平たく言うと「まとめ」)。

目標とする構成

参考にした yokuさんの記事が MySQL 5.6 での実施だったので、まずはバージョン相違による余計な悩みを避けるために、今回は、MySQL 5.7系ではなく、MySQL 5.6.35 でのビルドを試みることにしました。(yokuさんの記事では 5.6.29)
一般ユーザとして、自分の HOME 下に、mysqlフォルダを掘り、その下の mysql5635 フォルダにごにょごにょ突っ込むイメージ。次のステップとして複数バージョンを同時に動作させたいので、このような構成にしました。

事前準備(環境整備)

 実際の作業では不足によるエラーが出るたびに追加するなど試行錯誤しながら進めましたが、以下をあらかじめ行っておくと作業がスムーズにすすーむず。
rootユーザでの作業。


必要なパッケージ類のインストール:

# yum install wget gcc gcc-c++ cmake libaio-devel bison  ncurses-devel perl-Data-Dumper


今回使用したAMIには MariaDBがすでに入っていて、これが今回入れるMySQLの動作を阻害するため、あらかじめ除去しておく:

# yum -y remove mariadb-libs

ファイルの用意(含フォルダの作成)

 ここからは一般ユーザでの作業です。
フォルダを掘って、中に移動して、MySQL 5.6.35のソースコードをダウンロードしてきて、展開して、展開したフォルダに移動する、というだけの簡単なお仕事です。

$ mkdir mysql/
$ cd !$
$ wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.35.tar.gz
$ tar xvf mysql-5.6.35.tar.gz 
$ cd mysql-5.6.35

ビルドとインストール作業

 展開したソースコードを cmake する*1
その後、make*2。 makeには 今回の環境で 19分程かかりました。
makeが済んだら、インストールして完了。

$ cmake -DCMAKE_INSTALL_PREFIX=/home/ec2-user/mysql/mysql5635 -DBUILD_CONFIG=mysql_release .
$ make
$ make install

起動確認

 インストールが済んだので、実際に MySQLサーバを起動して、クライアントから接続できるかを確認してみます。
 まずは、インストールしたフォルダに移動。

$ cd ../mysql5635/
$ pwd
/home/ec2-user/mysql/mysql5635


 データベースファイルをインストール(作成):

./scripts/mysql_install_db --datadir=./data


 mysqldを起動。ポート番号やソケット番号がヘンなのは、この後、複数バージョンを動作させるつもりなので、バージョンを分かりやすくしたかったから。

./bin/mysqld_safe --datadir=./data --port=15635 --socket=/tmp/mysql5635.sock &


 クライアントから接続して、status を見てみる。

$ ./bin/mysql -uroot -P15635 --socket=/tmp/mysql5635.sock

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.6.35 MySQL Community Server (GPL)
(略)


mysql> status
--------------
./bin/mysql  Ver 14.14 Distrib 5.6.35, for Linux (x86_64) using  EditLine wrapper

Connection id:          1
Current database:       
Current user:           root@localhost
SSL:                    Not in use
Current pager:          stdout
Using outfile:          ''
Using delimiter:        ;
Server version:         5.6.35 MySQL Community Server (GPL)
Protocol version:       10
Connection:             Localhost via UNIX socket
Server characterset:    latin1
Db     characterset:    latin1
Client characterset:    utf8
Conn.  characterset:    utf8
UNIX socket:            /tmp/mysql5635.sock
Uptime:                 8 min 11 sec

Threads: 1  Questions: 5  Slow queries: 0  Opens: 67  Flush tables: 1  Open tables: 60  Queries per second avg: 0.010
--------------

mysql> 


 今日はここまで。

その他ハマりどころとか

  • AWS への SSH接続が結構よく切れるのに困った。複数接続しているときに全部一遍に、追い出されるかのように切断されてしまうことが今回の作業中にも何度か。
  • cmake でエラーが出ては不足モジュールをインストールしている際に、エラーが消えず悩みました。これは処理の状態がキャッシュされているためで、rm CMakeCache.txt してから再度 cmake すればOK。

*1:この時点で私の頭が時代遅れを認識。configureじゃないんだ、と

*2:cmake したら make、という言い回しが結構気に入った。cmakeしたら負け

日記書けなくなる症候群を反省

 OSC2016-hiroshima に参加した折、yoku0825 さんと深く語り合うことができて、自分にも気づきがあったので、今の自身の思いをここに吐露しておく。

 ユーザ会の活動でイベントに参加したりセミナーでお話ししたりしているうちに、ありがたいことに情報等に対して感謝の言葉をいただくことがあります。稀にですが。
それを何度か体験すると、よりよい物を、よりわかりやすく、より正確なものを提供しなければという思いが芽生えてきます。気楽に、無責任に書けなくなるんですね。

 もちろん、しっかり書かなきゃいけないというルールがあるわけではなく、また「社会的責任」なんてものはここには発生しないものだと考えているので、純粋にこれは自分の中の問題なのです。自意識過剰なのであります。
 もうちょっと調べてみてから書いたほうがいいんじゃないか、あやふやな部分や理解できていない部分がある場合には書かないほうがいいんじゃないか。そんな思いに押されて、筆が遠のくわけです。もちろん、より良い日記を書くことにプラスにけるならば「しっかり書こう」という姿勢は悪いものではないのですが、実際のところは時間切れまたは根性負けして、日記が書かれないという結末になることが多いのです。


これはよくない。うん。よくない。


 そんなわけで、もっと気軽に書く宣言。「記事」気取りではなく、飽くまでも「日記」。
ちょっとコマンド叩いてみた。本とか資料とか見ててへぇと思った事があった。そんな時に「整理してから書こう」というのではなく、可及的速やかに軽く自由に書いて行けたらなと思います。しばらくその方針でやってみます。


 気づきに、そしてそのきっかけをいただけたことに感謝。