Railsのプロジェクトにいくつか関わっているとRMagicとかのネイティブインストールするライブラリのバージョンに違いが出てきたりして、動かずハマるということがしばしばある。 そろそろ開発環境をプロジェクト毎に分けたいなー、と思い始めてきたのでDockerを導入してみた。
導入した環境はUbuntu 17.10、Rubymine 2018.1。（おそらくMacとか他の環境でもほとんど同じだと思う。）
設定はjetbrainsのマニュアル通りにすれば大丈夫だったけど、一応手順を記載。
Gemfileに以下のGemを追加し、Rubymineからデバッグ実行できるように
gem 'debase' gem 'ruby-debug-ide'
プロジェクト毎の設定を記載する。
FROM ruby:2.3.3
RUN apt-get update -qq && \
apt-get install -y build-essential libpq-dev nodejs
RUN mkdir /myapp
WORKDIR /myapp
ADD Gemfile .
ADD Gemfile.lock .
ENV BUNDLE_JOBS=4 \
BUNDLE_PATH=/bundle
RUN bundle install
ADD . /myapp
Rubymine設定前に、以下のようなコマンドを実行してDocker Imageが作成するか確認しておくこと。
# Dockerfileをビルドして、Docker Imageを作る docker build -t developer-name/project-name --no-cache=true . # Docker Imageができたか確認する docker images
同様にdocker-composeも設定する。
version: '2' services: app: build: . command: bundle exec rails s -p 3000 -b 0.0.0.0 environment: RAILS_ENV: development ports: - '3000:3000' volumes: - .:/myapp
（version: '3'にすると動かなくなったので、version: '2'にしている）
docker-compose も動くか確認
# Dockerイメージを作成 docker-compose build # コンテナの作成と開始 docker-compose up -d # コンテナの停止 docker-compose down
メニュー[File] => [Settings] => [Build, Execution, Development] => [Docker]に設定を追加。
「Docker」等わかりやすい名前をつけて、「Unix socket」を選択。
Docker Deamonに繋がれば、添付のようにConnection Successfulと表示される。
もしハマるところがあるとすれば多分ここだけ。
メニュー[File] => [Settings] => [Ruby SDK and Gems]を選択。 [+]を選択して、[New Remote]を選択。
Serverに2. で作ったDockeを選択。
Configuration filesに1. で作ったdocker-compose.ymlを選択。
Serviceにdocker-compose.ymlで指定したサービス名を指定。
この段階でdocker-composeが動かない場合、Ruby interpriter pathの先が見つからず「Unable to detect full path for ruby」というようなエラーが表示されて？？？となるので、事前に手動で動くことを確認しておくこと。
デバッグ実行してlocalhost:3000にアクセスする。ちゃんとブレークポイントに止まる。素晴らしい！
※最初からデバッグ実行したときにうまく動かないときがあるので、先に普通にRunしたほうが良い
Rubymineから初めてdebug実行したとき以下のようなエラーが表示されていた。
調べてみるとdocoker-composeのバージョンが古いときに発生するエラーらしいので、試しにdocker-composeのバージョンを上げてみたら直った。
ちなみに、Rubymineでデバッグ実行の設定する際にDockerコンテナがいくつかできていたので、以下のようにimageを元にdocker rmするコマンドを作ってみた。 まだあまり使っていないけど、便利そうな気がする。
docker rm $(docker ps -a | grep "docker-image-name" | awk '{print $1}')
（この行を消して、ここに「わたしの転機」について書いてください）
Sponsored by イーアイデム
あまりデータサイズが大きくない訓練データセットを読み込む時は普通にpandasのread_csvを使って
import pandas as pd
df = pd.read_csv('train.csv')
で大丈夫だけど、pandasのread_csvは遅いので、データサイズが大きい時は他の方法を使いたくなる。 （実行環境：MacBook Pro (Early 2015)、CPU 2.9 GHz Intel Core i5、メモリ 8 GB 1867 MHz DDR3、データCSV：7.0GB）
%time df = pd.read_csv('train.csv')
CPU times: user 2min 31s, sys: 58.8 s, total: 3min 29s
Wall time: 4min 2s
遅い。。より良い方法がないか、と調べているとpickleでシリアライズ読み書きすれば良いとわかるが、以下のコードだとうまくいかない。
import pickle
pickle.dump(df, open('train.csv.pkl', 'wb'), protocol=4)
OSError Traceback (most recent call last)
<ipython-input-10-aa4f708bf30d> in <module>()
1 import pickle
----> 2 pickle.dump(df, open('train.csv.pkl', 'wb'), protocol=4)
OSError: [Errno 22] Invalid argument
このエラーをStackover flowで調べてみると長い間解決されていない、Mac OSでは2GBより大きいデータ書き込み時にエラーが発生する問題が原因だということが分かる。 手っ取り早い解決策として、以下のコードのように2の31乗バイトに分けてファイル出力するとエラーがでなくなるらしい。
import sys
import os
def save_as_pickled_object(obj, filepath):
max_bytes = 2**31 - 1
bytes_out = pickle.dumps(obj, protocol=pickle.HIGHEST_PROTOCOL)
n_bytes = sys.getsizeof(bytes_out)
with open(filepath, 'wb') as f_out:
for idx in range(0, n_bytes, max_bytes):
f_out.write(bytes_out[idx:idx+max_bytes])
def try_to_load_as_pickled_object_or_None(filepath):
max_bytes = 2**31 - 1
try:
input_size = os.path.getsize(filepath)
bytes_in = bytearray(0)
with open(filepath, 'rb') as f_in:
for _ in range(0, input_size, max_bytes):
bytes_in += f_in.read(max_bytes)
obj = pickle.loads(bytes_in)
except:
return None
return obj
# 書き込み
save_as_pickled_object(df, 'train.csv.pkl')
# 読み込み
%time df = try_to_load_as_pickled_object_or_None('train.csv.pkl')
CPU times: user 27.8 s, sys: 1min 26s, total: 1min 53s
Wall time: 3min 7s
pickleで読み書きできるようにはなったが、結局1分くらいしか早くなっていないので、pickleからcPickle（python 3.xでbundleされているpickleのC言語実装）にしたところ少し早くなった。
import _pickle as cPickle
import sys
import os
def try_to_load_as_pickled_object_or_None(filepath):
max_bytes = 2**31 - 1
try:
input_size = os.path.getsize(filepath)
bytes_in = bytearray(0)
with open(filepath, 'rb') as f_in:
for _ in range(0, input_size, max_bytes):
bytes_in += f_in.read(max_bytes)
obj = cPickle.loads(bytes_in)
except:
return None
return obj
%time df = try_to_load_as_pickled_object_or_None('talkingdata_train.csv.pkl')
CPU times: user 25 s, sys: 1min 13s, total: 1min 38s
Wall time: 2min 21s
Pandsを使用してカテゴリデータについて把握する際に、有用だと感じている方法をまとめる。
以下のあるマンガのアンケート結果を題材としてデータの把握を行う。
1人目: 性別 男の子, 満足度 1 2人目: 性別 男の子, 満足度 2 3人目: 性別 女の子, 満足度 5 4人目: 性別 男の子, 満足度 1 5人目: 性別 女の子, 満足度 3 6人目: 性別 男の子, 満足度 3 7人目: 性別 男の子, 満足度 2 8人目: 性別 女の子, 満足度 4 9人目: 性別 女の子, 満足度 5 10人目: 性別 女の子, 満足度 4
【満足度の評価方法】 1: すごくつまらない、2: つまらない、3:普通、4:面白い、5: すごく面白い
まず最初にざっくりデータと把握するために、ヒートマップを使ってデータを可視化する。
Pandasの相関係数を算出するメソッドcorrはピアソンの相関係数を返すためカテゴリデータを対象とする場合には適切ではないが、手っ取り早く可視化できるため、まずはピアソンの相関係数を使う。
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
sample_df = pd.read_csv('category_sample.csv')
corr = sample_df.corr()
plt.figure(figsize=(10,8))
sns.heatmap(corr,
xticklabels=corr.columns.values,
yticklabels=corr.columns.values, annot=True)
実行すると以下のようになり、女の子と満足度の間には正の相関、男の子と満足度には負の相関があることが分かる。
この結果から女の子はこのマンガを好み、男の子は好まない傾向があることはわかる。
性別毎の満足度の件数を出力し、件数の多寡や関係性を把握する。
import pandas as pd
sample_df = pd.read_csv('category_sample.csv')
pd.crosstab(sample_df.sex, sample_df.fun, colnames=['満足度'], rownames=['性別'])
男の子より女の子の方が満足度が高いことがわかる。
最後にクラメールの連関係数を算出し、正確な連関係数を求め、各カテゴリの値がどの程度関係しているのかを把握する。
まずは、クラメールの連関係数を算出する関数を定義する。（コードはstackoverflowから引用）
#https://stackoverflow.com/questions/20892799/using-pandas-calculate-cram%C3%A9rs-coefficient-matrix/39266194
def cramers_corrected_stat(confusion_matrix):
""" calculate Cramers V statistic for categorial-categorial association.
uses correction from Bergsma and Wicher,
Journal of the Korean Statistical Society 42 (2013): 323-328
"""
chi2 = ss.chi2_contingency(confusion_matrix)[0]
n = confusion_matrix.sum().sum()
phi2 = chi2/n
r,k = confusion_matrix.shape
phi2corr = max(0, phi2 - ((k-1)*(r-1))/(n-1))
rcorr = r - ((r-1)**2)/(n-1)
kcorr = k - ((k-1)**2)/(n-1)
return np.sqrt(phi2corr / min( (kcorr-1), (rcorr-1)))
以下のようにクロス集計表の値を与えると
import pandas as pd confusion_matrix = pd.crosstab(sample_df.sex, sample_df.fun, colnames=['満足度'], rownames=['性別']) print(confusion_matrix) corr = cramers_corrected_stat(confusion_matrix) print(corr)
0.632455532034
とクラメールの連関係数が求まる。
kaggleをやっていてテキスト分類のコンペのkernelでNBSVMが使われていたので、勉強のために今更ながらNBSVMに関して調べてみた。
NBSVMはテキストデータのトピック分類や感情分類で比較的に精度が良いことを確認されているアルゴリズムで、このようなジャンルの機械学習モデルの精度基準に使われたりするらしい。kaggleコンペのベースラインkernelでも使われていたりする
Naive Bayes素性を利用したSVM(Support Vector Machine)のことである。と聞いてもあまりピンとこないが、ベイズの定理を使ってある分類に分類されやすいかどうかということを計算に変換してから、SVMのような分類器で学習させましょうということらしい。 例えば、機会学習アルゴリズムを用いて、投稿されたニュース記事を「経済」、「エンタメ」、「スポーツ」いずれかのニューストピックに分類したいときにNBSVMを使うことができる。
これからあるニュース記事のトピックを「経済」か「経済」以外かに分類するような機械学習モデルを作成することを想定し、既存の以下の記事（エンタメ記事 2件、経済記事 2件）を学習させる例を考えてみる。
・記事1（トピック：エンタメ） ローラがファッション分野で引っ張りだこで、雑誌での露出が増えている。 ・記事2（トピック：経済） 新卒は電話対応が苦手らしい。 ・記事3（トピック：経済） 電話対応は新卒の仕事だ。 ・記事4（トピック：エンタメ） 新海誠が監督、脚本を務めた映画「君の名は。」が国内興行収入250億円を突破した。
ここで文章を以下のような単語の出現回数のベクトルに変換する。 （説明をわかりやすくするために助詞などトピックの種類とは関連がない単語を省いている。）
・記事1（トピック：エンタメ）
{ファッション: 1、雑誌: 1、露出: 1、新卒: 0、電話対応: 0、苦手: 0、
監督: 0、映画: 0、興行収入: 0}
・記事2（トピック：経済）
{ファッション: 0、雑誌: 0、露出: 0、新卒: 1、電話対応: 1、苦手: 1、
監督: 0、映画: 0、興行収入: 0}
・記事3（トピック：経済）
{ファッション: 0、雑誌: 0、露出: 0、新卒: 1、電話対応: 1、苦手: 0、
監督: 0、映画: 0、興行収入: 0}
・記事4（トピック：エンタメ）
{ファッション: 0、雑誌: 0、露出: 0、新卒: 0、電話対応: 0、苦手: 0、
監督: 1、映画: 1、興行収入: 1}
次に、条件付確率を考慮して、このベクトルを変換する。（この変換がNBSVMという名前のNB（Naive Bayes）の部分）
記事が「経済記事」かどうかを判別したいこのケースで考慮に入れたいのは、「「経済」記事内のその単語の出現割合」と「「経済」ではない記事内のその単語の出現割合」なので、文章毎の単語の出現回数に
をかけてあげれば、「経済」記事の単語の重みが大きくなり、他のトピック記事に頻出する単語の重みを小さくすることができる。（ベイズの定理との関係は補足に記載）
しかし、ここで「「経済」ではない記事内のその単語の出現割合」が0の場合に割り算ができなくなるという不都合が起こる。なので、分母・分子それぞれに1を足して計算を行い、0割りを回避する。
全単語の出現割合を算出する必要があるが、ここでは「新卒」という単語の出現割合の計算式を確認する。
上の2式より
「新卒」という単語以外でも同様にして計算を行い、文章毎の単語の出現回数に掛けると
・記事1（トピック：エンタメ）
{ファッション: 0.5、雑誌: 0.5、露出: 0.5、新卒: 0、電話対応: 0、苦手: 0、
監督: 0、映画: 0、興行収入: 0}
・記事2（トピック：経済）
{ファッション: 0、雑誌: 0、露出: 0、新卒: 3、電話対応: 3、苦手: 2、
監督: 0、映画: 0、興行収入: 0}
・記事3（トピック：経済）
{ファッション: 0、雑誌: 0、露出: 0、新卒: 3、電話対応: 3、苦手: 0、
監督: 0、映画: 0、興行収入: 0}
・記事4（トピック：エンタメ）
{ファッション: 0、雑誌: 0、露出: 0、新卒: 0、電話対応: 0、苦手: 0、
監督: 0.5、映画: 0.5、興行収入: 0.5}
となり、「経済」の記事に出現する単語の重みが大きくなり、その他の記事の単語の重みが小さくなっていることが分かる。
このベクトルをSVNのような分類器で学習させると、新しい記事がどのトピックの記事であるかどうかを判別するモデルができる。 同様に他のトピックに関しても計算をしてトピック毎に分類器のモデルを作れば、新たな記事がどのトピックの記事かを判別するモデルができる。
このように単語の出現回数だけではなくて、特定のトピックであることを前提とした単語の出現割合を考慮することで、機械学習の判別の精度をあげることができる。
実装に関しては、SVMはscikit-learnにあるから良いとして、NBの部分は前述のkernelを見ると、
となり、Pythonで結構シンプルに書けることが分かる。
単語の出現回数に、を掛けたが、この方法ではアンダーフローが発生する可能性があるので、実際にはこれを対数化したものを掛ける。
アンダーフロー： 0.0001 * 0.0001の計算結果が0.0000001のように有効桁が下がり、コンピュータで例えば小数点第4桁までしか計算できない場合には結果は0になってしまい精度が下がることをいう。
のように対数化すれば、掛け算・割り算を足し算・引き算に変換できるので、有効桁が下がらない。
上記の例では、恣意的に共通する単語を除外したが、TfidfVectorizerのようなアルゴリズムを使って頻出の単語の重要度を下げることによって機械的に除外できる。
ベイズの定理出てこなかったので補足。こんな感じで分母と分子のそれぞれで使われているらしい。
文章内に出現する単語の出現頻度と希少性を掛け合わせた値Tfidfを算出するアルゴリズム。文章を特徴づける単語を探したりできる。
例えば、Twitterの投稿テキストを読み込んで、気分が「Happy」か「Unhappy」かを判別する機械学習モデルを作ろうと思った時に、テキスト内の単語の出現頻度を元に判別するという方法が考えられる。
しかし、どの投稿でもよく出現する助詞などの単語の出現頻度によって「Happy」か「Unhappy」かの判別基準が変わるのは望ましくない。
出現頻度だけではなく、その希少性も考慮に入れて判別を行いたいはずで、そのような場合にTfidVectorizerというアルゴリズムを使うと良い。
Pythonのscikit-learnからクラスを使う時、以下のようにすれば使える。
# scikit-learnからTfidfVectorizerを読み込む
from sklearn.feature_extraction.text import TfidfVectorizer
# 文章内に10回まで出現する単語のTfidf値を求めるためのTfidfVectorizerを作る
vec = TfidfVectorizer(max_df=10) # ここでオプションを指定
# 単語の出現回数を数える文章を作成
docs = ["I have a pen", "I have an apple", "Ugh, apple pen", "I have a pen", "I have an pineapple", "Ugh, Pineapple pen"]
# 文章内の単語のTfidf値を取得
term_doc = vec.fit_transform(docs)
# 単語に割り当てられている序数を表示
vec.vocabulary_
=> {'an': 0, 'apple': 1, 'have': 2, 'pen': 3, 'pineapple': 4, 'ugh': 5}
# 単語毎のtfidf値を取得
term_doc.toarray()
=>
array([[ 0. , 0. , 0.70710678, 0.70710678, 0. , 0. ],
[ 0.62951441, 0.62951441, 0.4554374 , 0. , 0. , 0. ],
[ 0. , 0.62951441, 0. , 0.4554374 , 0. , 0.62951441],
[ 0. , 0. , 0.70710678, 0.70710678, 0. , 0. ],
[ 0.62951441, 0. , 0.4554374 , 0. , 0.62951441, 0. ],
[ 0. , 0. , 0. , 0.4554374 , 0.62951441, 0.62951441]])
この結果を見ると、配列の1行目（1つ目の文章"I have a pen"）は3列目（have）と4列目（pen）のTfidf値が高く、
6行目（5つ目の文章"Ugh, Pineapple pen"）は4列目（pineapple）と5列目（pen）、6列目（ugh）のTdidf値が高くなっていることがわかります。
頻出のIやanといった単語はTdidf値が0で重要度が低いことがわかり、Tdidf値の高い単語が文章を特徴づける重要な単語としてみなすことができます。
トークン化するためのコールバックを指定する。
例えば以下のようにすれば、!"#$%&\'(+)*,-./:;<=>?@\\\[\]^_{|}~“”¨«»®´·º½¾¿¡§£₤‘’`のような単語を区切り文字に使える。
import re
def tokenize(s): return re.split('[ !"#$%&\'(+)*,-./:;<=>?@\\\[\]^_`{|}~“”¨«»®´·º½¾¿¡§£₤‘’]', s)
TfidfVectorizer(tokenizer=tokenize)
n-gramの最小値と最大値をタプルで指定します。例えば、1gramと2gramの頻出を調べる場合には(1, 2)のように指定します。
上記の例でオプションにngram_range=(1, 2)を指定すると、以下の単語（単語列）のTdidf値を算出します。
vec.vocabulary_
=> {'an': 0, 'an apple': 1, 'an pineapple': 2, 'apple': 3, 'apple pen': 4, 'have': 5, 'have an': 6, 'have pen': 7, 'pen': 8, 'pineapple': 9,'pineapple pen': 10, 'ugh': 11, 'ugh apple': 12, 'ugh pineapple': 13}
抽出する単語数を指定します。tfidf値の降順で単語が返ってくる。 デフォルトはNoneなので、指定しない場合は全件取得する。
intで指定された場合には、指定された出現回数までの単語のみを抽出。
floatで指定された場合には、指定された出現割合までの単語のみを抽出。
デフォルトは1.0なので、指定しない場合全ての文章にこの単語があっても抽出する。
intで指定された場合には、指定された出現回数以上の単語のみを抽出。
floatで指定された場合には、指定された出現割合以上の単語のみを抽出。
デフォルトは1なので、指定しない場合1回以上出現した単語を抽出。
前処理の段階でアクセント記号があれば、アクセント（è、ò、ù ⇦ こういうの）を取り除く。 'ascii'が指定されている場合はASCIIコードマッピングで取り除き、‘unicode’、Unicodeのコードマッピングで取り除く。 Noneが指定されている場合には取り除かない。
アクセント記号って日本人だと普段使わないから意識しないけど、ASCIIコードの中にもあるんですよね。
単語の出現回数に1足すかどうかを指定する。idf値の計算式の分母で単語の出現回数を使っていて、0になる場合は0割が発生するので、それを防ぐために入れる。 デフォルトはTrueのため、0割防止のために1を足している。
あまり出現回数にばらつきがないような文章でそれぞれ出現回数が少ない場合には全部に1が足されてしまうので、多くの単語の優位性が上がってしまう気がした。
Tfidf値を求めなたくない単語のリストを指定する。
例えば上記の例では、Iやhave, anといった単語が文書を特徴づけるものではないとわかっている単語を指定して、不要な項目の計算を省くことができる。
単語の出現頻度（Term Freequency）に対数変換するどうかを指定する。
Trueにするとtfを1 + log(tf)に置き換える。
デフォルトはFalseのため、対数変換しない。
あまりにも出現頻度が高い単語があった時に他の単語よりtfidf値が上がってしまうので、あまり影響を受けないようにすることができそう。
sklearn.feature_extraction.text.TfidfVectorizer — scikit-learn 0.19.1 documentation
先日、Rails5.1.0.beta1のリリースでSystem Testが導入されたので試してみました。
システムテストは、ブラウザの中でアプリケーションのテスト実行が可能なテスト。 実際のブラウザ体験をテストすることで、JavaScriptのテストが可能になる。
リリース文章を読むと以下の2つがメリットのようです。
これらはRspecのfeature specで既に行っているのでメリットというほどではないけれど、フレームワークとしてSystem Testが導入されることで今後は設定が少なくなるので、導入が少し楽になりそうで嬉しい。
今はまだbetaですが、Rails5.1.0でJavaScript周りの環境が大きく変わり、JavaScriptのコードは増える傾向にあるので、システムテストが書きやすくなるのは嬉しいですね！
それでは、コマンドを実行して、Rails5.1.0.beta1のプロジェクトを作成し、テストの作成・実行を行ってみます。
$ rails new sample_app
gem 'rails', '~> 5.1.0.beta1' group :development, :test do # group :development, :test doの中に追加 # gem 'selenium-webdriver' gem 'poltergeist' end
$ bundle update rails web-console
$ bundle install
$ bin/rake db:create $ bin/rake db:migrate
http://localhost:3000/users にアクセス$ bin/rails server
最新のRailsガイドにシステムテストの記述が追加されていたので、この内容を元にコマンドを実行してみた。
A Guide to Testing Rails Applications — Ruby on Rails Guides
bin/rails generate system_test users を実行$ bin/rails generate scaffold User name:string email:string
create test/system/users_test.rb
test/application_system_test_case.rbを下記のように修正require 'test_helper' require 'capybara/poltergeist' class ApplicationSystemTestCase < ActionDispatch::SystemTestCase driven_by :poltergeist, using: :chrome, screen_size: [1400, 1400] end
test/system/users_test.rbを下記のように修正
require 'application_system_test_case' class UsersTest < ApplicationSystemTestCase test 'ユーザ削除時、確認ダイアログでOKを押すテスト' do # ユーザ一覧画面を表示 visit users_url # fixtureでusers情報が2件入っている # Destroyリンクをクリックして、ユーザを削除 # その時に表示される確認ダイアログでOKを押す page.accept_confirm do find('tbody').first(:link, "Destroy").click end # ユーザの削除が成功したメッセージが表示されているか確認 assert_text 'User was successfully destroyed.' end end
$ bin/rails test:system
実行結果こんな感じで表示されます。ブラウザの操作を伴うテストが正常に通ったことを確認できました。
エラーが発生した時はコンソールに画像出るのでわかりやすい。
application_system_test_case.rb を少し変更したくらいで、ほぼ設定なしでシステムテストが書けました。
Railsのgeneratorと連携していたり、オプションが追加されたりと今後手間が少なくなりそうです。
正式リリースが楽しみ。