ナイーブベイズ( Naive Bayes)とは?確率に基づいて分類する手法!!

ナイーブベイズ( Naive Bayes)とは?

ナイーブベイズは確率に基づいて予測を行うモデルで、ベイズの定理の考え方をもとにしたアルゴリズムとなっています。

ナイーブベイズは分類に問題にも利用することができます。

スパムメールのフィルタなど、自然言語の分類問題に利用されることが多くなっています。

例として、野球とサッカーの新聞記事の見出しを分類する例を以下に示します。

学習データ6件から検証データのカテゴリを推定する方法は、

学習データには野球のデータが3件、サッカーのデータ3件があり、単純に考えると検証データのカテゴリが「野球」である確率は50%(3/6)です。

この方法だと、検証データの内容によらずカテゴリに分類される確率は変わらないので、ナイーブベイズでは文章中に含まれる単語をもとにカテゴリの推定をします。

検証データに含まれる「失点」という単語に着目すると、野球のデータの中に「失点」という単語が含まれる確率は66%(2/3)で、サッカーのデータの中に「失点」という単語が含まれる確率は33%(1/3)です。

「失点」という単語だけでナイーブベイズを使った場合、検証データの分類は野球であると判断されます。

ロボくん

「失点」という単語が使われていたら、野球カテゴリの確率が66%だから野球に分類されるよ。

上記の例では「失点」という単語のみで判断していましたが、実際は様々な単語を使って推定します。

ナイーブベイズでは文章の出現割合と文章に使われている単語ごとの出現確率を用いて分類の精度を上げています。

ナイーブベイズのアルゴリズム

ナイーブベイズで自然言語の分類を行う場合は3ステップの処理が必要となります。

データ形式をBoW(Bag of Words)に変換する

BoW(Bag of Words)とは文章中の単語の出現回数を数えて整理したものです。

学習データをBoWの一覧表(一部省略)のイメージを作ってみます。

この例の場合、文章1(順調な調整　紅白戦で3回1安打無失点)をBoWの形で変換すると、[1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0]となります。

この形式にすることで自然言語をプログラムで解析できるようになりました。

単語ごとの出現確率を計算する

ナイーブベイズの確率計算ではまず、単語ごとの出現確率を求めます。

テストデータに出てこなかった単語でも、スムージングという処理をして確率は0.01のような小さな値を入れておきます。

スムージングは、学習データ数が少なくて0になってしまった可能性を考慮して、単語が出現しなかった箇所にも低確率を割り振ります。

検証データを分類する

出現確率が求められたら、分類したい文章(検証用データ)に出現している単語から結果を判断します。

ナイーブベイズを使った確率は、

で算出されます。

検証データで試しに計算してみましょう。

野球に分類される時の確率を求める例です。

※検証データに含まれていないので、「順調」という単語がない時に野球カテゴリになる確率を求めています。

上記のように各確率を求めて、全ての積を計算すれば野球カテゴリに分類される確率を求めることができます。

ここで求めた確率(野球)と確率(サッカー)を比べ、高い確率の方に分類されます。

ロボくん

ナイーブベイズはシンプルなアルゴリズムだから、高速で計算できて大規模なデータにも有効な手法だよ。

from sklearn.naive_bayes import MultinomialNB

#データ生成
X_train = [[1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
           [0, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0],
           [0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 0, 0, 0, 0, 0],
           [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0],
           [0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0],
           [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1]]
y_train = [1, 1, 1, 0, 0, 0]#1:野球、0:サッカー

#ナイーブベイズで分類する
model = MultinomialNB()
model.fit(X_train, y_train)#学習
model.predict([[0, 0, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]])#推定結果

まとめ

ナイーブベイズとは何かをまとめると以下の3つの特徴を持つモデルです。