アンサンブル学習とは？バギング、ブースティング、ブースティングを図で解説

一つの学習モデルだけでは良い精度を出すのは難しい時にアンサンブル学習はよく使われます。

3人寄れば文殊の知恵のように、複数の弱いモデルを組合わせることで高い精度を出すという考え方です。

アンサンブル学習は、分析コンペでもよく使われる効果的な手法となっています。

アンサンブル学習の種類

アンサンブル学習の手法は大きく3種類に分けることができます。

それぞれの手法について解説していきます。

バギング

バギングとは、

バギングでは、学習データから複数のサンプルデータを作り、各サンプルデータを元にモデルを作成していきます。

たくさん作ったモデルにそれぞれ推論させた結果を多数決して、最終的な出力結果となります。

サンプルデータの作成

サンプルデータを作成するときには、データの抽出（ブートストラップ法）と特徴量の選択の2段階でサンプルデータを作成します。

ブートストラップ法は、学習データからランダムにデータを抽出して、サンプルデータを作成する手法です。

ブートストラップ法では、前のサンプルで1度使ったデータを間引くことはしないので、同じデータを再利用することを許容します。

ブートストラップ法で抽出したデータに対して特徴量をランダムに取捨選択することで、多様性のあるサンプルデータを作成することが可能です。

ブースティング

ブースティングとは、

ブースティングでは、前の学習モデルが間違えた部分を補うようにモデルを作っていきます。

まず1つ目のモデルは学習データを通常通り学習していきます。

次に、2つ目のモデルは1つ目のモデルが間違ったデータを重要視して学習していきます。

3つ目のモデルは今までのモデル(1つ目と2つ目)が間違ったデータを重要視して学習するといったように、連続的に学習していくことで、より精度を向上させていくことができる手法です。

ブースティングには、データ重みづけの方法によって様々な手法があり、代表的なものはアダブーストや勾配ブースティングといったものになります。

スタッキングでは、学習データに対して様々なモデルを作り、その出力結果を入力として更にモデルを作ります。

分かり易く2段構成を例として出しましたが、3段以上の構成にすることも可能です。

精度を上げるには学習用モデルに様々なアルゴリズムを使う必要があるので、機械学習に詳しくないと使うのが難しい手法になります。

データ分析コンペでもよく使われる手法になります。

スタッキングのメリット・デメリット

スタッキングの特徴は以下となります。

まとめ

アンサンブル学習とは、複数のモデルを組み合わせて機械学習の予測精度を高める手法でした。

アンサンブル学習は、バギング・ブースティング・スタッキングの3種類に分けられます。

バギングでは、モデルを並列に並べて学習して多数決を用います。

ブースティングでは、モデルを直列にして精度改善をしていきます。

スタッキングでは、他のモデルの出力を新たな特徴量として学習していきます。

アンサンブル学習は高い精度が出やすいので、使ってみてください。

参考文献

Kaggleで勝つデータ分析の技術

created by Rinker

• Amazon
• 楽天市場
• Yahooショッピング
• 書評はこちら

アンサンブル学習とは？バギングとブースティングとスタッキングの違い｜スタビジ

当サイト【スタビジ】の本記事では、アンサンブル学習についてまとめていきます！加えて学習手法のバギング、ブースティング、スタッキングについても紹介します。アンサンブル学習とは機械学習を学ぶ上で非常に重要な考えであり、いくつかのモデルを組み合わせて汎化能力を上げるもの。有名なランダムフォレストやXgboostなどもアンサン...

toukei-lab.com

アンサンブル学習とは？仕組みやアルゴリズムを解説！バギング、ブースティング、スタッキングの違いも紹介| | ITフリーランスエンジニア案件ならtoiroフリーランス

​機械学習において、「アンサンブル学習」という言葉を一度くらいは目にしたことがある人は少なくないのではないでしょうか。実はこの考えは機械学習をしていく...

freelance.shiftinc.jp