- quadratic weighted kappaとは何か
- quadratic weighted kappaの計算方法
quadratic weighted kappaとは
quadratic weighted kappaとは、
です。
quadratic weighted kappaはクラス間に順序関係があるような場合(例えば、映画の評価を1～5のレーティングで表したもの)に使用されます。
具体的な評価式は、
$$QuadraticWeightedKappa= 1 – \frac{\sum _{i,j}w_{i,j}O_{i,j}}{\sum _{i,j}w_{i,j}E_{i,j}}$$
で表されます。
変数の意味は以下の通りです。
quadratic weighted kappaの値は、大きいほどAIモデルが良いと判断できます。
完璧な予測をすると1、ランダムな予測をすると0、ランダムよりも悪い予測をすると負の値になります。
定義式だけではよくわからないと思うので、具体例を見ていきましょう。
quadratic weighted kappaの具体例
写真を見て誰が撮影したか判断するAIを例として考えてみましょう。
AIの判定結果が以下のようになったときのquadratic weighted kappaを計算してみます。
| 予測値 j | 合計 | ||||
| 1 | 2 | 3 | |||
| 真の値 i | 1 | 10 | 5 | 5 | 20 |
| 2 | 5 | 35 | 0 | 40 | |
| 3 | 15 | 0 | 25 | 40 | |
| 合計 | 30 | 40 | 30 | 100 | |
AIの推測値と真の値の対応を整理したこの混同行列の各カラムが\( O_{i,j} \)となります。
次に、ランダムに予測した場合の分布\( E_{i,j} \)を作成します。
予測値の混同行列を見ると、クラス1と予測した枚数が30枚、クラス2と予測した枚数が40枚、クラス3と予測した枚数が30枚です。
このことから、クラス1と予測する確率は30%(30/100)、クラス2と予測する確率は40%(40/100)、クラス3と予測する確率は30%(30/100)と考えることができます。
真の値がクラス1である画像20枚をランダムに予測している場合、予測値がクラス1となるのは20×30%で6枚となります。
同様に計算して、ランダムに予測した場合の分布\( E_{i,j} \)は以下のように計算することができます。
| 予測値 j | 合計 | ||||
| 1 | 2 | 3 | |||
| 真の値 i | 1 | 6 | 8 | 6 | 20 |
| 2 | 12 | 16 | 12 | 40 | |
| 3 | 12 | 16 | 12 | 40 | |
| 合計 | 30 | 40 | 30 | 100 | |
最後に、ペナルティの係数を設定します。
今回は予測があたっていた場合は0ポイント、クラスが1階級ずれていた場合(クラス1をクラス2と予測した等)は1ポイント、クラスが2階級ずれていた場合(クラス1をクラス3と予測した等)は4ポイントとしました。
表にまとめると以下のようになります。
| 予測値 j | ||||
| 1 | 2 | 3 | ||
| 真の値 i | 1 | 0 | 1 | 4 |
| 2 | 1 | 0 | 1 | |
| 3 | 4 | 1 | 0 | |
今まで作った表をもとに定義式に当てはめれば、quadratic weighted kappaを計算することができます。
$$QuadraticWeightedKappa= 1 – \frac{0×10 + 1×5 + 4×5 + …}{0×6 + 1×8 + 4×6 + …} = 1 – \frac{90}{120}=0.25$$
まとめ
quadratic weighted kappaとは、多クラス分類の評価指標の1つで、混同行列に重みを付けて評価する指標です。
クラス間に順序関係があるような場合に使用されます。
予測が大きくハズレたものにはペナルティを大きくすることで、評価結果を調整することができる指標となっています。
コメント