実践データサイエンス Part 3. 機械学習の理解

コアだけを収めた！
モデル構築のための機械学習の基本理解

機械学習とは何ですか？

機械学習とは、数値を予測する作業（回帰）、カテゴリを予測する分類、最適な推薦などを行うソフトウェアで、データを見て学習して徐々にパフォーマンスが向上するソフトウェアを意味します。

現在、人工知能を実装する代表的な方法が機械学習技術です。機械学習の主な機能は、インテリジェントな動作を実行する機械学習「モデル」を作成することです。

機械学習モデル📖

入力データ（X）から最適な出力（y）を得るソフトウェアをいい、最適な出力とは正解（label、target）をよく予測することをいいます。

モデルの種類には、線形モデル、ロジスティック回帰、SVM、結晶ツリー、ランダムフォレスト、kNN、ベーシオン、ディープラーニングモデル（MLP、CNN、RNN）などがあります。このレッスンでは、これらのアルゴリズムの内容については説明しませんが、機械学習モデルを実装する基本的で一般的な方法を線形モデルを使用して学びます。各モデルの特徴については、異なる講義で取り上げます。

機械学習モデルコンポーネント🚦

1️⃣入力データ

最適なモデルを実装するには、モデルを学習するために必要なトレーニングデータと、学習したモデルの動作を検証するために必要な検証データを十分に準備する必要があります。

生データから適切な学習および検証データを作成するプロセスはデータ前処理であり、データ前処理は機械学習モデルのパフォーマンスに大きく依存します。

2️⃣機械学習モデルの目的

機械学習モデルを使用する目的は、次の4つに分けられます。

この講義で学ぶこと👨‍🏫

✅ 機械学習モデル

機械学習の概要を学習し、機械学習を理解するための重要な概念を5つの例を中心に説明します。

✅性能評価

まず、回帰モデルの実装、学習、検証方法、およびモデルのパフォーマンス評価尺度であるR-squared、MAE、RMSEなどを学びます。

次に、分類モデルの実装方法と決定境界、コンフュージョン行列、精度、精度、リコール、f-1スコアの概念を学びます。分類のパフォーマンス評価を行うには、コンフュージョン行列を明確に理解する必要があり、例を使って詳細を紹介します。

分類モデルの包括的なパフォーマンス評価を行うには、予測順位（ランキング）を評価する必要がありますが、そのためにROC-AUC、precision-recall curveの使い方を説明します。

✅分類境界値（threshold）を探す

実際の業務では、分類モデルが満たすべき最小限の精度やリコール値要求基準があり、これを満たす最適な分類境界値（threshold）を選択することが多いです。 Precision-Recallカーブを使用して最適な境界値を見つける方法について詳しく説明します。

✅統計分析と機械学習の違い

機械学習 学びながら 最も 気になる もの 中 一つ 統計分析と 違い 理解する です。統計分析は、技術統計、推定、仮説検証に分けられます。

• 技術（descriptive）統計
  • データの平均、標準偏差、確率分布、相関関係などを把握し、データに含まれる何らかの意味、洞察を得ることをいいます。
• 推定
  • 標本サンプルを見て母集団の特性を推定することで、平均、標準偏差など特定数値を推定する点推定と信頼区間などを推定する区間推定があります。
• 仮説検定 (testing hypothesis)
  • サンプルデータを見て、主張したい対立仮説が正しいかどうかをテストすることです。

統計学では、理論的な根拠を説明することを重要視し、仮説、確率、信頼区間、誤差範囲などを扱います。一方、機械学習は、理論的な根拠の提示ではなく、予測や分類をうまく実行するソフトウェアモデルを作成することを目的としています。

分析するデータのサイズが小さい場合は、統計的分析に依存して説明、推定、仮説検証などを行う必要がありますが、データが十分に多い場合は機械学習モデルを作成し、本番で利用可能なモデルを作成する方が便利です。

この講義では、正規分布の特性など統計分析の基本的な内容を紹介します。ちなみに、正規分布とは、累積されるサンプルの確率分布関数がもはや変わらず収束したときの確率分布関数です。 (下図)

---

🌟 コアデータサイエンス講義を見る

本番データサイエンス Part1. Python入門

データサイエンスの基礎となる言語Python。
本講義はPythonの基礎知識が選ばれる講義です。
Python言語の基礎知識がない人は

本番データサイエンス Part1. Python入門講義を通じて
選手の知識学習をおすすめします。

本番データサイエンス Part2.データ前処理
企業で最も扱われているデータ分析のパフォーマンス
最大の影響を与えるデータ前処理に関する講義です。
データ前処理について集中的に学習したい方
本番データサイエンス Part2.データ前処理講義学習
おすすめです。