チュートリアル: ML.NET の画像分類 API を活用した転移学習による自動視覚検査

転移学習、事前トレーニング済みの TensorFlow モデル、および ML.NET 画像分類 API を使用してカスタムディープ ラーニング モデルをトレーニングし、コンクリートサーフェスの画像を割れた、または割れていないものとして分類する方法について説明します。

このチュートリアルでは、以下の内容を学習します。

[前提条件]

• Visual Studio 2022 以降。

問題を理解する

画像分類は、コンピューター ビジョンの問題です。 画像分類では、画像が入力として受け取られ、所定のクラスに分類されます。 画像分類モデルは、一般的にディープ ラーニングとニューラル ネットワークを使用してトレーニングされます。 詳細については、「 ディープ ラーニングと機械学習」を参照してください。

画像分類が役立つシナリオには、次のようなものがあります。

• 顔認識
• 感情検出
• 医療診断
• ランドマークの検出

このチュートリアルでは、橋のデッキの自動視覚的検査を実行して、亀裂によって損傷を受けた構造を識別するカスタム画像分類モデルをトレーニングします。

ML.NET 画像分類 API

ML.NET では、さまざまな方法で画像分類を実行できます。 このチュートリアルでは、画像分類 API を使用して転移学習を適用します。 Image Classification API では 、TensorFlow C++ API の C# バインドを提供する低レベルライブラリである TensorFlow.NET を利用します。

転移学習とは何か

転移学習は、ある問題の解決から得た知識を別の関連する問題に適用します。

ディープ ラーニング モデルをゼロからトレーニングするには、いくつかのパラメーター、ラベル付けされた大量のトレーニング データ、膨大な量のコンピューティング リソース (数百 GPU 時間) を設定する必要があります。 事前トレーニング済みモデルと転移学習を使用すると、トレーニング プロセスをショートカットできます。

トレーニング プロセス

Image Classification API は、事前トレーニング済みの TensorFlow モデルを読み込むことでトレーニング プロセスを開始します。 トレーニング プロセスは、次の 2 つの手順で構成されます。

1. ボトルネックフェーズ。
2. トレーニング フェーズ。

ボトルネックフェーズ

ボトルネックのフェーズでは、トレーニングイメージのセットが読み込まれ、事前トレーニング済みモデルの固定レイヤーの入力または特徴としてピクセル値が使用されます。 凍結層には、ボトルネック層として非公式に知られている最後の層まで、ニューラル ネットワーク内のすべてのレイヤーが含まれます。 これらのレイヤーではトレーニングが行われず、操作がパススルーされるため、これらのレイヤーは固定と呼ばれます。 これらの固定レイヤーでは、モデルが異なるクラスを区別するのに役立つ下位レベルのパターンが計算されます。 レイヤーの数が多いほど、この手順は計算負荷が高くなります。 幸い、これは 1 回限りの計算であるため、異なるパラメーターを試すときに、結果をキャッシュし、後の実行で使用できます。

トレーニング フェーズ

ボトルネックフェーズからの出力値が計算されると、モデルの最終レイヤーを再トレーニングするための入力として使用されます。 このプロセスは反復的であり、モデル パラメーターで指定された回数だけ実行されます。 各実行中に、損失と精度が評価されます。 次に、損失を最小限に抑え、精度を最大化することを目的として、モデルを改善するために適切な調整が行われます。 トレーニングが完了すると、2 つのモデル形式が出力されます。 そのうちの 1 つはモデルの .pb バージョンであり、もう 1 つはモデルのシリアル化されたバージョン .zip ML.NET です。 ML.NET でサポートされている環境で作業する場合は、 .zip バージョンのモデルを使用することをお勧めします。 ただし、ML.NET がサポートされていない環境では、 .pb バージョンを使用することもできます。

事前トレーニング済みモデルを理解する

このチュートリアルで使用される事前トレーニング済みモデルは、残差ネットワーク (ResNet) v2 モデルの 101 層バリアントです。 元のモデルは、画像を 1000 のカテゴリに分類するようにトレーニングされます。 モデルは、サイズ 224 x 224 の画像を入力として受け取り、トレーニング対象の各クラスのクラス確率を出力します。 このモデルの一部を使用して、カスタム イメージを使用して新しいモデルをトレーニングし、2 つのクラス間で予測を行います。

コンソール アプリケーションを作成する

これで、転移学習と画像分類 API に関する一般的な理解が得られ、次はアプリケーションをビルドします。

1. "DeepLearning_ImageClassification_Binary" という名前の C# コンソール アプリケーション を作成します。 [ 次へ ] ボタンをクリックします。

2. 使用するフレームワークとして [.NET 8] を選択し、[ 作成] を選択します。

3. Microsoft.ML NuGet パッケージをインストールします。

   注

   このサンプルでは、特に明記されていない限り、記載されている最新の安定バージョンの NuGet パッケージを使用します。

   1. ソリューション エクスプローラーで、プロジェクトを右クリックし、[ NuGet パッケージの管理] を選択します。
   2. パッケージ ソースとして [nuget.org] を選択します。
   3. 「Browse」タブを選択します。
   4. [ プレリリースを含める ] チェックボックスをオンにします。
   5. Microsoft.ML を検索します。
   6. [インストール] ボタンを選択します。
   7. 一覧表示されているパッケージのライセンス条項に同意する場合は、[ライセンスの同意] ダイアログで [同意する] ボタンを選択します。
   8. Microsoft.ML.Vision、SciSharp.TensorFlow.Redist (バージョン 2.3.1)、および Microsoft.ML.ImageAnalytics NuGet パッケージに対して、これらの手順を繰り返します。

データを準備して理解する

SDNET2018は、コンクリート構造物 (橋のデッキ、壁、舗装) の注釈を含む画像データセットです。

データは、次の 3 つのサブディレクトリに編成されます。

• D にはブリッジ デッキイメージが含まれています
• P には舗装画像が含まれています
• W には壁の画像が含まれています

これらの各サブディレクトリには、プレフィックス付きサブディレクトリが 2 つ追加されています。

• C は、割れた表面に使用されるプレフィックスです
• U は、分解されていないサーフェスに使用されるプレフィックスです。

このチュートリアルでは、ブリッジ デッキイメージのみを使用します。

1. データセットをダウンロードして解凍します。
2. プロジェクトに "Assets" という名前のディレクトリを作成して、データセット ファイルを保存します。
3. 最近解凍したディレクトリの CD および UD サブディレクトリを Assets ディレクトリにコピーします。

入力クラスと出力クラスを作成する

1. Program.cs ファイルを開き、既存のコンテンツを次のusing ディレクティブに置き換えます。

   using Microsoft.ML;
   using Microsoft.ML.Vision;
   using static Microsoft.ML.DataOperationsCatalog;
   

2. ImageDataというクラスを作成します。 このクラスは、最初に読み込まれたデータを表すために使用されます。

   class ImageData
   {
       public string? ImagePath { get; set; }
       public string? Label { get; set; }
   }
   

   ImageData には、次のプロパティが含まれています。

   • ImagePath は、イメージが格納される完全修飾パスです。
   • Label は、画像が属するカテゴリです。 これは予測する値です。

3. 入力データと出力データのクラスを作成します。

   1. ImageData クラスの下で、ModelInput という新しいクラスで入力データのスキーマを定義します。

      class ModelInput
      {
          public byte[]? Image { get; set; }
          public uint LabelAsKey { get; set; }
          public string? ImagePath { get; set; }
          public string? Label { get; set; }
      }
      

      ModelInput には、次のプロパティが含まれています。

      • Image は、イメージの byte[] 表現です。 モデルでは、トレーニング用に画像データがこの種類であることが想定されています。
      • LabelAsKey は、 Labelの数値表現です。
      • ImagePath は、イメージが格納される完全修飾パスです。
      • Label は、画像が属するカテゴリです。 これは予測する値です。

      モデルのトレーニングと予測には、 Image と LabelAsKey のみが使用されます。 ImagePathプロパティとLabelプロパティは、元のイメージ ファイル名とカテゴリにアクセスするために保持されます。

   2. 次に、 ModelInput クラスの下で、 ModelOutput という新しいクラスで出力データのスキーマを定義します。

      class ModelOutput
      {
          public string? ImagePath { get; set; }
          public string? Label { get; set; }
          public string? PredictedLabel { get; set; }
      }
      

      ModelOutput には、次のプロパティが含まれています。

      • ImagePath は、イメージが格納される完全修飾パスです。
      • Label は、画像が属する元のカテゴリです。 これは予測する値です。
      • PredictedLabel は、モデルによって予測される値です。

      ModelInputと同様に、モデルによって行われた予測が含まれるため、予測を行うために必要なのはPredictedLabelだけです。 ImagePathプロパティとLabelプロパティは、元のイメージ ファイル名とカテゴリにアクセスするために保持されます。

パスの定義と変数の初期化

1. using ディレクティブの下に、次のコードを追加します。

   • 資産の場所を定義します。

   • mlContext の新しいインスタンスを使用して、変数を初期化します。

     MLContext クラスは、すべての ML.NET 操作の開始点であり、mlContext を初期化すると、モデル作成ワークフロー オブジェクト間で共有できる新しい ML.NET 環境が作成されます。 概念的には、Entity Framework の DbContext に似ています。

   var projectDirectory = Path.GetFullPath(Path.Combine(AppContext.BaseDirectory, "../../../"));
   var assetsRelativePath = Path.Combine(projectDirectory, "Assets");
   
   MLContext mlContext = new();
   

データを読み込む

データ読み込みユーティリティ メソッドを作成する

イメージは 2 つのサブディレクトリに格納されます。 データを読み込む前に、 ImageData オブジェクトの一覧に書式設定する必要があります。 これを行うには、 LoadImagesFromDirectory メソッドを作成します。

static IEnumerable<ImageData> LoadImagesFromDirectory(string folder, bool useFolderNameAsLabel = true)
{
    var files = Directory.GetFiles(folder, "*",
        searchOption: SearchOption.AllDirectories);

    foreach (var file in files)
    {
        if ((Path.GetExtension(file) != ".jpg") && (Path.GetExtension(file) != ".png"))
            continue;

        var label = Path.GetFileName(file);

        if (useFolderNameAsLabel)
            label = Directory.GetParent(file)?.Name;
        else
        {
            for (int index = 0; index < label.Length; index++)
            {
                if (!char.IsLetter(label[index]))
                {
                    label = label[..index];
                    break;
                }
            }
        }

        yield return new ImageData()
        {
            ImagePath = file,
            Label = label
        };
    }
}

LoadImagesFromDirectory メソッド:

• サブディレクトリからすべてのファイル パスを取得します。
• foreach ステートメントを使用して各ファイルを反復処理し、ファイル拡張子がサポートされていることを確認します。 画像分類 API では、JPEG 形式と PNG 形式がサポートされています。
• ファイルのラベルを取得します。 useFolderNameAsLabel パラメーターが true に設定されている場合、ファイルが保存されている親ディレクトリがラベルとして使用されます。 それ以外の場合は、ラベルがファイル名またはファイル名自体のプレフィックスであることが想定されます。
• ModelInputの新しいインスタンスを作成します。

データを準備する

MLContextの新しいインスタンスを作成する行の後に、次のコードを追加します。

IEnumerable<ImageData> images = LoadImagesFromDirectory(folder: assetsRelativePath, useFolderNameAsLabel: true);

IDataView imageData = mlContext.Data.LoadFromEnumerable(images);

IDataView shuffledData = mlContext.Data.ShuffleRows(imageData);

var preprocessingPipeline = mlContext.Transforms.Conversion.MapValueToKey(
        inputColumnName: "Label",
        outputColumnName: "LabelAsKey")
    .Append(mlContext.Transforms.LoadRawImageBytes(
        outputColumnName: "Image",
        imageFolder: assetsRelativePath,
        inputColumnName: "ImagePath"));

IDataView preProcessedData = preprocessingPipeline
                    .Fit(shuffledData)
                    .Transform(shuffledData);

TrainTestData trainSplit = mlContext.Data.TrainTestSplit(data: preProcessedData, testFraction: 0.3);
TrainTestData validationTestSplit = mlContext.Data.TrainTestSplit(trainSplit.TestSet);

IDataView trainSet = trainSplit.TrainSet;
IDataView validationSet = validationTestSplit.TrainSet;
IDataView testSet = validationTestSplit.TestSet;

前のコード:

• LoadImagesFromDirectory ユーティリティ メソッドを呼び出して、mlContext変数の初期化後にトレーニングに使用されるイメージの一覧を取得します。

• IDataView メソッドを使用して、イメージをLoadFromEnumerableに読み込みます。

• ShuffleRows メソッドを使用してデータをシャッフルします。 データは、ディレクトリから読み取られた順序で読み込まれます。 シャッフルはバランスを取るために実行されます。

• トレーニングの前にデータに対していくつかの前処理を実行します。 これは、機械学習モデルでは入力が数値形式であることが想定されているためです。 前処理コードは、EstimatorChainとMapValueToKey変換で構成されるLoadRawImageBytesを作成します。 MapValueToKey変換は、Label列のカテゴリ値を受け取り、数値KeyType値に変換し、LabelAsKeyという新しい列に格納します。 LoadImagesは、トレーニング用の画像を読み込むための ImagePath パラメーターと共に、imageFolder列の値を受け取ります。

• Fit メソッドを使用してデータをpreprocessingPipelineEstimatorChainに適用し、その後に前処理されたデータを含むTransformを返すIDataView メソッドを使用します。

• データをトレーニング、検証、およびテスト セットに分割します。

  モデルをトレーニングするには、トレーニング データセットと検証データセットを用意することが重要です。 モデルはトレーニング セットでトレーニングされます。 見えないデータに対する予測がどの程度適切に行われるかは、検証セットに対するパフォーマンスによって測定されます。 そのパフォーマンスの結果に基づいて、モデルは改善のために学習した内容に調整を加えます。 検証セットは、元のデータセットを分割するか、この目的のために既に確保されている別のソースから取得できます。

  このコード サンプルでは、2 つの分割を実行します。 まず、前処理されたデータが分割され、70% がトレーニングに使用され、残りの 30% が検証に使用されます。 次に、30% 検証セットをさらに検証セットに分割し、90% を検証に使用し、10 個の% をテストに使用します。

  これらのデータ パーティションの目的について考える 1 つの方法は、試験を受けることです。 試験を勉強するときは、ノート、書籍、またはその他のリソースを確認して、試験の概念を把握します。 これが列車セットの目的です。 その後、知識を検証するためにモック試験を受ける場合があります。 ここで、検証セットが役立ちます。 実際の試験を受ける前に、概念を十分に把握しているかどうかを確認する必要があります。 これらの結果に基づいて、間違ったことやよく理解できなかったことをメモし、実際の試験を見直す際に変更を組み込みます。 最後に、試験を受けます。 これがテスト セットの用途です。 試験中の質問を見たことがないので、トレーニングと検証から学んだことを使用して、目の前のタスクに知識を適用します。

• トレーニング、検証、およびテスト データのそれぞれの値をパーティションに割り当てます。

トレーニング パイプラインを定義する

モデル トレーニングは、2 つの手順で構成されます。 まず、画像分類 API を使用してモデルをトレーニングします。 次に、 PredictedLabel 列のエンコードされたラベルは、 MapKeyToValue 変換を使用して元のカテゴリ値に変換されます。

var classifierOptions = new ImageClassificationTrainer.Options()
{
    FeatureColumnName = "Image",
    LabelColumnName = "LabelAsKey",
    ValidationSet = validationSet,
    Arch = ImageClassificationTrainer.Architecture.ResnetV2101,
    MetricsCallback = (metrics) => Console.WriteLine(metrics),
    TestOnTrainSet = false,
    ReuseTrainSetBottleneckCachedValues = true,
    ReuseValidationSetBottleneckCachedValues = true
};

var trainingPipeline = mlContext.MulticlassClassification.Trainers.ImageClassification(classifierOptions)
    .Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel"));

ITransformer trainedModel = trainingPipeline.Fit(trainSet);

前のコード:

• ImageClassificationTrainerの必須パラメーターと省略可能なパラメーターのセットを格納する新しい変数を作成します。 ImageClassificationTrainerは、いくつかの省略可能なパラメーターを受け取ります。

  • FeatureColumnName は、モデルの入力として使用される列です。
  • LabelColumnName は、予測する値の列です。
  • ValidationSet は、検証データを含む IDataView です。
  • Arch は、使用する事前トレーニング済みモデル アーキテクチャを定義します。 このチュートリアルでは、ResNetv2 モデルの 101 層バリアントを使用します。
  • MetricsCallback は、トレーニング中の進行状況を追跡する関数をバインドします。
  • TestOnTrainSet は、検証セットが存在しない場合にトレーニング セットに対するパフォーマンスを測定するようにモデルに指示します。
  • ReuseTrainSetBottleneckCachedValues は、後続の実行でボトルネックフェーズからキャッシュされた値を使用するかどうかをモデルに指示します。 ボトルネックフェーズは 1 回限りのパススルー計算であり、初回実行時に計算負荷が高くなります。 トレーニング データが変化せず、異なる数のエポックまたはバッチ サイズを使用して実験する場合、キャッシュされた値を使用すると、モデルのトレーニングに必要な時間が大幅に短縮されます。
  • ReuseValidationSetBottleneckCachedValues は ReuseTrainSetBottleneckCachedValues に似ていますが、この場合は検証データセット用です。

• EstimatorChainとmapLabelEstimatorの両方で構成されるImageClassificationTrainerトレーニング パイプラインを定義します。

• Fitメソッドを使用してモデルをトレーニングします。

モデルを使用する

モデルをトレーニングしたので、それを使用して画像を分類します。

OutputPredictionという新しいユーティリティ メソッドを作成して、予測情報をコンソールに表示します。

static void OutputPrediction(ModelOutput prediction)
{
    string? imageName = Path.GetFileName(prediction.ImagePath);
    Console.WriteLine($"Image: {imageName} | Actual Value: {prediction.Label} | Predicted Value: {prediction.PredictedLabel}");
}

1 つの画像を分類する

1. ClassifySingleImageというメソッドを作成して、単一の画像予測を作成して出力します。

   static void ClassifySingleImage(MLContext mlContext, IDataView data, ITransformer trainedModel)
   {
       PredictionEngine<ModelInput, ModelOutput> predictionEngine = mlContext.Model.CreatePredictionEngine<ModelInput, ModelOutput>(trainedModel);
   
       ModelInput image = mlContext.Data.CreateEnumerable<ModelInput>(data, reuseRowObject: true).First();
   
       ModelOutput prediction = predictionEngine.Predict(image);
   
       Console.WriteLine("Classifying single image");
       OutputPrediction(prediction);
   }
   

   ClassifySingleImage メソッド:

   • PredictionEngine メソッド内にClassifySingleImageを作成します。 PredictionEngineは、データの単一インスタンスに渡して予測を実行できる便利な API です。
   • 1 つのModelInput インスタンスにアクセスするには、data メソッドを使用してIDataViewIEnumerableをCreateEnumerableに変換し、最初の観測値を取得します。
   • Predictメソッドを使用して画像を分類します。
   • OutputPrediction メソッドを使用して、予測をコンソールに出力します。

2. イメージのテスト セットを使用してClassifySingleImage メソッドを呼び出した後、Fitを呼び出します。

   ClassifySingleImage(mlContext, testSet, trainedModel);
   

複数の画像を分類する

1. ClassifyImagesというメソッドを作成して、複数の画像予測を作成して出力します。

   static void ClassifyImages(MLContext mlContext, IDataView data, ITransformer trainedModel)
   {
       IDataView predictionData = trainedModel.Transform(data);
   
       IEnumerable<ModelOutput> predictions = mlContext.Data.CreateEnumerable<ModelOutput>(predictionData, reuseRowObject: true).Take(10);
   
       Console.WriteLine("Classifying multiple images");
       foreach (var prediction in predictions)
       {
           OutputPrediction(prediction);
       }
   }
   

   ClassifyImages メソッド:

   • IDataView メソッドを使用して、予測を含むTransformを作成します。
   • 予測を反復処理するために、predictionData メソッドを使用してIDataViewIEnumerableをCreateEnumerableに変換し、最初の 10 個の観測値を取得します。
   • 予測の元のラベルと予測されたラベルを反復処理して出力します。

2. イメージのテスト セットを使用してClassifyImages メソッドを呼び出した後、ClassifySingleImage()を呼び出します。

   ClassifyImages(mlContext, testSet, trainedModel);
   

アプリケーションを実行する

コンソール アプリを実行します。 出力は次の出力のようになります。

ボトルネックフェーズ

イメージは byte[] として読み込まれるため、イメージ名の値は出力されません。そのため、表示するイメージ名はありません。

Phase: Bottleneck Computation, Dataset used:      Train, Image Index: 279
Phase: Bottleneck Computation, Dataset used:      Train, Image Index: 280
Phase: Bottleneck Computation, Dataset used: Validation, Image Index:   1
Phase: Bottleneck Computation, Dataset used: Validation, Image Index:   2

トレーニング フェーズ

Phase: Training, Dataset used: Validation, Batch Processed Count:   6, Epoch:  21, Accuracy:  0.6797619
Phase: Training, Dataset used: Validation, Batch Processed Count:   6, Epoch:  22, Accuracy:  0.7642857
Phase: Training, Dataset used: Validation, Batch Processed Count:   6, Epoch:  23, Accuracy:  0.7916667

画像の出力を分類する

Classifying single image
Image: 7001-220.jpg | Actual Value: UD | Predicted Value: UD

Classifying multiple images
Image: 7001-220.jpg | Actual Value: UD | Predicted Value: UD
Image: 7001-163.jpg | Actual Value: UD | Predicted Value: UD
Image: 7001-210.jpg | Actual Value: UD | Predicted Value: UD

7001-220.jpg 画像の検査時に、モデルが予測したように割れないことを確認できます。

おめでとうございます! これで、画像を分類するためのディープ ラーニング モデルが正常に構築されました。

モデルを改善する

モデルの結果に満足できない場合は、次の方法を試してパフォーマンスを向上させることができます。

• その他のデータ: モデルが学習する例が多いほど、パフォーマンスが向上します。 完全な SDNET2018 データセット をダウンロードし、それを使用してトレーニングします。
• データを拡張する: データに多様性を追加する一般的な手法は、画像を取得し、さまざまな変換 (回転、反転、シフト、トリミング) を適用してデータを拡張することです。 これにより、モデルの学習にさまざまな例が追加されます。
• トレーニング時間を長くする: トレーニング時間が長いほど、モデルのチューニングが増えます。 エポックの数を増やすと、モデルのパフォーマンスが向上する可能性があります。
• ハイパー パラメーターを試す: このチュートリアルで使用するパラメーターに加えて、他のパラメーターを調整してパフォーマンスを向上させることができます。 学習率を変更すると、各エポックの後にモデルに対して行われる更新の大きさが決まるため、パフォーマンスが向上する可能性があります。
• 別のモデル アーキテクチャを使用する: データの外観によっては、その特徴を最もよく学習できるモデルが異なる場合があります。 モデルのパフォーマンスに満足できない場合は、アーキテクチャを変更してみてください。

次のステップ

このチュートリアルでは、転移学習、事前トレーニング済みの画像分類 TensorFlow モデル、および ML.NET 画像分類 API を使用してカスタムディープ ラーニング モデルを構築し、コンクリートサーフェスの画像を割れた、または割れていないものとして分類する方法について説明しました。

詳細については、次のチュートリアルに進んでください。

こちらも参照ください

• サンプル: ML.NET と TensorFlow を使用してディープ ラーニング画像分類モデルをトレーニングする