コンテンツにスキップ
ステージングサーバー
開発サーバー

Instance Segmentation vTool#

Instance Segmentation vToolは、選択したモデルに基づいて、画像内のオブジェクトをピクセル単位で分類します。つまり、オブジェクトを検出し、各ピクセルをオブジェクトクラスに関連付けます。

Instance Segmentation vToolは、Image入力ピン経由で受け取った画像のオブジェクトを分類できます。結果は、InferenceImage、Regions、Classes、BBoxes_px、Scoresの各出力ピンから出力されます。

検出された各オブジェクトの周囲にはバウンディングボックスが描画されます。Semantic Segmentation vToolとは異なり、インスタンスセグメンテーションでは、同じクラスの個々のインスタンスをセグメント化できます。

セグメンテーションの前にROI Creator vToolを使用して関心領域を指定した場合、Instance Segmentation vToolはそのRoi入力ピン経由でROIデータを受け取ります。その場合、セグメンテーションは関心領域に対してのみ実行されます。これにより、副次的な効果として処理が高速化されます。

Instance Segmentation vToolのライセンスを購入するには、Baslerウェブサイトをご覧ください。

Instance Segmentation vTool

仕組み#

画像に対してインスタンスセグメンテーションを実行し、背景からだけでなく相互にも区別して、各人物を個別に識別してセグメント化する場合を想定します。

これは、6人の子どもと背景の山岳風景を示す入力画像です：

6人の子どもと背景の山岳風景を示す入力画像

画像内のオブジェクトの個々のインスタンス（この場合は人物）を識別して分離することでインスタンスセグメンテーションを実行するようにトレーニングされたモデルを読み込んで、vToolを設定します。

Instance Segmentation用バンドルが選択されています

次に、検出してセグメント化するクラスを選択できます。モデルによっては、お客様の用途に合わせて正確に調整されている場合があります。その場合、目的のクラスはすべてすでに選択されています。

[Select Classes]ダイアログ

vToolを設定した後、推論プロセスを開始するレシピを実行します。vToolはこのモデルを使用して画像を分析し、存在するオブジェクトをセグメント化します。分析が完了すると、セグメンテーション結果が返されます。これには、画像内で検出された各個別のインスタンスのセグメント化された領域、バウンディングボックス、ラベルが含まれます。

これはピンデータビューでの結果画像です：

結果がハイライト表示されたInstance Segmentation

6人の人物が特定され、人物としてセグメント化されました。セグメント化された領域は、個々のインスタンスを区別するために色分けされています。

詳細な出力

  • Regions：6つの領域が検出されました。画像内の各オブジェクトインスタンスが個別の領域としてハイライト表示されます。これらの領域は互いにおよび背景から分離されているため、各オブジェクトを明確に識別できます。
  • Class：person
    クラスラベルpersonは、モデルがバウンディングボックス内のオブジェクトを人物として識別したことを示します。
  • バウンディングボックス：バウンディングボックスは、検出されたオブジェクトの周囲に描画される長方形です。各バウンディングボックスについて、中心ピクセル、幅、高さ、回転が出力されます。
  • スコア：スコア値（例：0.915855）は、検出に対するモデルの確信度を示します（例：91.58%）。1.0に近い高スコアほど、検出されたオブジェクトが実際に人物であるという確信度が高いことを示します。

vToolの設定#

Instance Segmentation vToolの設定方法：

Instance Segmentation vToolの設定

  1. vTool SettingsエリアのRecipe Managementペインで、Open Settingsをクリックするか、vToolをダブルクリックします。
    Instance Segmentationダイアログが開きます。
  2. ペインの サーバーの選択 エリアで、接続するサーバーを選択します。
    接続するには、サーバーが実行されている必要があります。
    • オプション1：Triton Inference ServerのIPアドレスとポートを手動で入力します。
    • オプション2：ドロップダウンリストからサーバーのIPアドレス / ホスト名とポートを選択します。
  3. Connectをクリックして接続を確立します。
    その後、vToolによって利用可能なモデルがロードされます。
  4. ペインの モデルの選択 エリアで、ドロップダウンリストから目的のモデルが含まれるバンドルを選択します。
    バンドルを選択すると、ドロップダウンリストの下部にバンドルの詳細情報が入力され、正しいバンドルを選択したかどうかを確認できます。
    モデル選択エリア
  5. 目的のバンドルが表示されない場合は、次をクリックします 新しいモデルのデプロイ ドロップダウンリストで。
    新しいモデルのデプロイ
    これにより、次が開きます pylon AI Agent さらにモデルをデプロイできるようになります。
    新しいモデルをデプロイした後は、次をクリックする必要があります 更新 ボタン。

  6. Detection Settingsエリアで、Select Classesをクリックして、分類するクラスを選択します。
    利用可能なクラスが表示されたダイアログが開きます。デフォルトでは、すべてのクラスが選択されています。必要な数のクラスを選択できます。

    情報

    このエリアで使用できるパラメータは、選択したモデルによって異なります。一部のパラメータは、特定のモデルを選択した後にのみ使用できるようになります（例：NMS IOU Threshold）。デフォルト値はモデルによって提供されます。

  7. 検出設定で他のオプションを指定します。

    1. Number of objects:検出するオブジェクトの最大数を指定するか、Unlimitedを選択できます。
      この制限は各クラスに個別に適用されます。指定された数よりも多くのオブジェクトが画像内に存在する場合、スコアが最も高い一致が検出されます。
    2. Maximum/Minimum height:高さでバウンディングボックスをフィルタリングする場合に適切な値を指定します。バウンディングボックスの高さはオブジェクトの高さに対応するため、希望するサイズのオブジェクトのみを検出できるようになります。
    3. Maximum/Minimum width:幅でバウンディングボックスをフィルタリングする場合に適切な値を指定します。バウンディングボックスの高さはオブジェクトの幅に対応するため、希望するサイズのオブジェクトのみを検出できるようになります。
    4. Confidence threshold:Confidenceは、画像内のオブジェクトが選択されたクラスをどの程度代表しているかを示すニューラルネットワーク用の係数です。値が高いほど信頼性が高くなり、誤検出が減少します。
    5. NMS IOU Threshold: バウンディングボックスが重なる場合があります。このパラメータを使用すると、バウンディングボックスを統合するかどうかを制御できます。値が低いほど許容度が低くなり、ほとんどのバウンディングボックスが統合されます。

  8. OKをクリックします。

ピンデータビューでセグメンテーションの結果を表示できます。ここでは、表示する出力を選択できます。

入力#

画像#

Camera vToolから、またはImage Format ConvertervToolなどの画像を出力するvToolから、直接画像を受け入れます。

  • データ型：Image
  • 画像形式：8ビットから16ビットのカラー画像

Roi#

ROI Creator vToolまたは長方形を出力するその他のvToolからROI（関心領域）を受け入れます。複数の長方形が入力された場合は、最初の長方形が単一のROIとして使用されます。

  • データ型：RectangleF、RectangleF Array

出力#

vToolをStarter vToolsで使用する場合、出力ピンのデータ型を複数値データから単一値データに切り替えることができます。これを行うには、 [機能 - すべての]ペインの[データ型セレクタ]パラメーターを使用します。

InferenceImage#

入力画像ごとに検出されたオブジェクトの周囲に境界ボックスを描画した画像を返します。これにより、結果を視覚化できます。

  • データ型：Image

領域#

クラスラベルごとに領域を返します。

  • データ型：Region Array

クラス#

検出されたオブジェクトのクラスラベルを返します。

  • データ型：String Array

BBoxes_px#

検出されたオブジェクトごとにバウンディングボックスを返します。各バウンディングボックスは、中心ピクセルの座標、幅、高さ（x_center、y_center、width、height）で定義されます。出力されたバウンディングボックスは、他のvToolsのRoi入力ピンへの入力として使用できます。

  • データ型：RectangleF Array

スコア#

予測された各クラスの信頼度スコアを返します。

  • データ型：Float Array

ペイロード#

評価用にインファレンスサーバーのパフォーマンスに関する追加情報を返します。この出力ピンは、Debug Settingsパラメータグループ内のFeatures - Allペインで有効にした場合にのみ使用可能になります。

  • データタイプ：文字列

典型的な先行機#

典型的な後継機#