Geometric Pattern Matching vTool#

The Geometric Pattern Matching vTool allows you to detect objects in images based on their edges using a taught pattern.

It is best suited for detecting objects with sharp edges and larger objects because edge-based matching needs very few processing time and memory.

Geometric Pattern Matching vToolは、Image入力ピンを介して画像を受け入れ、出力ピンを介して検出された一致に関する情報を出力します。

また、アライメント変換データを出力することで、Image Alignment vToolが入力画像を、マッチング中に使用した参照画像に位置合わせできます。これにより、Measurements vToolが参照画像とは異なる位置にあるオブジェクトを測定できます。

ROI Creator vToolを使用して関心領域を指定する場合、Geometric Pattern Matching vToolがROI入力ピンを介してROIデータを受け入れます。この場合、オブジェクトはマッチングモデルのデフォルトの基準点が関心領域内にある場合にのみ検出されます。

関心領域は、その特定領域内のオブジェクトにフォーカスを合わせたり、誤った候補を除外したり、処理時間を短縮したりするために使用できます。

Calibration vToolによって提供される変換データを使用して、一致の位置をメートル単位のワールド座標で出力できます（Positions_m出力ピンが使用可能になります）。これを行うには、Calibration vToolをマッチングの前に使用し、両方のvToolsの変換出力／入力ピンを接続します。

Geometric Pattern Matchingバージョン#

Geometric Pattern Matching vToolには2つのバージョンがあります。次の表にバージョン間の違いを示します。表見出しのバージョンをクリックすると、このトピックの関連セクションに直接ジャンプします。

仕組み#

パターンを定義して入力画像に適用することで、一致に関する次の情報を収集できます。

• マッチングスコア
• 位置
• 方向
• 垂直および水平スケーリング係数（vToolのProバージョンでのみ使用可能）
• 一致の視覚化を含む領域

パターン定義#

パターンマッチングの最初の手順は、アプリケーションによって検出されるオブジェクトの代表的な画像に基づくモデルのティーチングです。このティーチング画像では、いずれかのペンを使用して目的のパターンをマークして、それをティーチングします。アプリケーションはこのモデルを使用し、本番環境で一致するパターンを検出します。パターンはエッジによって形成されます。

基準点の使用#

マークしたパターンに基準点を表示することもできます。デフォルトでは、基準点はパターンの重心に配置されます。ほとんどのアプリケーションで、これはうまく機能します。

ただし、必要に応じて、基準点を別の位置に移動できます。一例は、ロボットピッキングアプリケーションです。そのシナリオでは、ロボットのグリッパーと、ピックするオブジェクトの形状を考慮して、ビジョンシステムがロボットのグリッピング位置を決定する必要があります。ここでは、これらの両方の側面に対応するように、基準点を適切に配置できます。

基準点を表示するには、まずティーチング画像にパターンをマークする必要があります。

Contrast#

Contrast設定とは、パターンのエッジのコントラストを指します。コントラストを低く設定すると、関連するすべてのモデルのエッジが検出されます。一方、コントラストを十分高く設定すると、ノイズの多いエッジや不要なエッジを除外します。ほとんどの場合、[Contrast Auto]を有効にすると、良好な結果が得られます。有効な場合、vToolが適切なコントラストを決定します。

コントラストはモデルに含まれます。ここで変更を行う場合は、モデルを再ティーチングする必要があります。

Scaling#

スケーリングオプションは、検索画像にあるモデルとオブジェクトの間のサイズの許容範囲を定義します。

ノースケーリング、等方性スケーリング、または異方性スケーリングの3つの異なるスケーリングオプションを使用できます。

• No scaling:カメラからオブジェクトまでの距離またはオブジェクトサイズ自体が一定の場合に、このオプションを選択します。
• Isotropic scaling:等方性スケーリングでは、カメラとオブジェクト間の距離の変化やオブジェクトサイズの変化を補正できます。
• Anisotropic scaling:異方性スケーリングは、垂直方向と水平方向の2方向でスケーリングが行われることを意味します。したがって、オブジェクトの長さと幅が異なる場合があります。このオプションは、例えば、長さと幅が異なる長方形を検出する場合に役立ちます。

スケーリング設定はモデルに含まれています。ここで変更を行う場合は、モデルを再ティーチングする必要があります。

極性#

パターンマッチングアルゴリズムは、テンプレートと検索画像内のエッジに基づいています。エッジは、隣接するエッジ点のセットです。

そのため、エッジ点は、背景と検索パターンの境界をマークします（ピクセルの明から暗、または暗から明への遷移）。エッジ点の極性は、このグレー値遷移の方向を示します。

検索画像内のエッジ点の極性に関しては、次の3つのオプションを使用できます。

• Identical：検索画像内のすべてのエッジ点の極性は、テンプレート画像と同じでなければなりません。検索画像の一部のエッジ点の極性がテンプレート画像のエッジ点と異なる場合、パターンが検出されることはありますが、スコアが低くなります。
• Identical and inverted：極性が反転されたエッジ点も検出されます。つまり、同一パターンと反転パターンが検出されます。単純な例として、円形の検出では、明るい背景に暗い円と暗い背景に明るい円のどちらも同じモデルを使用して検出されます。
• Ignore polarity：エッジ点の極性は無視されます。つまり、あらゆる極性のエッジ点が検出されます。
  例：明るい背景にグレーの円のパターンをティーチングします。その結果、明るい背景にあるグレーの円、暗い背景にある明るい円、明るい領域と暗い領域が混ざった背景にある円が検出されます。検索画像内のエッジ点が指定された最小エッジコントラストを満たすことが少なくなるため、マッチングスコアが少し下がる場合があることに注意してください。

次の表に、使用可能なさまざまな極性オプションを示します。

極性の設定	テンプレート画像	検出されるパターン
Identical
Identical and inverted
Ignore polarity

検出角度#

一部のアプリケーションでは、検出されるパターンの方向をモデルから回転できる角度を制限すると便利な場合があります。これにより、処理速度と堅牢性が向上する可能性があります。

検出角度の範囲を定義するには、次の2つのオプションがあります。

• Target：これは、パターンが検出されている間にモデルから回転できる角度です。検出するパターンの予想平均回転に基づいて値を選択します。デフォルト設定は0°です（検索画像内のパターンの方向は、モデル内のパターンと同じであると見なされます）。ばらつきを許容するには、適切な許容範囲を選択します。
• Tolerance: This option allows you to specify the tolerance of the detection angle, i.e., it defines the range of angles centered around the target angle. The default setting is 180 °, i.e., 360° rotations are allowed.

ターゲットと許容範囲の設定に基づいて、検出角度の範囲を次のように計算できます。検出角度は（ターゲット-許容範囲）から開始し、（ターゲット+許容範囲）で終了します。

Example: If you know that objects in your application may appear rotated in the range from 10° to 30°, set the target angle to 20° and the angle tolerance to 10°.

Restricting the angle is especially useful for objects with any kind of symmetry. For rectangles, set the tolerance to 90°. For circles, set the tolerance to 0°.

実行の設定#

• Matches:限られた数のオブジェクトしか発生しないアプリケーションの場合は、一致する可能性のある数を、正確にこの数に制限することをお勧めします。これにより、処理速度と堅牢性が向上します。
• Score: A score value is calculated for every match. This score indicates how closely the actual object in the image resembles the model of the pattern. For example, a score value of 0.9 says that 90 % of all model points could be matched to edges in the search image.
  To find the optimum Score setting, start with a moderate value and run some test images. Observe the output values of the Scores pin. In order to securely find a match, always set the Score option to a value lower than the scores output by the Scores pin. This is best practice and recommended to allow for some tolerance.
  Choose a score value between 50–80 % of the lowest score output values determined on the test image. In case the score is set too low, some unwanted matches may be detected as well. In that case, readjust the score value until only the intended patterns are found in the test images.
• タイムアウト：タイムクリティカルなアプリケーションの場合、タイムアウトを指定できます。タイムアウトは、例えば、ティーチングされたパターンが画像に含まれていない場合など、処理時間が変化する場合や予測できない場合に役立ちます。タイムアウトを指定すると、検出プロセスは指定されたタイムアウト後に停止し、次の画像に進みます。
  Baslerでは、タイムアウトを目的の時間制限よりも少し短く設定することを推奨しています。これは、vToolが検出プロセスを即座に停止しないためです。したがって、タイムアウトは目的の時間制限の70～80%に設定します。

キャリブレーションの使用#

結果として得られた位置の一致は、ワールド座標にメートル単位で出力することもできます。これを実現するには、Calibration vToolのTransformation出力ピンを、Geometric Pattern Matching vToolのTransformation入力ピンに接続します。

Geometric Pattern Matching vToolを設定するには、実際の処理と同じキャリブレーション構成を使用する必要があります。

一般的な使用例#

• オブジェクトのCounting：この場合、Scores出力ピンの要素数のみが関係します。
• image coordinatesでのオブジェクトのLocating：後続の処理には、Positions_pxおよびAngles_radの出力ピンを使用します。
• world coordinatesでのオブジェクトのLocating：Positions_mおよびAngles_radの出力ピンを使用して、オブジェクトの位置をロボットなどに送信し、オブジェクトを把握します。
• オブジェクトのサイズの決定：VScalingFactorsおよびHScalingFactors出力ピンを使用して、サイズまたはオブジェクト距離のばらつきを測定します。

パターンマッチング結果の一般的な例を以下に示します。

Geometric Pattern Matching Basic#

Geometric Pattern Matching Basic vToolは、画像で完全に表示されているオブジェクトのみを検出します。パターン定義中にマークされたピクセルは、パターンをティーチングするときにオブジェクトの一部を形成します。

オブジェクトの1ピクセルのみが画像の外側にある場合、オブジェクトはまったく検出されないか、誤った位置かつ低スコアで検出されます。そのため、Baslerは可能な限り小さいペンを使用することを推奨します。

オブジェクトは、ティーチングされたパターンのオブジェクトに対して、サイズがまったく同じで、カメラまでの距離が同じ位置にある必要があります。サイズ、距離、またはその両方にばらつきが予想される場合は、Geometric Pattern Matching Pro vToolを使用してください。このvToolには[Scaling]オプションがあるためです。

Positions_px出力ピンは、オブジェクトの位置を整数値で返します。サブピクセルに正確さが必要な場合は、Geometric Pattern Matching Pro vToolを使用します。

vToolの設定#

Geometric Pattern Matching Basic vToolを設定するには：

1. [vTool Settings]エリアの[Recipe Management]ペインで、[Open Settings]をクリックするか、[vTool]をダブルクリックします。
   [Geometric Pattern Matching Basic]ダイアログが開きます。
2. ティーチング画像を撮影するか、開きます。[
   Single Shot]ボタンを使用してライブ画像を取得するか、[Open Image]ボタンをクリックして既存の画像を開きます。
3. ペンを使用して、画像内の目的のパターンをマークします。
   図面を修正するには、消しゴムを使用するか、図面を完全に削除します。
4. [Model Settings: Contrast]エリアで、[Contrast]を調整し、モデルの関連するエッジを検出します。
   モデルエッジは、[Edge visualization]で選択した色とともにティーチング画像に視覚化されます。
5. Teach the matching model by clicking the Teach button on the toolbar.
6. 必要に応じて、[Show Reference Point]をクリックして基準点を表示します。
   基準点がパターンの中心に表示され、[Set Reference Point Manually]ボタンが使用可能になります。これで、基準点を目的の位置にドラッグできます。[Set Reference Point Manually]を再度クリックすると、基準点がデフォルトの位置に戻ります。
7. 必要に応じて、[Execution Settings]エリアの[Matches]設定を調整し、一致の数を最大に制限します。
8. 必要に応じて、ターゲットオブジェクトのみが見つかるように[Score]設定を調整します。
9. タイムアウトを指定する場合は、[No timeout]チェックボックスをオフにし、入力フィールドに目的のタイムアウトを入力します。

パターンマッチングの結果は、ピンデータビューで表示できます。ここで、表示する出力を選択できます。

Geometric Pattern Matching Pro#

Geometric Pattern Matching Pro vToolでは、パターン検出がきわめて柔軟です。

この[Scaling]オプションを使用すると、オブジェクトのサイズがティーチングしたパターンと異なる場合、またはカメラからオブジェクトの距離がばらつく場合に、オブジェクトが検出されたままになるようにできます。また、画像エリアでの表示が完全でないオブジェクトが検出され、一致の位置がサブピクセルの正確さで返されます。

[Polarity]オプションを使用すると、パターンエッジ点がモデルのエッジ点と同じ極性を持つ必要があるか、または異なる極性のエッジ点を持つパターンも検出するかどうかを指定できます。

検出角度オプションを使用すると、パターンの回転角度がモデルから逸脱できる程度を制限できます。

vToolの設定#

Geometric Pattern Matching Pro vToolを設定するには：

1. [vTool Settings]エリアの[Recipe Management]ペインで、[Open Settings]をクリックするか、[vTool]をダブルクリックします。
   [Geometric Pattern Matching Pro]ダイアログが開きます。
2. ティーチング画像を撮影するか、開きます。[
   Single Shot]ボタンを使用してライブ画像を取得するか、[Open Image]ボタンをクリックして既存の画像を開きます。
3. ペンを使用して、画像内の目的のパターンをマークします。
   図面を修正するには、消しゴムを使用するか、図面を完全に削除します。
4. [Model Settings]エリアで[Contrast]を調整し、モデルの関連するエッジを検出します。
   モデルエッジは、[Edge visualization]で選択した色とともにティーチング画像に視覚化されます。

5. [Model Settings]エリアで、必要に応じて次のオプションを設定します。

   • Scaling：任意のオプションを選択し、アプリケーションの必要に応じてスケーリング範囲を調整します。
   • Polarity：アプリケーションの必要に応じて任意のオプションを選択します。
   • Detection angle：アプリケーションの必要に応じて検出角度を小さくしたり調整したりします。

6. Teach the matching model by clicking the Teach button on the toolbar.

7. 必要に応じて、[Show Reference Point]をクリックして基準点を表示します。
   基準点がパターンの中心に表示され、[Set Reference Point Manually]ボタンが使用可能になります。これで、基準点を目的の位置にドラッグできます。[Set Reference Point Manually]を再度クリックすると、基準点がデフォルトの位置に戻ります。
8. 必要に応じて、[Execution Settings]エリアの[Matches]設定を調整し、一致の数を最大に制限します。
9. 必要に応じて、ターゲットオブジェクトのみが見つかるように[Score]設定を調整します。
10. タイムアウトを指定する場合は、[No timeout]チェックボックスをオフにし、入力フィールドに目的のタイムアウトを入力します。

パターンマッチングの結果は、ピンデータビューで表示できます。ここで、表示する出力を選択できます。

入力#

画像#

Camera vToolから、またはImage Format ConvertervToolなどの画像を出力するvToolから、直接画像を受け入れます。

• データ型：Image
• 画像形式：8ビット-16ビットのモノラルまたはカラー画像。カラー画像は、内部でモノラル画像に変換されます。

Roi#

領域または矩形を出力するROI Creator vToolなどのvToolから、関心領域を受け入れます。複数の矩形または領域が内部で結合されて、単一の関心領域が形成されます。

• データタイプ：RectangleF、RectangleF配列、領域、領域配列

変換#

Calibration vToolから変換データを受け入れます。

• データ型：Transformation Data

出力#

スコア#

一致のスコアを返します。

• データ型：Float Array

Positions_px#

画像座標（行/列）での一致の位置を返します。

• データ型：PointF Array

Positions_m#

ワールド座標での一致の位置をメートル単位（x/y）で返します。

• データ型：PointF Array

Angles_rad#

一致の方向をラジアンで返します。

• データ型：Float Array

VScaling係数#

一致の垂直スケーリング係数を返します。

• データ型：Float Array

HScaling係数#

一致の水平スケーリング係数を返します。

• データ型：Float Array

領域#

検出されたすべての一致の領域を返します。

• データ型：Region Array

AlignmentTf#

Image Alignment vToolが、マッチング中に使用される参照オブジェクトに、入力画像内のオブジェクトを位置合わせするために使用する変換データを返します。

• データ型：Transformation Data

関連するvTools#

典型的な先行機#

• カメラvTool
• 較正vTool

典型的な後継機#

• Measurements Basic vTool
• Circle Measurements Pro vTool
• Ellipse Measurements Pro vTool
• Line Measurements Pro vTool
• Rectangle Measurements Pro vTool