pylon AIの紹介#

pylon AIは、ディープラーニング（DL）技術を使用して画像解析タスクを実行できる一連のツールを提供します。

pylon vToolsを使用して作成されたビジョンアプリケーションに高度なディープラーニングモデルを組み込むことで、pylon AIは従来の画像処理手法の限界を超える複雑な画像解析の課題を解決できます。一般的なタスクには、オブジェクト検出、分類、インスタンスおよびSemantic Segmentationなどがあります。

仕組み#

このトピックでは、pylon AIがいかにディープラーニングの作業を簡素化し、そのコンポーネントや機能がpylonエコシステムにどのように組み込まれているかについて説明します。

pylon AI vToolsは、pylon Workbenchで使用できる標準のvToolsと連携して動作するように設計されています。この統合により、従来の画像処理技術と最先端のAI機能の強みを活かした、直感的な画像解析アプローチが可能になります。

pylon AIを使用するメリット#

• 最小限の開発工数: pylon AI platformを使用してAIモデルを自由に選択し、さまざまな処理ハードウェア向けに最適化できます。これにより、特定のアプリケーションのハードウェアでどのバージョンのモデルが最もパフォーマンスを発揮するかを確認できます。プログラミングは不要です。マシンビジョンタスク向けにモデルを最適化したら、コードをエクスポートしてアプリケーションコードに追加できます。
• 簡単なデプロイ: pylon Workbenchで構築したアプリケーションへのDLモデルの統合を簡素化し、時間と複雑さを軽減します。
• ハードウェアの最適化: 特定のハードウェアベンダー向けにモデルを調整することで、高いパフォーマンスと柔軟性を保証します。
• モデルソースの自由な選択: 業界標準のONNXフォーマットをサポートしています。つまり、PyTorch、TensorFlow、NVIDIA TAOなどのモデルのトレーニングや構築に使用するフレームワークを自由に選択できます。ONNXのサポートにより、pylon AIはこれらすべてと互換性があります。
• 統一されたエコシステム: pylon AIはpylon Software Suiteにシームレスに統合されているため、画像の取得、処理、解析をすべて同じソフトウェア環境内で実行できます。
• パートナーフレンドリーな戦略: 包括的なソリューションのためにコラボレーションを活用します。
• 高度なイメージングインテリジェンス: カメラパラメータを最適化して、pylon Workbench内でDLベースのアプリケーションの効果を最大化します。
• 優れたパフォーマンスと信頼性: 堅牢な意思決定のための、正確でエラーのない画像解析結果。

詳細については、Baslerウェブサイトをご覧ください。

サポートされているモデルアーキテクチャ#

画像解析タスクを達成するための最初のステップは、適切なディープラーニング（DL）モデルを選択することです。pylon AIは、対応するAI vToolで使用できる、特に分類、オブジェクト検出、およびセグメンテーションタスク向けのさまざまなモデルアーキテクチャをネイティブでサポートしています。

以下は、pylon AIでネイティブに動作する現在利用可能なモデルのリストです。他のモデルが必要な場合は、Baslerにお気軽にお問い合わせいただき、必要なモデルをごリクエストください。

• 分類
  • ResNet50
    モデルライセンス: Apache 2.0
    モデルプロバイダー: MMPretrain
    https://mmpretrain.readthedocs.io/en/latest/papers/resnet.html
  • MobileNetv3
    モデルライセンス: Apache 2.0
    モデルプロバイダー: MMPretrain
    https://mmpretrain.readthedocs.io/en/latest/papers/mobilenet_v3.html
• オブジェクトの検出
  • YoloX
    モデルライセンス: Apache 2.0
    モデルプロバイダー: MMDetection
    https://github.com/open-mmlab/mmdetection/tree/main/configs/yolox
  • RetinaNet
    モデルライセンス: カスタムNVIDIAライセンス
    モデルプロバイダー: NVIDIA TAO
    https://docs.nvidia.com/tao/tao-toolkit/text/cv_finetuning/tensorflow_1/object_detection/retinanet.html
  • YOLO v8
    モデルライセンス: AGPL 3.0 (コピーレフト)
    モデルプロバイダー: Ultralytics
    https://docs.ultralytics.com/tasks/detect/
  • YOLO v4
    モデルライセンス: YOLO
    モデルプロバイダー: Darknet
    https://github.com/AlexeyAB/darknet
• Instance Segmentation
  • YOLO v8-seg
    モデルライセンス: AGPL 3.0 (コピーレフト)
    モデルプロバイダー: Ultralytics
    https://docs.ultralytics.com/tasks/segment/
• Semantic Segmentation
  • SegFormer
    モデルライセンス: CC-BY-NC-SA-4.0 (コピーレフト)
    モデルプロバイダー: NVIDIA TAO
    https://docs.nvidia.com/tao/archive/5.3.0/text/model_zoo/cv_models/peoplesemsegformer.html
• Anomaly Detection
  Anomaly Detectionモデルは、Basler Technical Supportへのご要望に応じて提供されます。これにより、Baslerはお客様の特定の用途にモデルを完全に適合させることができます。

その他のアーキテクチャも、近日中またはご要望に応じて追加される予定です。

モデルを選択したら、特定の画像パターンを認識・分析できるようにトレーニングを行う必要があります。現在、pylon AI自体にはトレーニング機能はありません。

適切なトレーニングツールのリストは以下の通りです。

• Microsoft Azure Machine Learning
• NVIDIA TAO
• Amazon Sagemaker

pylon AIで使用するには、シームレスな統合と互換性を確保するために、すべてのモデルがONNXフォーマットで利用可能である必要があります。ONNXは業界標準のフォーマットであるため、トレーニングツールを選択する際の自由度が大幅に向上します。

pylon AIコンポーネントの概要#

次の画像は、pylon Software Suiteのコンテキストにおけるpylon AIコンポーネントを示しています。

pylon AI Platform#

pylon AI Platformは、DLモデルのライフサイクルを管理するための中央ハブとして機能するWebアプリケーションです。各AI vTool向けにさまざまなマシンビジョンプロジェクトを提供するほか、独自のプロジェクトを作成することもできます。

AI Platformを使用することで、ベンチマークやバンドル作成を含め、独自のモデルの開発と最適化を行うことができます。モデルのパフォーマンスに満足したら、バンドル形式でリリースし、pylon AI Agentを使用してAI vToolsにデプロイすることができます。バンドルには、最適なパフォーマンスを確保するためのハードウェア構成、モデルなどの必要なすべての情報が含まれています。

pylon AI Agent#

バンドルをリリースしたら、pylon AI Agentを介してアクセスできます。pylon AI Agentは、AI PlatformとAI vToolsをつなぐリンクです。AI Agentは、モデルの管理や、推論プロセスを処理するTriton Inference Serverへのモデルのデプロイを支援します。

Triton Inference Server#

Triton Inference Serverは推論プロセスを処理します。ディープラーニングの文脈において、推論とは、トレーニング済みのモデルを新しく未知のデータに適用し、その内容について予測を行うことを意味します。

Triton Inference Serverは、さまざまな処理ハードウェア間でAIモデルのデプロイと実行を標準化するオープンソースソフトウェアです。さまざまなフレームワーク（TensorFlow、PyTorch、ONNXなど）やハードウェア（GPU、CPUなど）にわたって推論のための統一されたインターフェースを提供することで、AIモデルのデプロイを簡素化します。複数のGPUまたはCPUにわたる効率的な推論が可能です。さらに、ダイナミックバッチング機能を提供します。つまり、バッチサイズを動的に最適化するため、スループットとリソース利用率が向上します。

Triton Inference Serverは、pylon AI用のpylon Supplementary Packageを使用して個別にインストールする必要があります。パッケージはBaslerのウェブサイトからダウンロードできます。

pylon AI vTools#

pylon AI vToolsは、Baslerの標準的なvToolポートフォリオを補完するものであり、pylon ViewerのWorkbench内でシームレスに連携するように設計されています。これらはさまざまな用途をカバーしています。最新のリストについては、pylon AI vToolsセクションをご覧ください。

vToolsの使用に関する一般的な情報については、Working with Recipes、Recipe Management、およびRecipe Code Generatorをご覧ください。