【コンピュータビジョンエンジニア】視触覚センサの画像処理・認識技術を開発

【FingerVisionについて】

FingerVisionは、カーネギーメロン大学発のロボティクススタートアップです。

独自の「視触覚センサ」をコア技術に、これまで人の感覚や熟練に頼ってきた作業の自動化に取り組んでいます。

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものなど、従来のロボットでは扱うことが難しい対象が数多くあります。FingerVisionは、ロボットに「見る」だけでなく「触れて感じる」能力を持たせることで、こうした領域への自動化を進めています。

現在は、視触覚センサやロボットハンドの開発に加え、AI・ロボット制御・システムインテグレーションまで含めたロボットシステムの開発・社会実装を行っています。

J-Startup 2023選定、CES Innovation Awards受賞など、国内外で評価を受けています。

私たちのMissionは、

「人とロボットの可能性を広げ、社会システムをアップデートする。」

このMissionの実現に向け、Physical AI時代の新たなロボティクスを社会へ届けていきます。

FingerVision Website

https://www.fingervision.jp/about

【FingerVisionの技術】

FingerVisionのコア技術である「視触覚センサ」は、カメラによる画像処理と触覚センシングを組み合わせた技術です。

ロボットが物体に触れた際の、接触位置、力のかかり方、滑り、変形などを捉えることで、対象物の状態に応じてロボットの動作を調整することができます。

これにより、柔らかい食品や傷つきやすい製品、不定形物など、従来のロボットでは扱うことが難しかった対象への応用が可能になります。

さらに、AIが実世界を理解し動作するPhysical AIの発展において、物体との接触から得られる情報は重要なデータとなります。

FingerVisionは、視触覚センシングを起点に、AI・ロボット制御・ロボットハンドを組み合わせた次世代ロボティクスの実現を目指しています。

■ このポジションについて

カメラで捉えた「触覚」を、ロボットが理解できる情報へ変換する仕事です。

FingerVisionの視触覚センサは、ロボットが物体に触れたときに生じる変化をカメラで捉え、接触状態や滑り、力のかかり方などを認識する技術です。

このポジションでは、視触覚センサや外部カメラから取得した画像を処理し、ロボットが周囲や接触状態を理解し、次の動作を決めるために必要な情報へ変換する画像処理・認識技術を開発していただきます。

扱う領域は、特徴点追跡などの従来型の画像処理から、深層学習を用いた物体認識・セグメンテーションまで幅広く、さらにGPUを用いた高速化や組み込み環境への実装にも関わります。

画像認識の精度だけを追求するのではなく、実際のロボット上でリアルタイムに動き、ロボットの動作につながるところまでつくることが、このポジションの特徴です。

■ 募集背景

FingerVisionでは、視触覚センサを核としたロボットシステムの研究開発・製品化・社会実装を進めています。

視触覚センサでは、カメラから得られる画像をどのように処理し、

• どこに接触しているのか
• どの方向に力がかかっているのか
• 物体が滑っていないか
• 対象物がどのような状態にあるのか

といった情報へ変換できるかが、ロボットの性能を大きく左右します。

さらに今後、Physical AIやロボット学習との連携を進めるためには、視触覚センサから得られる情報をより高精度・高速・安定的に取得する技術が重要になります。

そこで、FingerVisionのコア技術であるコンピュータビジョン領域の研究開発と製品への実装を主導できるエンジニアを募集します。

■ 仕事内容

視触覚センサの画像処理・認識技術の開発

視触覚センサから取得した画像をもとに、接触状態を認識するためのアルゴリズムを開発します。

• 視触覚センサの画像処理アルゴリズムの設計・開発
• 特徴点の検出・追跡
• 接触状態・変形・滑り等の推定
• センサデータの解析
• 画像処理精度・安定性の評価
• 実機評価をもとにしたアルゴリズム改善

深層学習を用いた画像認識

外部カメラや視触覚センサの画像に対し、深層学習を活用した認識技術を開発します。

• 物体認識
• セグメンテーション
• クラス分類
• 異常検知
• 学習データの設計・整備
• モデルの学習・評価・改善

深層学習だけでなく、従来型の画像処理も組み合わせ、課題に応じて最適な手法を選択します。

外部カメラを用いた環境認識

視触覚センサだけではなく、ロボット周辺に設置されたカメラから取得する画像も扱います。

• 対象物の検出・認識
• 位置・姿勢の推定
• ロボットの動作生成に必要な情報の抽出
• 視触覚情報と外部カメラ情報の組み合わせ

処理の高速化・実機への実装

研究用のアルゴリズムで終わらせず、実際の製品・ロボット上で安定して動作する状態までつくります。

• GPUを用いた画像処理の高速化
• リアルタイム処理の最適化
• 組み込み環境への実装
• 処理速度・計算量・精度の調整
• 実機上での動作確認・改善

ロボットシステムへの統合

画像処理で得られた情報を、実際のロボット動作につなげます。

• ロボットシステムエンジニアとの連携
• センサ情報とロボット制御の接続
• ROS / ROS2等を用いたシステムとの連携
• 実機を使った検証
• 顧客現場や実証実験で得られた課題の改善

■ 必須スキル・経験

• 深層学習を用いたコンピュータビジョンの開発経験セグメンテーション、画像分類、物体認識、異常検知など
• 深層学習だけに依存しない、従来型の画像処理・コンピュータビジョンの知識・実装経験
• OpenCVを用いた画像処理の実装経験
• PyTorch、TensorFlow等を用いた深層学習モデルの開発経験
• C++を用いた開発経験
• Pythonを用いた開発経験

■ 歓迎スキル・経験

• ROS / ROS2を用いたロボットシステム開発経験
• GPUを用いた画像処理・深層学習処理の高速化経験
• 組み込みシステム上での画像処理実装経験
• カメラ・センサを用いたリアルタイム処理の経験
• 画像処理を用いたロボット制御・ロボット学習の経験
• 3次元認識・位置姿勢推定に関する経験
• センサフュージョンに関する経験
• 産業用・協働ロボットを用いた開発経験
• 研究成果や論文をもとにアルゴリズムを実装・検証した経験
• 実環境で取得したデータを用いて画像認識システムを改善した経験

■ 求める人物像

• 画像認識の精度だけでなく、実際のロボットで使えるところまでつくりたい方
• 深層学習と従来型の画像処理を、課題に応じて使い分けられる方
• 実機で起きている現象を観察し、原因を考えながら改善できる方
• アルゴリズムだけでなく、処理速度や実装環境にも関心を持てる方
• ロボットシステムやハードウェアのエンジニアと協力して開発できる方
• まだ正解が確立されていない技術課題に取り組むことを楽しめる方
• 技術を研究で終わらせず、製品や社会実装につなげたい方

■ このポジションの魅力

1. FingerVisionのコア技術そのものを開発できる

画像処理は、視触覚センサが「触れた情報を理解する」ための中心的な技術です。

自分が開発したアルゴリズムが、センサの性能そのものやロボットの動作精度に直接影響します。

周辺機能ではなく、FingerVisionの技術的な競争力の中核を担うポジションです。

2. 深層学習と従来型の画像処理の両方を活かせる

すべての課題を深層学習で解けばよいわけではありません。

特徴点追跡などの従来型画像処理と、セグメンテーション・物体認識などの深層学習を組み合わせながら、目的に最適な方法を選択します。

コンピュータビジョンを幅広く使って、実世界の課題を解くことができます。

3. アルゴリズムから実機まで一貫して関われる

パソコン上で精度を検証して終わる仕事ではありません。

• 画像取得 → 処理・認識 → 高速化 → 実機実装 → ロボット動作 → 現場検証

まで一連の開発に関わることができます。

自分のコードによって実際のロボットが動くところまで確認できます。

4. 「視覚」と「触覚」を組み合わせた新しい技術領域に挑戦できる

一般的なコンピュータビジョンでは、外部から対象物を見ることが中心です。

FingerVisionでは、それに加えて「物体に触れたときにセンサ内部で起こる変化を画像として捉える」という独自の課題に取り組みます。

画像処理の技術を、触覚センシングという新しい領域へ広げることができます。

5. Physical AI・ロボット学習への発展にも関われる

今後、AIが実世界で行動するためには、カメラによる視覚情報だけでなく、接触・滑り・力などの身体情報が重要になります。

視触覚センサから得られる情報を、ロボット制御やロボット学習へつなげることで、Physical AIの発展に直接関わることができます。

■ キャリア・評価について

FingerVisionでは、マネジメントを中心とするキャリアだけでなく、専門性を高めていくキャリアも用意しています。

これまでのご経験・スキル・今後の志向を踏まえ、General Track / Expert TrackおよびGradeを相談のうえ決定します。

詳細：

https://www.fingervision.jp/jobgrade

■ FingerVision News

FingerVisionは、経済産業省・NEDO関連のプロジェクトに参画し、Physical AIの社会実装に向けた研究開発を進めています。

大手ロボットメーカーや大学等と連携しながら、AIとロボティクスを融合した次世代技術の実用化に取り組んでいます。

• プレスリリース
  • https://newsrelea.se/rVy5Ql
• 日本経済新聞
  • https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/