【ロボットモーション（制御）エンジニア】視覚・触覚を活用したロボットの動作生成・制御を開発

【FingerVisionについて】

FingerVisionは、カーネギーメロン大学発のロボティクススタートアップです。

独自の「視触覚センサ」をコア技術に、これまで人の感覚や熟練に頼ってきた作業の自動化に取り組んでいます。

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものなど、従来のロボットでは扱うことが難しい対象が数多くあります。FingerVisionは、ロボットに「見る」だけでなく「触れて感じる」能力を持たせることで、こうした領域への自動化を進めています。

現在は、視触覚センサやロボットハンドの開発に加え、AI・ロボット制御・システムインテグレーションまで含めたロボットシステムの開発・社会実装を行っています。

J-Startup 2023選定、CES Innovation Awards受賞など、国内外で評価を受けています。

私たちのMissionは、

「人とロボットの可能性を広げ、社会システムをアップデートする。」

このMissionの実現に向け、Physical AI時代の新たなロボティクスを社会へ届けていきます。

FingerVision Website

https://www.fingervision.jp/about

【FingerVisionの技術】

FingerVisionのコア技術である「視触覚センサ」は、カメラによる画像処理と触覚センシングを組み合わせた技術です。

ロボットが物体に触れた際の、接触位置、力のかかり方、滑り、変形などを捉えることで、対象物の状態に応じてロボットの動作を調整することができます。

これにより、柔らかい食品や傷つきやすい製品、不定形物など、従来のロボットでは扱うことが難しかった対象への応用が可能になります。

さらに、AIが実世界を理解し動作するPhysical AIの発展において、物体との接触から得られる情報は重要なデータとなります。

FingerVisionは、視触覚センシングを起点に、AI・ロボット制御・ロボットハンドを組み合わせた次世代ロボティクスの実現を目指しています。

■ このポジションについて

ロボットに「どう動くか」を与え、視覚と触覚を使って自在に物体を扱えるようにする仕事です。

FingerVisionでは、独自の視触覚センサから得られる情報を活用し、対象物の状態に合わせてロボットが動作を変えられるシステムを開発しています。

今回募集するロボット制御エンジニアには、センサから得られる情報をもとに、

• 「どこを掴むか」
• 「どのような軌道で動くか」
• 「接触状態の変化にどう反応するか」

を計画し、実際のロボットの動作として実装していただきます。

把持計画・軌道計画から、視覚・触覚情報を使ったフィードバック制御、リアルタイム制御、より高度な行動計画まで幅広く担当します。

あらかじめ決められた動きを繰り返すロボットではなく、実世界の状態を感じ取りながら動作を変えられるロボットをつくることが、このポジションの役割です。

■ 募集背景

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものを扱う作業が多く残されています。

こうした作業では、対象物の位置を正確に把握するだけでは十分ではありません。

たとえば、

• 掴んだものが滑り始めている
• 想定よりも強く接触している
• 対象物が変形している
• 少し位置がずれている

といった変化を捉え、その場でロボットの動きを調整する必要があります。

FingerVisionの視触覚センサは、こうした接触状態を捉えるための技術です。

このセンサから得られる情報を実際のロボット動作へつなぎ、従来のロボットでは難しかった作業を自動化する制御技術の研究開発・製品化を加速するため、ロボット制御エンジニアを募集します。

■ 仕事内容

ロボットの動作生成・制御

センサから得られる情報をもとに、ロボットアームやロボットハンドの動作を生成します。

• ロボットアームの制御プログラムの開発
• ロボットハンドの制御
• 把持動作の計画
• 軌道計画
• 動作生成アルゴリズムの設計・実装
• 実機を用いた動作評価・改善

視覚・触覚情報を使ったフィードバック制御

外部カメラや視触覚センサから得られる情報を使い、ロボットの動きをリアルタイムに調整します。

• 視覚情報を使ったロボット制御
• 視触覚センサを使ったフィードバック制御
• 接触状態に応じた把持力・動作の調整
• 滑りや位置ずれ等を検知した際の動作補正
• 実機上での制御性能の評価・改善

動作計画・行動計画

単一の動作だけではなく、目的を達成するための一連のロボット動作についても開発します。

• 作業手順に応じた動作計画
• 複数の動作を組み合わせた行動生成
• 周囲の状況に応じた動作選択
• より高度な行動計画の研究・実装

3次元センサを用いたロボット制御

経験に応じて、RGB-Dカメラ等から得られる3次元情報を活用した制御にも取り組みます。

• 対象物の位置・姿勢をもとにした動作生成
• 3次元情報と視触覚情報を組み合わせた物体操作
• カメラ情報を用いたロボットの動作補正

実機での検証・製品への実装

シミュレーションだけでなく、実際のロボットを用いて制御技術を検証します。

• 産業用ロボット・協働ロボットを用いた評価
• 実機で発生する課題の分析
• 制御アルゴリズムの改善
• ロボットシステムへの組み込み
• 製品・顧客案件への技術適用

アルゴリズムをつくるだけではなく、自分のコードで実際のロボットを動かし、現場で使える状態まで仕上げることを重視しています。

■ 必須スキル・経験

• Pythonを用いた開発経験
• C++を用いた開発経験
• PythonまたはC++から産業用・協働ロボットアームを制御した経験
• ROS / ROS2を用いたロボットアプリケーション開発経験
• ロボットの軌道計画・動作計画に関する知識および実装経験

■ 歓迎スキル・経験

• RGB-Dカメラ等の3次元センサを用いたロボットの動作生成経験
• ビジュアルサーボの実装経験
• 柔軟物・不定形物をロボットで操作した経験
• 触覚センサを用いたロボット制御・物体操作の経験
• ロボットハンド・グリッパを用いた把持制御の経験
• リアルタイム制御の経験
• ロボット学習に関する知識・実装経験
• 機械学習をロボット制御へ応用した経験
• 強化学習を用いたロボット制御の経験
• 模倣学習を用いたロボット制御の経験

■ 求める人物像

• シミュレーションだけでなく、実際のロボットを動かすことが好きな方
• ロボットが思い通りに動かない原因を考え、試行錯誤することを楽しめる方
• 制御理論やアルゴリズムだけでなく、センサや実機の特性まで考えられる方
• 実世界で起こる誤差や不確実性を前提に、安定して動くシステムをつくりたい方
• 画像処理・AI・メカニカルなど異なる専門性を持つエンジニアと協力できる方
• まだ解き方が確立されていないロボティクスの課題に挑戦したい方
• 開発した技術を研究で終わらせず、実際の製品・顧客現場まで届けたい方

■ このポジションの魅力

1. 「触覚を使って動くロボット」を開発できる

一般的な産業用ロボットは、あらかじめ設定された位置や軌道に沿って動くものが中心です。

FingerVisionでは、ロボットが実際に物体へ触れた際の情報を使い、

「滑りそうだから掴み方を変える」

「接触したので動きを止める」

「対象物の変形に合わせて力を調整する」

といった、実世界の状態に応じた制御を目指しています。

視覚だけでなく触覚まで含めたロボット制御に取り組めることが、大きな特徴です。

2. 動作計画から実機制御まで一貫して関われる

担当範囲は、ロボットの一部分のプログラムだけではありません。

• 把持計画 → 軌道計画 → フィードバック制御 → 実機評価 → 改善

まで一連の開発に関わることができます。

自分が設計したアルゴリズムによって、実際のロボットがどのように動くのかを直接確認できます。

3. 柔軟物・不定形物という難しいロボット操作に挑戦できる

食品や柔らかい部品など、形状や状態が変化するものを扱う場合、従来の位置制御だけでは対応が難しくなります。

FingerVisionでは、視触覚センシングを活用しながら、こうした接触を伴う複雑な物体操作に取り組むことができます。

4. 画像処理・触覚・AIと連携したロボットシステムをつくれる

ロボット制御単独で開発するのではなく、

• コンピュータビジョン
• 視触覚センシング
• AI・ロボット学習
• メカニカル
• ロボットハンド

など、異なる技術領域のエンジニアと連携して開発します。

ロボットシステム全体を見ながら、自分の専門性を広げることができます。

5. 研究から社会実装までつなげられる

FingerVisionでは、技術を研究成果で終わらせず、実際の製品や顧客現場へ導入することを重視しています。

製造・物流・食品などの現場で、自分が開発した制御技術が実際に使われるところまで関わることができます。

■ キャリア・評価について

FingerVisionでは、マネジメントを中心とするキャリアだけでなく、専門性を高めていくキャリアも用意しています。

これまでのご経験・スキル・今後の志向を踏まえ、General Track / Expert TrackおよびGradeを相談のうえ決定します。

詳細：

https://www.fingervision.jp/jobgrade

■ FingerVision News

FingerVisionは、経済産業省・NEDO関連のプロジェクトに参画し、Physical AIの社会実装に向けた研究開発を進めています。

大手ロボットメーカーや大学等と連携しながら、AIとロボティクスを融合した次世代技術の実用化に取り組んでいます。

• プレスリリース
  • https://newsrelea.se/rVy5Ql
• 日本経済新聞
  • https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/