【AI / Robotics Engineer】視触覚×模倣学習でPhysical AIの社会実装をリード

【FingerVisionについて】

FingerVisionは、カーネギーメロン大学発のロボティクススタートアップです。

独自の「視触覚センサ」をコア技術に、これまで人の感覚や熟練に頼ってきた作業の自動化に取り組んでいます。

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものなど、従来のロボットでは扱うことが難しい対象が数多くあります。FingerVisionは、ロボットに「見る」だけでなく「触れて感じる」能力を持たせることで、こうした領域への自動化を進めています。

現在は、視触覚センサやロボットハンドの開発に加え、AI・ロボット制御・システムインテグレーションまで含めたロボットシステムの開発・社会実装を行っています。

J-Startup 2023選定、CES Innovation Awards受賞など、国内外で評価を受けています。

私たちのMissionは、

「人とロボットの可能性を広げ、社会システムをアップデートする。」

このMissionの実現に向け、Physical AI時代の新たなロボティクスを社会へ届けていきます。

FingerVision Website

https://www.fingervision.jp/about

【FingerVisionの技術】

FingerVisionのコア技術である「視触覚センサ」は、カメラによる画像処理と触覚センシングを組み合わせた技術です。

ロボットが物体に触れた際の、接触位置、力のかかり方、滑り、変形などを捉えることで、対象物の状態に応じてロボットの動作を調整することができます。

これにより、柔らかい食品や傷つきやすい製品、不定形物など、従来のロボットでは扱うことが難しかった対象への応用が可能になります。

さらに、AIが実世界を理解し動作するPhysical AIの発展において、物体との接触から得られる情報は重要なデータとなります。

FingerVisionは、視触覚センシングを起点に、AI・ロボット制御・ロボットハンドを組み合わせた次世代ロボティクスの実現を目指しています。

■ このポジションについて

FingerVisionでは現在、視触覚センシングとRobot Learningを組み合わせ、これまで自動化が難しかった作業をロボットが学習・実行できるシステムの開発を進めています。

その一つが、視触覚センサを搭載したグリッパと模倣学習を組み合わせた「FV模倣学習キット」です。

Physical AIの発展に伴い、ロボットが人の動作を学習するImitation Learningや、Vision-Language-Action（VLA）をはじめとしたRobot Learningの技術は急速に進化しています。

一方で、実世界の作業では「見る」だけでは十分ではありません。

挿入、組み付け、ケーブル操作、柔軟物のハンドリングなど、対象物と接触しながら行うContact-rich Taskでは、「どのように触れているか」という情報がロボットの動作精度を大きく左右します。

FingerVisionでは、独自の視触覚センシング技術とRobot Learningを組み合わせることで、

「触れることで動作精度が上がる」

「触覚があることで、これまでできなかった動作を可能にする」

ことを、研究だけではなく実際のプロダクト・顧客現場で実現しようとしています。

今回募集するAI / Robotics Engineerには、Robot Learningや機械学習の専門性を活かし、視触覚センシングを用いたAI・ロボットシステムの設計・実装・実機評価を担っていただきます。

■ 募集背景

FingerVisionでは、「FV模倣学習キット」をはじめとしたPhysical AI・Robot Learning領域の研究開発と社会実装を加速しています。

今後は、

• Imitation Learning
• Diffusion Policy
• Vision-Language-Action（VLA）
• Vision-Tactile-Language-Action（VTLA）
• Tactile Robot Learning

などの技術も取り込みながら、視触覚センシングの強みを活かしたロボットシステムをさらに発展させていく計画です。

私たちが重視しているのは、研究のための研究ではありません。

製造・物流・食品などの顧客現場で実際にロボットを動かし、データを集め、モデルを学習させ、実機で評価・改善することで、ロボットの成功率や対応できる作業の幅を広げていくことを目指しています。

そのため、Robot Learningや機械学習のモデル開発だけでなく、データ収集、ロボットとの連携、実機評価まで含めて開発に取り組めるエンジニアを募集しています。

■ 仕事内容

Mission

視触覚センシングとRobot Learningを組み合わせたAI・ロボットシステムを開発し、ロボットが実世界の作業をより正確かつ柔軟に実行できるようにすること。

AI / Robot Learningシステムの設計・開発

• Imitation Learning / Reinforcement Learning等を用いたRobot Learningモデルの開発
• Deep Learningモデルの設計・学習・評価・改善
• Teleoperation等を用いたデータ収集環境の構築
• Robot Learning Datasetの設計・収集・評価
• 学習済みモデルの推論・Robot Controlへの組み込み
• 実ロボットを用いた性能評価・改善
• 視触覚センシングとRobot Learningの統合

FingerVisionセンサから得られる接触・滑り・変形等の情報を活用したモデル開発

• カメラ、視触覚センサ、ロボットアーム等を組み合わせたシステム開発
• 視覚だけでは対応が難しいContact-rich TaskへのRobot Learningの適用
• Robot Learningにおける触覚情報の有効性検証
• Contact-rich Taskの自動化Pick & Placeに加えて、
  • Grasping
  • Insertion
  • Assembly
  • Cable Routing
  • 柔軟物・不定形物のHandling
• など、接触状態の理解が重要となるタスクの自動化に取り組みます。

新しいRobot Learning技術の検証

• Imitation Learning、Diffusion Policy、VLA等の最新技術の調査・実装
• 論文やOSSをもとにした技術検証
• FingerVisionの視触覚センシングとの組み合わせによる性能評価
• 有効な技術のプロダクト・開発プロジェクトへの展開

プロダクト・顧客環境での実装

• 製造・食品・物流等の実タスクを対象としたPoC開発
• 実際の作業工程をもとにしたデータ収集・モデル開発
• 実証実験・実環境での性能評価
• 現場で得られたデータをもとにした継続的なモデル・システム改善

■ 必須スキル・経験

• Pythonを用いたソフトウェア・機械学習システムの開発経験
• PyTorch等のDeep Learning Frameworkを用いたモデルの設計・学習・評価経験
• Machine Learning / Deep Learningに関する理解と実装経験
• 以下のいずれかに関する研究または実務での開発経験
  • Robot LearningImitation Learning
  • Reinforcement Learning
  • Robot Manipulation
  • Vision-based Manipulation
• Linux環境での開発経験
• 実際のシステムや実機を用いて、モデルの性能を検証・改善していくことへの関心

■ 歓迎スキル・経験

• ACT、Diffusion Policy、VLA等のRobot Learning手法の実装経験
• 実ロボットを用いたImitation Learning / Reinforcement Learningの経験
• Robot Manipulation、Motion Planningに関する知識・実装経験
• ROS / ROS2を用いたRobot Applicationの開発経験
• C++を用いた開発経験
• Computer Vision / 3D Visionの知識・実装経験
• カメラ、Force / Torque Sensor、Tactile Sensor等のSensor Dataを扱った経験
• Teleoperation Systemの設計・構築経験
• Tactile Sensorを用いたRobot Learningの経験
• Multi-modal Modelの開発経験
• MLOps / Machine Learning Pipelineの構築経験
• Robotics / AI領域のResearch Paperをもとにした実装・検証経験
• Industrial Robot / Collaborative Robotの実装・現場導入経験
• 実ロボットを用いたデータ収集・モデル改善を反復した経験

■ 求める人物像

• 視触覚センシングとRobot Learningの力で、製造・物流・食品などの現場を変えることに興味を持てる方
• 論文やモデルだけではなく、自ら実装し、実際のロボットを動かすことを楽しめる方
• 自分の専門領域を持ちながら、Vision・Motion・Software・Hardware等の周辺領域のエンジニアと協力できる方
• データ収集からモデル開発、実機評価まで粘り強く改善を繰り返せる方
• 正解が決まっていない技術課題に対して、自ら仮説を立て検証できる方
• スタートアップの変化やスピード感を楽しめる方
• 技術だけに閉じず、最終的にプロダクトや顧客価値につながることを意識して開発できる方

■ このポジションの魅力

1. Physical AI × 触覚という未開拓領域に挑戦できる

Robot Learningの多くはVisionを中心に発展してきました。

FingerVisionでは、そこに独自の視触覚センシングを組み合わせることで、Contact-rich Taskにおける新たなRobot Learningのあり方をつくろうとしています。

既存手法を利用するだけではなく、「触覚情報がロボットの学習や動作性能をどう変えられるか」を実機で検証しながら開発できます。

2. Model Developmentから実ロボットでの評価まで関われる

FingerVisionが重視しているのは、研究成果を論文やDemoで終わらせないことです。

製造・食品・物流などの実際の課題に対して、

Data Collection → Model Development → Robot Integration → Evaluation → Field Deployment
まで一気通貫で取り組みます。

自分が開発したAIが実際のロボットを動かし、成功率や対応できる作業の幅が変わるところまで確認することができます。

3. 独自のPhysical Interaction Dataを活用できる

Physical AIの発展において、実世界から取得される高品質なデータは重要な要素になります。

FingerVisionは視触覚センシングを通じて、画像だけでは得ることのできない物体との接触・滑り・力・変形などのPhysical Interaction Dataを取得できます。

将来的には、Vision・Touch・Language・Actionを統合したMulti-modal Robot Learningへの展開も見据えています。

■ FingerVision News

FingerVisionは、経済産業省・NEDO関連のプロジェクトに参画し、Physical AIの社会実装に向けた研究開発を進めています。

大手ロボットメーカーや大学等と連携しながら、AIとロボティクスを融合した次世代技術の実用化に取り組んでいます。

• プレスリリース
  • https://newsrelea.se/rVy5Ql
• 日本経済新聞
  • https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/