【AI / Robotics Engineer】視触覚×模倣学習でPhysical AIの社会実装をリード

FingerVisionについて

FingerVisionは、カーネギーメロン大学発のロボティクス企業です。視触覚技術を核に、ロボット・Physical AIを開発する企業への製品・技術提供と、作業を自動化したい企業への用途別システムの開発・導入に取り組んでいます。

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものなど、従来のロボットでは扱いが難しい対象があります。ロボットに「見る」「触れて感じる」能力を持たせ、こうした作業の自動化を進めています。

事業は、業界横断で使える視触覚センサ・ハンドやデータ収集・模倣学習を支える製品・技術を提供する「コンポーネント」、用途に適したシステムを開発・導入する「アプリケーション」、自動化を求める顧客企業と設備・製品・ソリューションの提供企業をつなぎ、導入・展開を支える「プラットフォーム」の三領域です。J-Startup 2023選定、CES Innovation Awards受賞など、国内外で評価を受けています。

Missionは「人とロボットの可能性を広げ、社会システムをアップデートする。」です。この実現に向け、Physical AI時代のロボティクスを社会へ届けていきます。

FingerVision Website
https://www.fingervision.jp/about

FingerVisionの技術

視触覚センサは、カメラによる画像処理と触覚センシングを組み合わせた技術です。物体に触れた際の接触位置、力のかかり方、滑り、変形などを捉え、対象物の状態に応じてロボットの動作を調整できます。柔らかい食品、傷つきやすい製品、不定形物など、従来のロボットでは扱いが難しかった対象へ応用できます。

AIが実世界を理解して動作するPhysical AIでは、物体との接触から得られる情報が重要なデータになります。FingerVisionは、視触覚センシングを起点に、AI・ロボット制御・ロボットハンドを組み合わせた次世代ロボティクスの実現を目指しています。

ポジション概要

FingerVisionでは、視触覚センシングとロボット学習（Robot Learning）を組み合わせ、これまで自動化が難しかった作業をロボットが学習・実行できるシステムを開発しています。「FV模倣学習キット」は、視触覚センサを搭載したグリッパと模倣学習を組み合わせた製品です。

このポジションは、Robot Learningや機械学習の専門性を活かし、視触覚センシングを用いたAI・ロボットシステムの設計・実装・実機評価を担当します。

挿入、組み付け、ケーブル操作、柔軟物のハンドリングなど、対象物との接触を伴う作業（Contact-rich Task）に取り組みます。接触状態の情報を使って動作精度を高め、視覚情報だけでは難しかった動作を、製品や顧客現場で実現することを目指します。

募集背景

「FV模倣学習キット」をはじめとするPhysical AI・Robot Learning領域の研究開発と社会実装を進めています。模倣学習を中心に、ACT、Diffusion Policy、Vision-Language-Action（VLA）、Vision-Tactile-Language-Action（VTLA）、触覚を用いたロボット学習（Tactile Robot Learning）などの手法を取り入れる計画です。視覚・触覚・言語・行動を組み合わせたマルチモーダルなロボット学習への発展も見据えています。

製造・物流・食品などの現場でデータを収集し、モデルの学習と実機での評価・改善を繰り返すことで、作業の成功率と対応範囲を広げます。モデル開発に加え、データ収集、ロボットとの連携、実機評価まで一連の開発を担当できるエンジニアを募集します。

仕事内容

視触覚センシングとRobot Learningを組み合わせ、実環境の作業をより正確かつ柔軟に実行できるAI・ロボットシステムを開発します。
・学習モデルの設計・開発：模倣学習・強化学習等を用いたRobot Learningモデルと、深層学習モデルの設計・学習・評価・改善を行います。
・データ収集環境・データセットの開発：遠隔操作（Teleoperation）等を用いた収集環境を構築し、Robot Learning用データセットの設計・収集・評価を行います。
・ロボットへの組み込み・実機評価：学習済みモデルの推論をロボット制御へ組み込み、視触覚センシングとRobot Learningを統合します。実ロボットで性能を評価し、改善します。
・接触を伴う作業の自動化：接触・滑り・変形等のセンサ情報を活用したモデルと、カメラ・視触覚センサ・ロボットアーム等を組み合わせたシステムを開発します。視覚だけでは難しい作業にRobot Learningを適用し、触覚情報の有効性を検証します。Pick & Placeに加え、把持（Grasping）、挿入（Insertion）、組み立て（Assembly）、ケーブルの取り回し（Cable Routing）、柔軟物・不定形物のハンドリングに取り組みます。
・新しい技術の検証・展開：模倣学習、Diffusion Policy、VLA等の技術を調査・実装します。論文やOSSをもとに検証し、視触覚センシングとの組み合わせによる性能を評価して、有効な技術を製品・開発プロジェクトへ展開します。
・製品・顧客環境での実装：製造・食品・物流等の実際の作業を対象とするPoCを開発します。作業工程に基づくデータ収集・モデル開発、実証実験、実環境での性能評価を行い、現場のデータをもとにモデルとシステムを継続的に改善します。

必須要件

・Pythonを用いたソフトウェア・機械学習システムの開発経験
・PyTorch等の深層学習フレームワークを用いたモデルの設計・学習・評価経験
・機械学習・深層学習に関する理解と実装経験
・視覚・言語・センサデータ等の複数の情報を扱うマルチモーダルモデル、または複数種類の入力情報を統合した機械学習モデルの開発経験
・以下のいずれかに関する、研究または実務での開発経験
・模倣学習を含むRobot Learning
・強化学習を用いたRobot Learning
・ロボットによる物体操作（Robot Manipulation）
・視覚情報に基づく物体操作（Vision-based Manipulation）
・Linux環境での開発経験

歓迎要件

・ACT、Diffusion Policy等の模倣学習手法の実装経験
・VLA / VTLA等のマルチモーダルなRobot Learningに関する研究・開発経験
・実ロボットを用いた模倣学習 / 強化学習の経験
・ロボットによる物体操作・動作計画（Robot Manipulation / Motion Planning）に関する知識・実装経験
・ROS / ROS 2を用いたロボットアプリケーションの開発経験
・C++を用いた開発経験
・Computer Vision / 3D Visionの知識・実装経験
・カメラ、力・トルクセンサ（Force / Torque Sensor）、触覚センサ（Tactile Sensor）等のセンサデータを扱った経験
・遠隔操作システム（Teleoperation System）の設計・構築経験
・触覚センサを用いたRobot Learningの経験
・MLOps・機械学習パイプラインの構築経験
・Robotics / AI領域の研究論文やOSSをもとにした実装・検証経験
・産業用ロボット・協働ロボットの実装・現場導入経験
・実ロボットを用いてデータ収集・モデル学習・評価・改善を反復した経験

求める人物像

・視触覚センシングとRobot Learningを用いて、製造・物流・食品などの現場を変えることに関心がある方
・自ら実装して実ロボットを動かし、性能を検証・改善することを楽しめる方
・自分の専門領域を持ち、画像認識・動作制御・ソフトウェア・ハードウェアのエンジニアと協力できる方
・データ収集からモデル開発、実機評価まで、粘り強く改善を繰り返せる方
・正解が決まっていない技術課題に対して、自ら仮説を立てて検証できる方
・新しいRobot Learning技術を学び、実機で有効性を検証することを楽しめる方
・スタートアップの変化やスピード感を楽しめる方
・製品や顧客への価値につながることを意識して開発できる方

このポジションの魅力

・視触覚センシングをRobot Learningに組み合わせ、触覚情報が接触を伴う作業の学習や動作性能に与える効果を、実機で検証しながら開発できます。
・データ収集、モデル開発、ロボットへの統合、評価、顧客現場への導入まで一貫して関われます。開発したAIがロボットを動かし、作業の成功率や対応範囲が変わるところまで確認できます。
・物体との接触から得られる接触・滑り・力・変形等の情報を、外部カメラの画像と組み合わせて活用できます。視覚・触覚・言語・行動を統合したマルチモーダルなRobot Learningへの展開も見据えています。

FingerVision News

GENIACでは、視覚・触覚・言語・動作データを共通化し、複雑な手先作業の自動化を目指す共同研究に参画しています。2026年7月に公表された、2026年8月〜2027年7月の研究計画に基づく取り組みです。

ロボット共創基盤の共同研究では、機種・用途ごとに異なるシステム構築を共通化するため、共通インターフェースや導入支援の仕組みを研究しています。2025年8月に公表された、2025〜2027年度の研究計画です。

プレスリリース
https://newsrelea.se/rVy5Ql

• 日本経済新聞
  • https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/

English follows Japanese.

English JD

About the Role

FingerVision accelerates Physical AI/robot learning R&D and deployment as robot learning/VLA advance rapidly. The FV Imitation Learning Kit pairs a vision-based tactile gripper and imitation learning to automate previously difficult tasks.
Use robot learning/machine learning expertise to design, implement, and evaluate AI/robotic systems. We aim to improve motion accuracy using contact-state information and to enable tasks that are difficult using vision alone in products and customer environments.
Plans: ACT, Diffusion Policy, Vision-Language-Action (VLA), Vision-Tactile-Language-Action (VTLA), tactile robot learning, and multimodal learning combining vision, touch, language, and action. We aim for better success rates/task breadth.

Responsibilities

Mission: tactile sensing/learning for accurate, flexible real-world motion.
Learning Systems:
• Develop models using imitation learning, reinforcement learning, and other robot learning methods
• Design, train, evaluate, and improve deep learning models
• Build teleoperation and other data collection environments
• Design, collect, and evaluate robot learning datasets
• Integrate trained-model inference into robot control
• Evaluate and improve performance on real robots
• Integrate vision-based tactile sensing and robot learning
Contact-Rich Tasks:
• Develop systems combining cameras, tactile sensors, robot arms, etc.
• Learning beyond vision alone; evaluate tactile data's value
Use sensor contact, slip, deformation, etc. Beyond pick and place: grasping, insertion, assembly, cable routing/manipulation, flexible/irregular object handling. Contact affects motion accuracy.
Research/Deployment:
• Research/implement recent imitation learning, Diffusion Policy, VLA, etc.
• Validate papers/OSS and performance with our tactile sensing
• Apply effective approaches to products/projects
• Real-task PoCs in manufacturing, food, logistics, etc.
• Workflow-based data collection/model development
• Demonstrations/real-environment evaluation
• Continuous field-data-based model/system improvement

Requirements

Required experience and skills:
• Python software/machine learning system development
• Model design, training, evaluation with PyTorch or similar deep learning frameworks
• machine learning/deep learning understanding and implementation experience
• Multimodal model development (vision, language, sensor data, etc.) or machine learning models integrating multiple input types
• Research or professional development in at least one: robot learning including imitation learning; robot learning with reinforcement learning; robot manipulation; vision-based manipulation
• Linux development

Preferred Qualifications

Experience in:
• ACT/Diffusion Policy or similar imitation learning implementation
• VLA/VTLA or other multimodal robot learning R&D
• Real-robot imitation/reinforcement learning
• Manipulation/motion planning knowledge and implementation
• ROS/ROS 2 robot application development
• C++ development
• Computer vision/3D vision knowledge and implementation
• Camera/force/torque/tactile or similar sensor data
• Teleoperation system design/build
• Robot learning with tactile sensors
• MLOps/machine learning pipelines
• Robotics/AI paper- or OSS-based implementation/validation
• Industrial/collaborative robot implementation/deployment
• Iterative real-robot data collection, training, evaluation, improvement

Your Approach

Enjoy hands-on work beyond papers/models, startup pace/change, and learning/hardware-testing new robot learning methods. Persist across data → models → hardware; hypothesize/test open-ended challenges. Collaborate across vision/motion/software/hardware with your specialty. Take interest in transforming manufacturing/logistics/food with tactile sensing/learning; focus on product/customer value.

Role Highlights

Explore contact-rich learning beyond vision/existing methods; test touch's effect on learning/motion. Work end to end; see AI move robots and change task success/breadth in manufacturing, food, logistics beyond papers/demos.
You can combine external camera images with information about contact, slip, force and deformation obtained through interaction with objects. Future vision/touch/language/action learning is envisaged.

News

Through GENIAC, FingerVision participates in joint research to standardize vision, touch, language and action data, with the aim of automating complex manipulation tasks. The research plan was announced in July 2026, with a planned period of August 2026 to July 2027.

In joint research on shared infrastructure for robot deployment, we are researching common interfaces and deployment support to address differences in system integration across robot types and applications. The plan was announced in August 2025 and covers fiscal years 2025–2027.
Press release: https://newsrelea.se/rVy5Ql
Nikkei: https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/