【コンピュータビジョンエンジニア】視触覚センサの画像処理・認識技術を開発

FingerVisionについて

FingerVisionは、カーネギーメロン大学発のロボティクス企業です。視触覚技術を核に、ロボット・Physical AIを開発する企業への製品・技術提供と、作業を自動化したい企業への用途別システムの開発・導入に取り組んでいます。

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものなど、従来のロボットでは扱いが難しい対象があります。ロボットに「見る」「触れて感じる」能力を持たせ、こうした作業の自動化を進めています。

事業は、業界横断で使える視触覚センサ・ハンドやデータ収集・模倣学習を支える製品・技術を提供する「コンポーネント」、用途に適したシステムを開発・導入する「アプリケーション」、自動化を求める顧客企業と設備・製品・ソリューションの提供企業をつなぎ、導入・展開を支える「プラットフォーム」の三領域です。J-Startup 2023選定、CES Innovation Awards受賞など、国内外で評価を受けています。

Missionは「人とロボットの可能性を広げ、社会システムをアップデートする。」です。この実現に向け、Physical AI時代のロボティクスを社会へ届けていきます。

FingerVision Website
https://www.fingervision.jp/about

FingerVisionの技術

視触覚センサは、カメラによる画像処理と触覚センシングを組み合わせた技術です。物体に触れた際の接触位置、力のかかり方、滑り、変形などを捉え、対象物の状態に応じてロボットの動作を調整できます。柔らかい食品、傷つきやすい製品、不定形物など、従来のロボットでは扱いが難しかった対象へ応用できます。

AIが実世界を理解して動作するPhysical AIでは、物体との接触から得られる情報が重要なデータになります。FingerVisionは、視触覚センシングを起点に、AI・ロボット制御・ロボットハンドを組み合わせた次世代ロボティクスの実現を目指しています。

ポジション概要

FingerVisionの視触覚センサは、物体に触れた際の変化をカメラで捉え、接触状態、滑り、力のかかり方などを認識します。

このポジションは、視触覚センサや外部カメラから取得した画像を処理し、ロボットが周囲や接触状態を理解して次の動作を決めるための、画像処理・認識技術を開発します。

特徴点追跡などの従来型の画像処理から、深層学習を用いた物体認識・セグメンテーションまでを扱います。GPUによる高速化と組み込み環境への実装も担当し、実ロボット上でリアルタイムに動作してロボット制御につながる技術を開発します。

募集背景

視触覚センサを核とするロボットシステムの研究開発・製品化・社会実装を進めています。画像から接触位置、力の方向、滑り、対象物の状態を捉える技術は、ロボットの性能を左右します。

Physical AIやロボット学習との連携に向け、視触覚情報を高精度・高速・安定的に取得する技術の重要性が高まっています。コンピュータビジョン領域の研究開発と製品への実装を主導するエンジニアを募集します。

仕事内容

・視触覚センサの画像処理・認識技術：画像処理アルゴリズムを設計・開発し、特徴点の検出・追跡、接触状態・変形・滑り等の推定、センサデータの解析を行います。精度・安定性を評価し、実機評価に基づいて改善します。
・深層学習による画像認識：外部カメラや視触覚センサの画像を用いて、物体認識、セグメンテーション、クラス分類、異常検知の技術を開発します。学習データの設計・整備とモデルの学習・評価・改善を行い、課題に応じて従来型の画像処理も組み合わせます。
・外部カメラによる環境認識：ロボット周辺のカメラ画像から対象物を検出・認識し、位置・姿勢と動作生成に必要な情報を取得します。外部カメラ情報と視触覚情報を組み合わせます。
・高速化・実機実装：GPUによる画像処理の高速化、リアルタイム処理の最適化、組み込み環境への実装を行います。処理速度・計算量・精度を調整し、実際の製品・ロボット上で動作を確認して改善します。
・ロボットシステムへの統合：ロボットシステムエンジニアと連携してセンサ情報をロボット制御へ接続し、ROS / ROS 2等を用いたシステムとの連携を行います。実機で検証し、顧客現場や実証実験で得られた課題を改善します。

必須要件

・深層学習を用いたコンピュータビジョンの開発経験（セグメンテーション、画像分類、物体認識、異常検知など）
・深層学習だけに依存しない、従来型の画像処理・コンピュータビジョンの知識・実装経験
・OpenCVを用いた画像処理の実装経験
・PyTorch、TensorFlow等を用いた深層学習モデルの開発経験
・C++を用いた開発経験
・Pythonを用いた開発経験

歓迎要件

・ROS / ROS 2を用いたロボットシステム開発経験
・GPUを用いた画像処理・深層学習処理の高速化経験
・組み込みシステム上での画像処理実装経験
・カメラ・センサを用いたリアルタイム処理の経験
・画像処理を用いたロボット制御・ロボット学習の経験
・3次元認識・位置姿勢推定に関する経験
・センサフュージョンに関する経験
・産業用・協働ロボットを用いた開発経験
・研究成果や論文をもとにアルゴリズムを実装・検証した経験
・実環境で取得したデータを用いて画像認識システムを改善した経験

求める人物像

・画像認識の精度に加え、実ロボットで使えるところまで開発したい方
・課題に応じて深層学習と従来型の画像処理を使い分けられる方
・実機で起きる現象を観察し、原因を考えて改善できる方
・アルゴリズムに加え、処理速度や実装環境にも関心がある方
・ロボットシステムやハードウェアのエンジニアと協力できる方
・正解が確立されていない技術課題に取り組むことを楽しめる方
・開発した技術を製品化や社会実装につなげたい方

このポジションの魅力

・視触覚センサの中核となる画像処理を開発し、センサ性能やロボットの動作精度、FingerVisionの技術的な競争力に関われます。
・特徴点追跡などの従来型の画像処理と、セグメンテーション・物体認識などの深層学習を組み合わせ、目的に合う手法を選択できます。
・画像取得、処理・認識、高速化、実機実装、ロボット動作、現場検証まで一貫して関わり、自分のコードでロボットが動くところまで確認できます。
・外部から対象物を見る画像だけでなく、物体との接触によってセンサ内部で起きる変化を画像として捉え、画像処理の専門性を触覚センシングへ広げられます。
・接触・滑り・力などの情報をロボット制御やロボット学習へつなげ、Physical AIの発展に関われます。

キャリア・評価について

FingerVisionでは、マネジメントを中心とするキャリアと、専門性を高めるキャリアを用意しています。経験・スキル・今後の志向を踏まえ、General Track / Expert TrackおよびGradeを相談のうえ決定します。

詳細：https://www.fingervision.jp/jobgrade

FingerVision News

GENIACでは、視覚・触覚・言語・動作データを共通化し、複雑な手先作業の自動化を目指す共同研究に参画しています。2026年7月に公表された、2026年8月〜2027年7月の研究計画に基づく取り組みです。

ロボット共創基盤の共同研究では、機種・用途ごとに異なるシステム構築を共通化するため、共通インターフェースや導入支援の仕組みを研究しています。2025年8月に公表された、2025〜2027年度の研究計画です。

• プレスリリース
  • https://newsrelea.se/rVy5Ql
• 日本経済新聞
  • https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/

English follows Japanese.

English JD

About the Role

Develop image processing and perception for vision-based tactile sensors and external cameras. Camera images reveal contact position, force direction, slip, deformation, and object condition, helping robots understand their surroundings and choose actions.
Work combines feature tracking and conventional computer vision with deep learning, GPU acceleration, and embedded implementation. The aim is accurate, real-time information that drives actual robots, beyond recognition accuracy alone.

Why We Are Hiring

FingerVision is expanding R&D, commercialization, and deployment. Fast, accurate, stable tactile perception is increasingly important to Physical AI and robot learning. This role develops core computer vision technology and implements it in products.

Responsibilities

• Tactile perception: design sensor image-processing algorithms; detect/track features; estimate contact, deformation, and slip; analyze sensor data; evaluate accuracy/stability and improve from hardware tests.
• Deep learning: object recognition, segmentation, classification, anomaly detection; design/prepare training data; train, evaluate, and improve models. Select and combine conventional methods and deep learning for the problem.
• External cameras: detect/recognize objects, estimate position/orientation, extract motion-generation information, and combine camera and tactile information.
• Implementation: GPU acceleration, real-time optimization, embedded deployment; balance speed, computing cost, and accuracy; verify and improve on hardware.
• Robot integration: collaborate with robot systems engineers, connect sensor data to control, integrate with ROS/ROS 2, validate on hardware, and address customer-site and demonstration issues.

Requirements

• Deep learning computer vision development experience, such as segmentation, classification, object recognition, or anomaly detection
• Conventional image processing/computer vision knowledge and implementation experience, beyond deep learning alone
• OpenCV image-processing implementation experience
• Deep learning model development experience using PyTorch, TensorFlow, or similar frameworks
• C++ development experience
• Python development experience

Preferred Qualifications

Experience in:
• ROS/ROS 2 robotic systems
• GPU acceleration of image processing/deep learning
• Embedded image-processing implementation
• Real-time camera/sensor processing
• Image processing for robot control/learning
• 3D perception/position and orientation estimation
• Sensor fusion
• Industrial/collaborative robot development
• Paper- or research-based algorithm implementation/validation
• Improving recognition with real-environment data

What We Look For

Enjoy making perception usable on robots, choosing suitable conventional/deep learning methods, observing hardware phenomena and investigating causes, and considering speed and implementation environments. Collaborate with robot systems/hardware engineers, tackle open-ended challenges, and turn research into products and deployment.

Role Highlights

• Core technology: algorithms directly influence tactile sensor performance and robot motion accuracy, contributing to technical competitiveness.
• Broad methods: combine feature tracking with deep learning segmentation/recognition for real problems.
• End-to-end development: image capture → processing/recognition → acceleration → hardware → robot motion → field validation; see code operate robots.
• Extend computer vision from external object images to changes inside a sensor during contact.
• Connect contact, slip, and force information with control/learning to contribute to Physical AI.

Career Development and Evaluation

FingerVision offers management and specialist career paths. General Track/Expert Track and Grade are determined through discussion based on experience, skills, and future interests.
https://www.fingervision.jp/jobgrade

FingerVision News

Through GENIAC, FingerVision participates in joint research to standardize vision, touch, language and action data, with the aim of automating complex manipulation tasks. The research plan was announced in July 2026, with a planned period of August 2026 to July 2027.

In joint research on shared infrastructure for robot deployment, we are researching common interfaces and deployment support to address differences in system integration across robot types and applications. The plan was announced in August 2025 and covers fiscal years 2025–2027.
Press release: https://newsrelea.se/rVy5Ql
Nikkei: https://www.nikkei.com/article/DGXZQOUC022Q40S6A700C2000000/