【ロボティクス研究開発インターン】視覚・触覚を使った次世代ロボットの制御開発に挑戦

FingerVisionについて

FingerVisionは、カーネギーメロン大学発のロボティクス企業です。視触覚技術を核に、ロボット・Physical AIを開発する企業への製品・技術提供と、作業を自動化したい企業への用途別システムの開発・導入に取り組んでいます。

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものなど、従来のロボットでは扱いが難しい対象があります。ロボットに「見る」「触れて感じる」能力を持たせ、こうした作業の自動化を進めています。

事業は、業界横断で使える視触覚センサ・ハンドやデータ収集・模倣学習を支える製品・技術を提供する「コンポーネント」、用途に適したシステムを開発・導入する「アプリケーション」、自動化を求める顧客企業と設備・製品・ソリューションの提供企業をつなぎ、導入・展開を支える「プラットフォーム」の三領域です。J-Startup 2023選定、CES Innovation Awards受賞など、国内外で評価を受けています。

Missionは「人とロボットの可能性を広げ、社会システムをアップデートする。」です。この実現に向け、Physical AI時代のロボティクスを社会へ届けていきます。

FingerVision Website
https://www.fingervision.jp/about

FingerVisionの技術

視触覚センサは、カメラによる画像処理と触覚センシングを組み合わせた技術です。物体に触れた際の接触位置、力のかかり方、滑り、変形などを捉え、対象物の状態に応じてロボットの動作を調整できます。柔らかい食品、傷つきやすい製品、不定形物など、従来のロボットでは扱いが難しかった対象へ応用できます。

AIが実世界を理解して動作するPhysical AIでは、物体との接触から得られる情報が重要なデータになります。FingerVisionは、視触覚センシングを起点に、AI・ロボット制御・ロボットハンドを組み合わせた次世代ロボティクスの実現を目指しています。

ポジション概要

FingerVisionは、視触覚センサの情報を用いて、物体の状態に応じて動作するロボットシステムを開発しています。このインターンでは、エンジニアとともに実際の研究開発テーマに取り組みます。

主なテーマは、ロボットアームの動作生成・制御です。センサ情報をもとに、把持する位置、動作の軌道、対象物の状態が変わった際の動作調整を考え、実機上で実装・検証します。

経験・スキルに応じて、基礎的なロボット制御から、視覚・触覚によるフィードバック制御、高度な動作計画まで取り組みます。

インターン募集の背景

FingerVisionは、研究開発に加え、製造・食品・物流などの顧客現場へのロボット導入を進めています。研究開発には、制御、コンピュータビジョン、AI・ロボット学習、センシング、機械設計などの技術が関わります。

学生の皆さんにも、エンジニアが実際に取り組む技術課題の一部を担当してほしいと考えています。大学・大学院で学んだ知識を、実際のロボットや社会課題に使ってみたい方を歓迎します。

仕事内容

・ロボットアームの動作生成・制御：PythonやC++で、ロボットアームの制御、把持動作、軌道計画、動作生成のプログラムを開発します。実機で動作を確認し、評価結果をもとに改善します。
・視覚・触覚を使ったロボット制御：経験に応じて、カメラや視触覚センサの情報を取得・利用し、視覚情報による動作補正や視触覚情報によるフィードバック制御に取り組みます。物体の滑り・接触状態等に応じて動作を調整します。
・ロボットの動作計画：より経験のある方は、把持計画、軌道計画、複数動作を組み合わせた行動計画、高度なロボット制御の研究・実装に取り組みます。ロボットが目的を達成する動作を決めるための技術を扱います。
・その他の研究開発：経験・専門性やプロジェクト状況に応じて、コンピュータビジョン、ロボット学習、模倣学習、画像認識、センサデータ解析、ロボットハンド制御、顧客課題を想定したロボットシステム開発に関わる可能性があります。

必須要件

・大学・大学院・高等専門学校等で、ロボティクス、情報工学、機械工学、制御工学、AI等を学んでいる方
・Pythonを用いたプログラミング経験
・ROSを用いたロボット開発の基礎知識または経験
・ロボットアーム・マニピュレータの制御に関する基礎知識
・自ら調べながら技術課題へ取り組める方

加えて、以下のいずれかの経験を歓迎します。
・PythonまたはC++からロボットアームを動かした経験
・ロボットの軌道計画・動作計画に関する経験

歓迎要件

・C++を用いた開発経験
・ROS / ROS 2を用いたロボット開発経験
・MoveIt等を用いた軌道計画経験
・産業用ロボット・協働ロボットを動かした経験
・ロボットハンド・グリッパーを扱った経験
・カメラを用いたロボット制御経験
・コンピュータビジョンに関する知識
・機械学習・深層学習に関する知識
・強化学習・模倣学習・ロボット学習に関する知識
・研究室等で実機ロボットを用いた研究経験

求める人物像

・実際にロボットを動かしながら試行錯誤することが好きな方
・授業や研究で学んだ技術を、製品・社会課題に使ってみたい方
・分からないことを自ら調べ、エンジニアへ質問しながら仕事を進められる方
・失敗の原因を考え、繰り返し試すことを楽しめる方
・自分の専門分野に加え、周囲の技術にも興味を持てる方
・新しい技術や研究テーマへの挑戦が好きな方
・将来、ロボティクスやPhysical AIの分野で活躍したい方

このポジションの魅力（インターンで得られる経験）

・実際のロボットアーム・センサを用いて、プログラムの開発、動作確認、結果の評価、改善を繰り返す研究開発を経験できます。
・一般的なカメラとFingerVisionの視触覚センサを用い、物体との接触情報に応じて動きを変えるロボット制御に取り組めます。
・経験に応じて、エンジニアが実際に取り組む研究開発テーマに参加できます。研究成果が将来の製品や顧客現場へつながる可能性があります。
・コンピュータビジョン、AI・ロボット学習、機械設計、センサ開発、ロボットシステムなどの専門家と、日々の開発を通じて専門領域を広げられます。
・研究、試作、製品開発、顧客導入へ技術をつなげるDeepTechスタートアップの開発現場を経験できます。

English follows Japanese.

English JD

About FingerVision

FingerVision is a robotics company originating from Carnegie Mellon University. With vision-based tactile technology at its core, we provide products and technology to companies developing robots and Physical AI, and develop and deploy application-specific systems for companies seeking to automate their operations.

Our business spans three areas: components, providing vision-based tactile sensors, robot hands, and products and technology that support data collection and imitation learning; applications, developing and deploying systems suited to specific uses; and platforms, connecting customers seeking automation with equipment, product, and solution providers to support deployment and expansion.

Recognition in Japan and internationally includes J-Startup 2023 selection and a CES Innovation Award. Our mission is: “Expand the possibilities of people and robots, and update social systems.” We work to bring new robotics technologies to society in the Physical AI era.

https://www.fingervision.jp/about

Our Technology

Our vision-based tactile sensing combines camera-based image processing with tactile sensing. It detects contact location, force application, slip, and deformation, enabling robots to adapt motion to an object's condition, including soft foods, delicate products, and irregular objects. Contact information also matters for Physical AI, in which AI understands and acts in the real world. Combining this sensing with AI, control, and robot hands, FingerVision aims to realize next-generation robotics.

About the Internship

Work on robotics R&D for real-world use, beyond the laboratory. FingerVision develops systems that use vision-based tactile sensing to adapt robot motion to the condition of an object.

Work alongside our engineers on actual R&D topics. The main focus is robot arm motion generation and control: where to grasp, which trajectory to follow, and how to adjust motion when an object's condition changes. Implement and validate these ideas on real robots.

Depending on your experience and skills, projects may range from basic robot control to visual and tactile feedback control and advanced motion planning.

Why We Are Recruiting Interns

FingerVision is conducting R&D and deploying robots at manufacturing, food production, and logistics customers. Robotics brings together control, computer vision, AI and robot learning, sensing, and mechanical design.

We want students to take on parts of the real technical challenges our engineers face, beyond exercises with known answers. We welcome students who want to apply university or graduate-level knowledge to real robots and societal challenges.

Responsibilities

Robot Arm Motion Generation and Control

Develop programs using Python or C++:

• Control robot arms
• Implement grasping motions
• Plan trajectories
• Develop motion generation programs
• Check operation on hardware
• Improve based on evaluation

Visual and Tactile Robot Control

Depending on experience, work with camera and FingerVision tactile sensor information:

• Acquire and use sensor data
• Correct motion using vision
• Develop feedback control using visual and tactile information
• Adjust motion according to slip, contact, and other object conditions

Robot Motion Planning

More experienced interns may work on technologies that let robots choose actions to achieve a goal:

• Grasp planning
• Trajectory planning
• Action planning combining multiple motions
• Research and implement more advanced control

Other R&D Topics

Depending on experience, specialization, and project status, you may also work on computer vision, robot learning, imitation learning, image recognition, sensor data analysis, robot hand control, or robotic systems for anticipated customer challenges.

Requirements

• Currently studying robotics, computer engineering, mechanical engineering, control engineering, AI, or related fields at a university, graduate school, college of technology, or similar institution
• Python programming experience
• Basic knowledge or experience in robot development using ROS
• Basic knowledge of robot arm / manipulator control
• Ability to investigate technical challenges independently

Experience in either of the following is also welcome:

• Programming and operating a robot arm from Python or C++
• Robot trajectory or motion planning

Preferred Qualifications

• C++ development experience
• Robot development using ROS / ROS 2
• Trajectory planning using MoveIt or similar tools
• Operating industrial or collaborative robots
• Working with robot hands or grippers
• Robot control using cameras
• Computer vision knowledge
• Machine learning and deep learning knowledge
• Reinforcement learning, imitation learning, and robot learning knowledge
• Research using real robots in a laboratory or similar environment

What We Look For

• Enjoyment of hands-on experimentation with robots
• Interest in applying coursework or research to actual products and societal challenges
• Ability to investigate unfamiliar topics and ask engineers questions to make progress
• Enjoyment of analyzing failures and repeatedly testing ideas
• Interest in technologies beyond your own specialty
• Enthusiasm for new technologies and research topics
• Interest in a future career in robotics or Physical AI

Experience You Can Gain

R&D with Real Robots

Use actual robot arms and sensors as well as simulations or exercises: write code → operate robots → observe results → improve.

Robot Control Combining Vision and Touch

Explore control using FingerVision's proprietary tactile sensors as well as conventional cameras, adapting motion based on information obtained through contact.

Work on the Same Technical Challenges as Practicing Engineers

Depending on experience, join R&D topics our engineers are actively exploring, beyond tasks designed solely for interns. Research results may contribute to future products or customer deployments.

Exposure to Multiple Robotics Technologies

Work around specialists in control, computer vision, AI and robot learning, mechanical design, sensor development, and robot systems, broadening your expertise through daily development.

Development at a DeepTech Startup

Experience a startup connecting research → prototyping → product development → customer deployment, beyond laboratory-only work or one stage of a large company's process.

Location / Employment Conditions

Employment type: internship.

Hourly pay: JPY 1,500 and above. Pay is determined by the student's skills.

Regarding payments to students, we are considering giving them cash when they are in Japan.

Tokyo headquarters: Mitsui Woody Building, 2-4 Toyo, Koto-ku, Tokyo.

Kyoto R&D site: 73-1 Sujakuhozocho, Shimogyo-ku, Kyoto, Kyoto Prefecture.

The primary work location is determined according to the position and responsibilities. Business travel to other sites may be required.

Smoking policy: no smoking indoors.