【ロボティクス研究開発インターン】視覚・触覚を使った次世代ロボットの制御開発に挑戦

【FingerVisionについて】

FingerVisionは、カーネギーメロン大学発のロボティクススタートアップです。

独自の「視触覚センサ」をコア技術に、これまで人の感覚や熟練に頼ってきた作業の自動化に取り組んでいます。

製造・物流・食品などの現場には、柔らかいもの、不定形なもの、傷つきやすいものなど、従来のロボットでは扱うことが難しい対象が数多くあります。FingerVisionは、ロボットに「見る」だけでなく「触れて感じる」能力を持たせることで、こうした領域への自動化を進めています。

現在は、視触覚センサやロボットハンドの開発に加え、AI・ロボット制御・システムインテグレーションまで含めたロボットシステムの開発・社会実装を行っています。

J-Startup 2023選定、CES Innovation Awards受賞など、国内外で評価を受けています。

私たちのMissionは、

「人とロボットの可能性を広げ、社会システムをアップデートする。」

このMissionの実現に向け、Physical AI時代の新たなロボティクスを社会へ届けていきます。

FingerVision Website

https://www.fingervision.jp/about

【FingerVisionの技術】

FingerVisionのコア技術である「視触覚センサ」は、カメラによる画像処理と触覚センシングを組み合わせた技術です。

ロボットが物体に触れた際の、接触位置、力のかかり方、滑り、変形などを捉えることで、対象物の状態に応じてロボットの動作を調整することができます。

これにより、柔らかい食品や傷つきやすい製品、不定形物など、従来のロボットでは扱うことが難しかった対象への応用が可能になります。

さらに、AIが実世界を理解し動作するPhysical AIの発展において、物体との接触から得られる情報は重要なデータとなります。

FingerVisionは、視触覚センシングを起点に、AI・ロボット制御・ロボットハンドを組み合わせた次世代ロボティクスの実現を目指しています。

■ このインターンについて

研究室の中だけではなく、実際に社会で使われるロボットの研究開発に挑戦するインターンです。

FingerVisionでは、視触覚センサから得られる情報を活用し、ロボットが物体の状態を感じ取りながら動作できるシステムを開発しています。

このインターンでは、FingerVisionのエンジニアと一緒に、実際の研究開発テーマに取り組んでいただきます。

主なテーマは、ロボットアームの動作生成・制御です。

センサから得られる情報をもとに、

「どこを掴むか」

「どのような軌道で動かすか」

「対象物の状態が変わったときに、どう動きを変えるか」

を考え、実際のロボット上で実装・検証します。

経験やスキルに応じて、基礎的なロボット制御から、視覚・触覚を用いたフィードバック制御や高度な動作計画まで挑戦していただきます。

■ インターン募集の背景

FingerVisionでは、研究開発だけでなく、製造・食品・物流など実際の顧客現場へのロボット導入を進めています。

ロボティクスの研究開発には、

• 制御
• コンピュータビジョン
• AI・ロボット学習
• センシング
• 機械設計

など、さまざまな技術が関わります。

学生の皆さんにも、既に答えが決まった練習課題ではなく、FingerVisionのエンジニアが実際に取り組んでいる技術課題の一部を担当していただきたいと考えています。

大学・大学院で学んできた知識を、実際のロボットと社会課題に対して使ってみたい方を歓迎します。

■ 仕事内容

ロボットアームの動作生成・制御

PythonやC++を用いて、ロボットアームを動かすプログラムを開発します。

• ロボットアームの制御
• 把持動作の実装
• 軌道計画
• 動作生成プログラムの開発
• 実機を用いた動作確認
• 評価結果をもとにした改善

視覚・触覚を使ったロボット制御

経験に応じて、カメラやFingerVisionの視触覚センサから得られる情報を使った制御にも取り組みます。

• センサ情報の取得・利用
• 視覚情報を用いた動作補正
• 視触覚情報を用いたフィードバック制御
• 物体の滑り・接触状態等に応じた動作調整

ロボットの動作計画

より経験のある方には、目的を達成するための動作をロボット自身が決めるための技術にも取り組んでいただきます。

• 把持計画
• 軌道計画
• 複数動作を組み合わせた行動計画
• より高度なロボット制御の研究・実装

その他の研究開発テーマ

経験・専門性やプロジェクト状況に応じて、以下のようなテーマに関わる可能性もあります。

• コンピュータビジョン
• ロボット学習
• 模倣学習
• 画像認識
• センサデータ解析
• ロボットハンドの制御
• 顧客課題を想定したロボットシステムの開発

■ 必須スキル・経験

• 大学・大学院・高等専門学校等で、ロボティクス、情報工学、機械工学、制御工学、AI等を学んでいる方
• Pythonを用いたプログラミング経験
• ROSを用いたロボット開発の基礎知識または経験
• ロボットアーム・マニピュレータの制御に関する基礎知識
• 自ら調べながら技術課題へ取り組める方

加えて、以下のいずれかの経験を歓迎します。

• PythonまたはC++からロボットアームを動かした経験
• ロボットの軌道計画・動作計画に関する経験

■ 歓迎スキル・経験

• C++を用いた開発経験
• ROS / ROS2を用いたロボット開発経験
• MoveIt等を用いた軌道計画経験
• 産業用ロボット・協働ロボットを動かした経験
• ロボットハンド・グリッパーを扱った経験
• カメラを用いたロボット制御経験
• コンピュータビジョンに関する知識
• 機械学習・深層学習に関する知識
• 強化学習・模倣学習・ロボット学習に関する知識
• 研究室等で実機ロボットを用いた研究経験

■ 求める人物像

• ロボットを実際に動かしながら試行錯誤することが好きな方
• 授業や研究で学んだ技術を、実際の製品・社会課題に使ってみたい方
• 分からないことを自ら調べ、エンジニアへ質問しながら前へ進められる方
• 失敗した原因を考え、何度も試すことを楽しめる方
• 自分の専門分野だけでなく、周囲の技術にも興味を持てる方
• 新しい技術や研究テーマに挑戦することが好きな方
• 将来、ロボティクスやPhysical AIの分野で活躍したい方

■ このインターンで得られる経験

1. 実際のロボットを使った研究開発

シミュレーションや練習課題だけではなく、実際のロボットアームやセンサを使って開発します。

コードを書く → ロボットを動かす → 結果を見る → 改善する

という、ロボティクス開発ならではの経験を積むことができます。

2. 視覚・触覚を組み合わせたロボット制御

一般的なカメラだけでなく、FingerVision独自の視触覚センサを使ったロボット制御に触れることができます。

ロボットが対象物に「触れた情報」を使って動きを変えるという、新しいロボティクス領域に挑戦できます。

3. 現役エンジニアと同じ技術課題に取り組める

インターン専用に切り出された課題だけではなく、経験に応じてFingerVisionのエンジニアが実際に取り組んでいる研究開発テーマにも参加します。

研究成果が、将来的に製品や顧客現場へつながる可能性があります。

4. 幅広いロボティクス技術に触れられる

FingerVisionには、ロボット制御だけでなく、

• コンピュータビジョン
• AI・ロボット学習
• 機械設計
• センサ開発
• ロボットシステム

など、異なる専門性を持つエンジニアがいます。

日々の開発を通じて、自分の専門領域を広げることができます。

5. DeepTechスタートアップの開発現場を経験できる

研究だけでも、大企業の一部の工程だけでもありません。

新しい技術を、

• 研究 → 試作 → 製品開発 → 顧客導入

へつなげていくスタートアップの開発現場を経験できます。

■ Internship Program

The main focus of this internship is hands-on research and development in advanced robotics at FingerVision.

You will work alongside our engineers on real technical challenges involving robot control, tactile sensing, computer vision, and robot learning.

Depending on your skills and experience, projects may include:

• Programming and controlling robot arms
• Grasp and motion planning
• Visual and tactile feedback control
• Computer vision
• Robot learning and imitation learning
• Development and evaluation of robotic systems

Rather than working only on training exercises, you will have the opportunity to contribute to actual R&D topics being explored by FingerVision engineers.