About The Role

# 1005_機械学習エンジニア（Physical AI / VLM・VLA）【正社員】
## 仕事概要
## ポジションの概要
Physical AIと呼ばれる「VLM（大規模視覚言語モデル）」「VLA（大規模視覚言語行動モデル）」といった視覚と言語と行動を結びつけたマルチモーダルな次世代AIモデルを開発し、当社の「ugo Pro」や新開発のロボットに適用していきます。
以下の3つの開発領域で、AI技術を「実世界の物理的な動き」に繋げる技術開発に取り組んでいただきます：

\*\*エッジAIによる物体検知\*\*: エッジデバイスでのYOLO物体検出のリアルタイム推論
\*\*模倣学習（ugo Pro R&D）\*\*: LeRobotフレームワークを用いたヒューマノイドロボットugo Proの模倣学習と行動生成
\*\*強化学習\*\*: NVIDIA Isaac Labを用いた4足歩行ロボットTerraの強化学習とシミュレーション

カメラ画像から警備・点検現場での異常を検知するモデルの実装とエッジ側へのデプロイ、そして「AIを積んだだけ」ではなく、それがどうユーザーへの価値を提供できるかフィードバックを受けながら開発に取り組んでいただきます。
私たちと一緒に、AIロボットの開発を通じて、労働力不足の解決に挑戦しませんか？
---
## 具体的な仕事内容
AIロボット向けのロボット基盤モデル開発、ファインチューニング、AIモデルのトレーニング、そしてエッジデプロイを担当していただきます。あなたの興味や専門性に応じて、以下の3つの開発領域から担当領域を選択できます。
### 1. エッジAI

YOLOv7-tinyなどの物体検出モデルのエッジデバイスへのデプロイ
量子化によるモデル最適化
C++20によるエッジデバイス向け推論エンジンの開発
カメラ画像からの点検対象認識（計器読み取り、異常検知等）

### 2. 模倣学習（ugo Pro R&D）

LeRobot frameworkを用いたヒューマノイドロボットugo Proの模倣学習
Diffusion Policy、ACT（Action Chunking Transformer）などのアルゴリズム実装
VLM（大規模視覚言語モデル）・VLA（大規模視覚言語行動モデル）の開発・ファインチューニング
Zarr、Safetensorsなどを用いた大規模データセット管理

### 3. 強化学習

NVIDIA Isaac Lab、Isaac Simを用いた4足歩行ロボットの強化学習
不整地認識、段差昇降の強化学習による制御ポリシー開発
シミュレーション環境構築と物理シミュレーション
Weights & Biasesを用いた学習進捗の可視化

### 共通業務

モデル訓練など大規模データセットのデータパイプライン構築
開発したAIモデルの評価と安全性向上
AIモデルとロボット制御システムの統合（行動フィードバックループの開発）
フィールドテストおよび技術検証
他部門との技術調整、要件定義のサポート

---
## 開発環境
### OS・インフラ

OS：Linux (Ubuntu 22.04)
インフラ：AWS, GPU環境（学習用）
その他：Docker, GitHub Actions, AWS Copilot CLI

### 使用言語・技術スタック
#### 1. エッジAI

言語：C++, Python
モデル：YOLOv7-tiny (INT8量子化)
画像処理：OpenCV
最適化：INT8量子化, OpenMP並列化
通信：NATS Pub/Sub, JSON, GStreamer

#### 2. 模倣学習（ugo Pro R&D）

言語：Python
フレームワーク：PyTorch, LeRobot (Hugging Face)
アルゴリズム：Diffusion Policy, ACT (Action Chunking Transformer)など
Physical AI：VLM (Vision-Language Models), VLA (Vision-Language-Action Models)
通信：gRPC / Protocol Buffers

#### 3. 強化学習

言語：Python
フレームワーク：PyTorch, RSL RL (PPO)
シミュレーター：NVIDIA Isaac Lab, Isaac Sim
学習手法：教師-生徒蒸留学習 (Distillation), Actor-Critic

#### 共通技術

画像処理：OpenCV, PIL
モデル最適化：ONNX, TensorRT

### 開発ツール

バージョン管理：Git (Git flow)
コミュニケーション：Slack, Notion
AI支援開発：Claude Code, Codex

---
## このポジションの魅力
### 技術的な魅力
\*\*Physical AI - AIを実世界の物理的な動きに繋げる\*\*
#### 3つの開発領域で最先端技術に挑戦

\*\*エッジAI（AI Toolbox）\*\*

エッジデバイスでのリアルタイム物体検出
INT8量子化、OpenMP並列化などの最適化技術を駆使
ロボットに搭載されたエッジデバイスで動作する実用的なAIシステムの構築

\*\*模倣学習（ugo Pro R&D）\*\*

LeRobot frameworkを用いたヒューマノイドロボットugo Proの模倣学習
VLM/VLAという最先端のマルチモーダルAI技術をロボットに実装
人間のデモンストレーションからロボットが学習する新しい学習手法の開発

\*\*強化学習\*\*

NVIDIA Isaac Lab、Isaac Simを用いた4足歩行ロボットTerraの強化学習
不整地認識、段差昇降など、実世界の複雑な環境でのロボット制御の実現
シミュレーションから実機への転移学習（Sim-to-Real）

#### 共通の魅力

「AIを積んだだけ」ではなく、ロボットの挙動にフィードバックされるループ開発
実機での検証機会が豊富で、実際のロボットが学習して動く様子を目の当たりにできる
あなたの興味や専門性に応じて、3つの開発領域から選択・組み合わせて開発できる

### 組織・カルチャー

多様なバックグラウンドを持つエンジニアが国籍問わず在籍するグローバルな環境
幅広い専門性を持つエンジニアとともに、最先端のロボット開発に挑戦できる環境
得意分野を活かしながら、新しい領域にも挑戦し、スキルを磨ける機会が多くあります
国籍も年代も異なる様々なメンバーがフラットに意見を交わし合い、切磋琢磨できるカルチャー

### キャリア・成長機会

Physical AIという最先端の技術領域でのスペシャリストとして、3つの開発領域（エッジAI、模倣学習、強化学習）でスキルを習得
エッジAI: エッジデバイスでのモデル最適化とリアルタイム推論のエキスパートに
模倣学習: VLM/VLA、LeRobotなど、次世代のロボット学習技術の第一線で活躍
強化学習: Isaac Lab、PPO、蒸留学習など、シミュレーションベースの強化学習のスペシャリストに
将来的には、新規ロボット機種のAIシステム全体をアーキテクト
ゆくゆくは、新規ロボットの立ち上げにおけるソフトウェア開発にも関わるチャンスがあります
フレックス勤務を活用し、働きやすい環境で技術革新に挑戦できます

---
## 参考情報
\*\*▼ コーポレートサイト\*\*
<https://corp.ugo.plus/>
\*\*▼ note\*\*
<https://note.com/ugo_robot>
\*\*▼ podcast ＜ugo Robotics Radio＞\*\*
<https://open.spotify.com/show/51DueB6zSlbVzVXnGehD9y?si=86eaa8dcf06a4471>
---
## 応募時のお願い
\*\*・応募時の書類（履歴書・職務経歴書）はPDF形式にてご提出いただきますようお願い申し上げます\*\*
## 必須スキル
## ポジションの概要
Physical AIと呼ばれる「VLM（大規模視覚言語モデル）」「VLA（大規模視覚言語行動モデル）」といった視覚と言語と行動を結びつけたマルチモーダルな次世代AIモデルを開発し、当社の「ugo Pro」や新開発のロボットに適用していきます。
以下の3つの開発領域で、AI技術を「実世界の物理的な動き」に繋げる技術開発に取り組んでいただきます：

\*\*エッジAIによる物体検知\*\*: エッジデバイスでのYOLO物体検出のリアルタイム推論
\*\*模倣学習（ugo Pro R&D）\*\*: LeRobotフレームワークを用いたヒューマノイドロボットugo Proの模倣学習と行動生成
\*\*強化学習\*\*: NVIDIA Isaac Labを用いた4足歩行ロボットTerraの強化学習とシミュレーション

YOLOv7-tinyなどの物体検出モデルのエッジデバイスへのデプロイ
量子化によるモデル最適化
C++20によるエッジデバイス向け推論エンジンの開発
カメラ画像からの点検対象認識（計器読み取り、異常検知等）

### 2. 模倣学習（ugo Pro R&D）

LeRobot frameworkを用いたヒューマノイドロボットugo Proの模倣学習
Diffusion Policy、ACT（Action Chunking Transformer）などのアルゴリズム実装
VLM（大規模視覚言語モデル）・VLA（大規模視覚言語行動モデル）の開発・ファインチューニング
Zarr、Safetensorsなどを用いた大規模データセット管理

### 3. 強化学習

NVIDIA Isaac Lab、Isaac Simを用いた4足歩行ロボットの強化学習
不整地認識、段差昇降の強化学習による制御ポリシー開発
シミュレーション環境構築と物理シミュレーション
Weights & Biasesを用いた学習進捗の可視化

### 共通業務

モデル訓練など大規模データセットのデータパイプライン構築
開発したAIモデルの評価と安全性向上
AIモデルとロボット制御システムの統合（行動フィードバックループの開発）
フィールドテストおよび技術検証
他部門との技術調整、要件定義のサポート

---
## 開発環境
### OS・インフラ

OS：Linux (Ubuntu 22.04)
インフラ：AWS, GPU環境（学習用）
その他：Docker, GitHub Actions, AWS Copilot CLI

### 使用言語・技術スタック
#### 1. エッジAI

言語：C++, Python
モデル：YOLOv7-tiny (INT8量子化)
画像処理：OpenCV
最適化：INT8量子化, OpenMP並列化
通信：NATS Pub/Sub, JSON, GStreamer

#### 2. 模倣学習（ugo Pro R&D）

言語：Python
フレームワーク：PyTorch, LeRobot (Hugging Face)
アルゴリズム：Diffusion Policy, ACT (Action Chunking Transformer)など
Physical AI：VLM (Vision-Language Models), VLA (Vision-Language-Action Models)
通信：gRPC / Protocol Buffers

#### 3. 強化学習

言語：Python
フレームワーク：PyTorch, RSL RL (PPO)
シミュレーター：NVIDIA Isaac Lab, Isaac Sim
学習手法：教師-生徒蒸留学習 (Distillation), Actor-Critic

#### 共通技術

画像処理：OpenCV, PIL
モデル最適化：ONNX, TensorRT

### 開発ツール

バージョン管理：Git (Git flow)
コミュニケーション：Slack, Notion
AI支援開発：Claude Code, Codex

---
## このポジションの魅力
### 技術的な魅力
\*\*Physical AI - AIを実世界の物理的な動きに繋げる\*\*
#### 3つの開発領域で最先端技術に挑戦

\*\*エッジAI（AI Toolbox）\*\*

エッジデバイスでのリアルタイム物体検出
INT8量子化、OpenMP並列化などの最適化技術を駆使
ロボットに搭載されたエッジデバイスで動作する実用的なAIシステムの構築

\*\*模倣学習（ugo Pro R&D）\*\*

LeRobot frameworkを用いたヒューマノイドロボットugo Proの模倣学習
VLM/VLAという最先端のマルチモーダルAI技術をロボットに実装
人間のデモンストレーションからロボットが学習する新しい学習手法の開発

\*\*強化学習\*\*

NVIDIA Isaac Lab、Isaac Simを用いた4足歩行ロボットTerraの強化学習
不整地認識、段差昇降など、実世界の複雑な環境でのロボット制御の実現
シミュレーションから実機への転移学習（Sim-to-Real）

#### 共通の魅力

「AIを積んだだけ」ではなく、ロボットの挙動にフィードバックされるループ開発
実機での検証機会が豊富で、実際のロボットが学習して動く様子を目の当たりにできる
あなたの興味や専門性に応じて、3つの開発領域から選択・組み合わせて開発できる

### 組織・カルチャー

多様なバックグラウンドを持つエンジニアが国籍問わず在籍するグローバルな環境
幅広い専門性を持つエンジニアとともに、最先端のロボット開発に挑戦できる環境
得意分野を活かしながら、新しい領域にも挑戦し、スキルを磨ける機会が多くあります
国籍も年代も異なる様々なメンバーがフラットに意見を交わし合い、切磋琢磨できるカルチャー

### キャリア・成長機会

Physical AIという最先端の技術領域でのスペシャリストとして、3つの開発領域（エッジAI、模倣学習、強化学習）でスキルを習得
エッジAI: エッジデバイスでのモデル最適化とリアルタイム推論のエキスパートに
模倣学習: VLM/VLA、LeRobotなど、次世代のロボット学習技術の第一線で活躍
強化学習: Isaac Lab、PPO、蒸留学習など、シミュレーションベースの強化学習のスペシャリストに
将来的には、新規ロボット機種のAIシステム全体をアーキテクト
ゆくゆくは、新規ロボットの立ち上げにおけるソフトウェア開発にも関わるチャンスがあります
フレックス勤務を活用し、働きやすい環境で技術革新に挑戦できます

PyTorchまたはTensorFlowを用いた機械学習モデルの開発経験
YOLOv7-tiny, YOLOv8等のYOLOシリーズの使用経験
INT8量子化、モデル圧縮、プルーニングの経験
NVIDIA Jetson等のエッジデバイスへのデプロイ経験
TensorRT, ONNX Runtimeを用いたモデル最適化経験
OpenMP, CUDA等の並列化・高速化技術の経験
NATS, gRPC等のメッセージング・通信プロトコルの実装経験

### 模倣学習（ugo Pro R&D）関連

VLM（Vision-Language Models）、VLA（Vision-Language-Action Models）の開発・ファインチューニング経験
模倣学習（Imitation Learning）の実装経験
LeRobot framework, Hugging Face Transformersの使用経験
Diffusion Policy, ACT (Action Chunking Transformer)等のアルゴリズム実装経験

### 強化学習関連

強化学習（Reinforcement Learning）の実装経験
PPO (Proximal Policy Optimization)等のRLアルゴリズムの実装経験
NVIDIA Isaac Lab, Isaac Simを用いたシミュレーション開発経験
教師-生徒蒸留学習（Distillation）の実装経験
URDFを用いたロボットモデリング経験

### 共通スキル

大規模データセットの前処理・モデル構築・評価・デプロイに至る一連のプロセスをリードした経験
ROS/ROS 2を用いたロボット開発経験
SLAM/Navigation、センサー処理、アーム制御のいずれかのご経験
商用レベルのロバスト性を実現するための技術洗練スキル（製品化追込みスキル）
Git flowワークフローなどを用いた開発経験
技術ロードマップの策定や技術選定の経験

## 求める人物像

フットワークが軽く幅広い事に興味をお持ちの方
新技術への興味をお持ちの方
課題に対して自ら仮説をたて具体的なアクションを実行し改善を継続して実施できる方
エンジニア・ビジネス両面の視点を持ち、プロダクト価値向上に貢献できる方

## 応募概要
### 給与
■想定年収
600万円～ 1000万円(経験能力考慮の上優遇)
### 勤務地
東京都千代田区東神田1-7-8　（本社）
東京都中央区日本橋馬喰町２丁目３−２（開発拠点）
※試用期間終了後、一部リモートワーク可
### 雇用形態
正社員
### 勤務体系
勤務時間（フレックスタイム制、コアタイム：有 11:00～16:00）
10:00〜19:00（実働8時間）
●年間休日125日
●完全週休二日制(土日祝日)
●有給休暇年間20日一斉付与
●夏季休暇（３日）
●年末年始休業（毎年10日前後）
### 試用期間
あり（３ヶ月）
### 福利厚生
●交通費支給
●社会保険完備（雇用保険、労災保険、健康保険、厚生年金保険）
●書籍購入支援制度
●借上社宅制度（現物給与型）

This is an external listing. JobSpring does not represent or verify the employer. Report this listing