中途_LLMモデル学習・分散学習最適化エンジニア at Fixstars Group — Japan

← Back to job listings

About The Role

数十ノード規模の計算資源をフル活用し、LLMの学習実行・評価からボトルネックの改善までを推進する
仕事概要
【概要】
LLM（大規模言語モデル）の開発における、継続事前学習（CPT）、教師あり微調整（SFT）、
強化学習（RL）の学習実行とパフォーマンス評価・改善を担っていただきます。
実験管理ツールや各種ログから、学習の効率・性能に関するボトルネックを仮説ベースで特定し、
モデルのポテンシャルを最大限に引き出すための検証と改善を主導するポジションです。
現在のLLM開発において、多くのエンジニアが直面している課題の一つが「計算資源の不足や、実験の順番待ちによる開発スピードの停滞」です。
どれだけ優れた仮説があっても、検証環境が限られていれば最適なアプローチを見出すことは困難になります。
当プロジェクトの最大のおもしろさは、数十ノード規模の大規模なGPUクラスタ環境を、順番待ちのストレスなく豊富に活用できる点にあります。
本ポジションでは、インフラの構築そのものではなく、この潤沢な計算資源を最大限に活かし、実際のモデル学習を回しながら
評価結果やログを徹底的に分析していただきます。
「データに基づいて仮説を立て、学習の効率化や性能向上に向けた改善を迅速に回す」という、
モデル開発の本質的なプロセスに集中して取り組める環境です。
【具体的な職務内容】
・大規模言語モデルの開発における継続事前学習（CPT）、教師あり微調整（SFT）、および強化学習（RL）の学習実行と検証
・WandBなどの実験管理ツールを用いた評価結果の調査、および各種ログ分析に基づく学習効率・性能のボトルネック特定
・特定したボトルネックに対する仮説ベースの改善策（ハイパーパラメータや分散トポロジーの調整等）の立案・検証・適用
・モデル学習の効率化や精度向上に向けた、合成データ生成を含むデータパイプラインの運用と評価
・分散学習フレームワークを用いた、モデルの学習安定性およびメモリ効率化に関する検証・チューニング
【従事すべき業務の変更の範囲】
会社の定める業務全般
【プロジェクトのやりがい】
・計算資源の制約や順番待ちに縛られることなく、自身の立てた仮説に基づく大規模な実験・検証を迅速に実行できる
・評価メトリクスやログといった定量データから「どこが詰まっているか」を紐解き、自身のチューニングによって学習効率やモデル性能が向上していく手応えをダイレクトに実感できる
・継続事前学習から強化学習、データ生成まで、LLM開発のライフサイクル全体における「実行・評価・改善」の高度なノウハウを体系的に蓄積できる
【開発環境】
開発環境：Python, PyTorch, Megatron-LM / Megatron Bridge, NVIDIA-NeMo
その他開発環境：AWS (EC2, EKS), AWS ParallelCluster, Slurm, Linux
開発支援ツール：git, GitHub, Docker, WandB (Weights & Biases)
必須スキル
【概要】
LLM（大規模言語モデル）の開発における、継続事前学習（CPT）、教師あり微調整（SFT）、
強化学習（RL）の学習実行とパフォーマンス評価・改善を担っていただきます。
実験管理ツールや各種ログから、学習の効率・性能に関するボトルネックを仮説ベースで特定し、
モデルのポテンシャルを最大限に引き出すための検証と改善を主導するポジションです。
現在のLLM開発において、多くのエンジニアが直面している課題の一つが「計算資源の不足や、実験の順番待ちによる開発スピードの停滞」です。
どれだけ優れた仮説があっても、検証環境が限られていれば最適なアプローチを見出すことは困難になります。
当プロジェクトの最大のおもしろさは、数十ノード規模の大規模なGPUクラスタ環境を、順番待ちのストレスなく豊富に活用できる点にあります。
本ポジションでは、インフラの構築そのものではなく、この潤沢な計算資源を最大限に活かし、実際のモデル学習を回しながら
評価結果やログを徹底的に分析していただきます。
「データに基づいて仮説を立て、学習の効率化や性能向上に向けた改善を迅速に回す」という、
モデル開発の本質的なプロセスに集中して取り組める環境です。
【具体的な職務内容】
・大規模言語モデルの開発における継続事前学習（CPT）、教師あり微調整（SFT）、および強化学習（RL）の学習実行と検証
・WandBなどの実験管理ツールを用いた評価結果の調査、および各種ログ分析に基づく学習効率・性能のボトルネック特定
・特定したボトルネックに対する仮説ベースの改善策（ハイパーパラメータや分散トポロジーの調整等）の立案・検証・適用
・モデル学習の効率化や精度向上に向けた、合成データ生成を含むデータパイプラインの運用と評価
・分散学習フレームワークを用いた、モデルの学習安定性およびメモリ効率化に関する検証・チューニング
【従事すべき業務の変更の範囲】
会社の定める業務全般
【プロジェクトのやりがい】
・計算資源の制約や順番待ちに縛られることなく、自身の立てた仮説に基づく大規模な実験・検証を迅速に実行できる
・評価メトリクスやログといった定量データから「どこが詰まっているか」を紐解き、自身のチューニングによって学習効率やモデル性能が向上していく手応えをダイレクトに実感できる
・継続事前学習から強化学習、データ生成まで、LLM開発のライフサイクル全体における「実行・評価・改善」の高度なノウハウを体系的に蓄積できる
【開発環境】
開発環境：Python, PyTorch, Megatron-LM / Megatron Bridge, NVIDIA-NeMo
その他開発環境：AWS (EC2, EKS), AWS ParallelCluster, Slurm, Linux
開発支援ツール：git, GitHub, Docker, WandB (Weights & Biases)
歓迎スキル
・AWS ParallelClusterやSlurmなどのHPC/クラスタ環境を用いた実務経験
・Megatron BridgeやNVIDIA-NeMo/RLなどの先端フレームワークを用いた最適化経験
・CPT、SFT、強化学習（RL/RLHF）のパイプライン構築や、データ処理（合成データ生成等）の効率化に関する知見
・GPU間通信（NCCL等）のチューニングや、インフラレイヤにおけるボトルネック解析の経験
・関連する技術ドキュメントや論文を読み解き、システム設計へ適用できる能力
求める人物像
・評価結果やログなどの定量的なデータに基づき、仮説ベースでロジカルにボトルネックを紐解き、改善を繰り返せる方
・高い主体性を持ち、環境の強みを活かして自ら進んで実験・検証を推進できる方
・理論的な理解に留まらず、実際の学習プロセスにおける安定動作や効率化といった「実装の質」にこだわりを持てる方
・自身の専門領域に捉われず、データ、モデル、インフラの繋がりを意識した課題解決を楽しめる方
応募概要
給与
600～1010万円
※スキル・ご経験により応相談
諸手当：
・通勤手当：上限6万円/月
・資格手当
・子供手当：一人につき5千円/月
・特別賞与：年2回
・社外常駐手当：4万円/月
・社員旅行の旅費・滞在費
・エンジニア/シニアエンジニア/アドバンストシニアエンジニア(裁量労働制)
月給：500,000円～725,000円（固定残業代含む）
基本給：405,500円～588,000円（固定残業代は月30時間該当分、94,500円～137,000円を支給）
※超過した場合の時間外労働の残業手当は別途支給
・リードエンジニア(裁量労働制)
月給：750,100円～841,800円（固定残業代・役付き手当含む）
基本給：357,600円～431,900円+役付き手当250,000円（固定残業代は月30時間該当分、142,500円～159,900円を支給）
※超過した場合の時間外労働の残業手当は別途支給
・ディレクター(管理監督者)
月給：750,000円～841,700円（役付き手当含む）
基本給：500,000円～591,700円+役付き手当250,000円
※超過した場合の時間外労働の残業手当は別途支給
勤務地
株式会社フィックスターズ本社
東京都港区芝浦1-1-1
BLUE FRONT SHIBAURA TOWER S 31階
【就業場所の変更の範囲】
会社の定める場所（配置転換、出向、転籍の可能性あり）
雇用形態
正社員
勤務体系
裁量労働制適用
所定労働時間：8時間 (推奨：始業時間10:00、終業時間19:00)
休憩時間：1時間
※専門業務型裁量労働制により9時間働いたものとみなします
完全週休2日制(土・日・祝日) 、夏季休暇、年末年始休暇
リモートワークについて：
一部可
※制度としては週2日までが上限となります。
試用期間
あり（3ヶ月）
福利厚生
各種制度：
・社員持株会制度：持株会奨励金として拠出金額の100％を補助
・社外活動費補助：社外セミナー、勉強会、プログラミングコンテスト、国際学会等の参加費用補助
・語学研修補助：オンライン英会話または日本語レッスン費用の半分を補助
・ビジネススキルアップサポート：MBAやPhDの取得希望者に学費等のサポート
・資格取得補助：業務に関連のある資格に対し、合格奨励金の支給や受験料を補助
・産業医によるメンタルヘルスサポート
・ドリンク補助
・書籍購入補助
・キーボードなどの備品購入補助
その他：
・残業時間は月平均20時間
・「エンジニアが主役」がモットーの会社
・Google Workspaceの各種アプリの他、コミュニケーションツールとしてSlack、プロジェクト管理としてGitLabを全社で利用
・勉強会、社内大学等、エンジニアの活動を奨励する成長支援
・部活動（スキー部、ゴルフ部、テニス部、フットサル部、ボードゲーム部）、おやつタイム、社内新聞などの社内交流文化