上級コーディングアノテーター／LLM評価エンジニア（契約社員）

役割概要

契約期間：初期6ヶ月（長期継続の可能性あり） 勤務地：パリベースが最優先／ヨーロッパ在住のリモート候補者も可

最先端の大規模言語モデル（LLM）の構築・評価を行うため、経験豊富なソフトウェアエンジニアを評価・アノテーションチームに募集しています。本職種は実務的なソフトウェアエンジニアリング、モデル評価、応用AIの交差点に位置し、モデルの信頼性・推論能力・コード品質向上において中心的な役割を果たします。

コーディング課題の設計、厳格なベンチマークに基づくモデル出力評価、故障モードの特定、強化学習およびモデル改善ワークフローへの貢献を担当します。

これはジュニアレベルのアノテーション職ではありません。エンジニアと評価者の双方の視点を持ち、実務的なコーディング経験が豊富な方を求人しています。

主な業務内容

• 高品質なコーディングプロンプトと参照解答の作成（ベンチマーク形式、例: SWE-Bench類似の問題）
• コード生成・リファクタリング・デバッグ・実装タスクにおけるLLM出力の評価
• モデルの故障モード・エッジケース・推論ギャップの特定と文書化
• プライベートLLM（Mistralベース）と主要外部モデル間のヘッドツーヘッド評価の実施
• 評価および強化学習（RL）を支援するコーディング環境の構築・設定
• 詳細なアノテーション・評価ガイドラインの高精度な遵守

求める人物像

• 10年以上のプロフェッショナルなソフトウェア開発経験
• 強固なPythonスキル（必須）
• 少なくとも1つの追加プログラミング言語の知識（尚可）
• 主要なフロンティアAIラボまたはAIインフラ企業での1年以上のコーディングアノテーションおよび/またはLLM評価経験（パートタイム可）
• コードレビューアー経験（尚可）
• 構造化された評価基準の適用および明確な技術的フィードバックの作成能力
• 英語の熟練者（筆記・会話）
• チームリーダーやメンタリング経験（大きな尚可）

この職種の魅力

• 最先端のLLMを実務で活用
• 実世界のエンジニアリング判断をモデル評価と改善に直接反映
• 集中したシニアチームによる高影響力の技術作業