Annotator Koding Utama / Insinyur Evaluasi Model Bahasa Besar (Kontrak)

Ringkasan Peran

Ini adalah posisi kontrak - awalnya 6 bulan - dengan potensi perpanjangan jangka panjang. Lokasi: Berbasis di Paris (prioritas); alternatifnya jarak jauh di Eropa untuk kandidat berkualitas tinggi

Kami sedang membangun dan mengevaluasi model bahasa besar (LLM) terkini dan mencari insinyur perangkat lunak berpengalaman untuk bergabung dengan tim evaluasi dan anotasi kami. Peran ini berada di persimpangan antara rekayasa perangkat lunak nyata, evaluasi model, dan AI terapan, serta menjadi kunci untuk meningkatkan keandalan model, penalaran, dan kualitas kode.

Anda akan merancang tugas koding menantang, mengevaluasi output model terhadap benchmark ketat, mengidentifikasi mode kegagalan, serta berkontribusi pada alur kerja pembelajaran penguatan dan peningkatan model.

Ini bukan posisi anotasi tingkat pemula. Kami mencari praktisi dengan pengalaman langsung dalam pemrograman yang mampu berpikir seperti insinyur maupun evaluator.

Tanggung Jawab

• Membuat prompt koding dan jawaban referensi berkualitas tinggi (berformat benchmark, misalnya soal mirip SWE-Bench).
• Mengevaluasi output LLM untuk tugas generasi kode, refaktorasi, debugging, dan implementasi.
• Mengidentifikasi serta mendokumentasikan kegagalan model, kasus tepi, dan kelemahan penalaran.
• Melakukan evaluasi head-to-head antara LLM internal (berbasis Mistral) dan model eksternal terkemuka.
• Membangun atau mengkonfigurasi lingkungan koding untuk mendukung evaluasi dan pembelajaran penguatan (RL).
• Mengikuti panduan anotasi dan evaluasi dengan konsistensi tinggi.

Kualifikasi

• Pengalaman pengembangan perangkat lunak profesional minimal 10 tahun
• Kemampuan Python yang kuat (wajib)
• Pengetahuan minimal satu bahasa pemrograman tambahan (nilai tambah)
• Pengalaman 1+ tahun dalam anotasi koding dan/atau evaluasi LLM (paruh waktu diperbolehkan) di laboratorium AI atau perusahaan infrastruktur AI terkemuka
• Pengalaman sebelumnya sebagai pemeriksa kode menjadi nilai tambah
• Kemampuan terbukti menerapkan kriteria evaluasi terstruktur dan menulis umpan balik teknis yang jelas
• Mahir berbahasa Inggris (tulisan dan lisan)
• Pengalaman memimpin tim atau membimbing anggota tim menjadi nilai sangat tinggi

Alasan Bergabung

• Bekerja langsung dengan LLM mutakhir
• Menerapkan penilaian rekayasa nyata dalam evaluasi dan peningkatan model
• Pekerjaan teknis berdampak tinggi bersama tim senior yang fokus