Jurutera Penilaian LLM / Penganotasi Kod Utama (Kontrak)

Gambaran Peranan

Ini adalah penugasan kontrak - pada mulanya 6 bulan - dengan potensi untuk penugasan jangka panjang. Lokasi: Berpangkalan di Paris dipilih; atau bekerja jauh di Eropah untuk calon yang berkualiti tinggi

Kami sedang membina dan menilai model bahasa besar (LLM) terkini dan sedang mencari jurutera perisian berpengalaman untuk menyertai pasukan penilaian dan anotasi kami. Peranan ini terletak di persimpangan kejuruteraan perisian dunia sebenar, penilaian model, dan AI terpakai, dan memainkan peranan penting dalam meningkatkan kebolehpercayaan model, penaakulan, dan kualiti kod.

Anda akan mereka bentuk tugas pengaturcaraan mencabar, menilai output model berdasarkan piawaian ketat, mengenal pasti mod kegagalan, dan menyumbang kepada alur kerja pembelajaran berpenguatan dan peningkatan model.

Ini bukan peranan anotasi peringkat rendah. Kami mencari praktisi dengan pengalaman pengaturcaraan langsung yang mendalam yang mampu berfikir seperti seorang jurutera dan penilai.

Apa Yang Akan Anda Lakukan

• Membuat soalan kod berkualiti tinggi dan jawapan rujukan (berbentuk piawaian, contoh: masalah seperti SWE-Bench).
• Menilai output LLM untuk penjanaan kod, penstrukturan semula, pengimejan pepijat, dan tugas pelaksanaan.
• Mengenal pasti dan mendokumentasikan kegagalan model, kes tepi, dan jurang penaakulan.
• Melakukan penilaian berdepan antara LLM persendirian (berasaskan Mistral) dan model utama luaran.
• Membina atau mengkonfigurasi persekitaran pengaturcaraan untuk menyokong penilaian dan pembelajaran berpenguatan (RL).
• Mematuhi garis panduan anotasi dan penilaian terperinci dengan konsistensi tinggi.

Apa Yang Kami Cari

• 10+ tahun pengalaman pembangunan perisian profesional
• Kemahiran Python yang kuat (diperlukan)
• Pengetahuan sekurang-kurangnya satu bahasa pengaturcaraan tambahan (bonus)
• 1+ tahun pengalaman anotasi pengaturcaraan dan/atau penilaian LLM (separuh masa diterima) di makmal AI hadapan utama atau syarikat infrastruktur AI
• Pengalaman sebelumnya sebagai pemeriksa kod adalah kelebihan
• Kebolehan terbukti untuk menggunakan kriteria penilaian berstruktur dan menulis maklum balas teknikal yang jelas
• Fasih dalam Bahasa Inggeris (tulisan dan lisan)
• Pengalaman memimpin pasukan atau menjadi mentor adalah kelebihan besar

Mengapa Peranan Ini

• Bekerja secara langsung dengan LLM terkini
• Mengaplikasikan pertimbangan kejuruteraan dunia sebenar untuk penilaian dan peningkatan model
• Kerja teknikal yang berkesan tinggi bersama pasukan yang berfokus dan berpengalaman