ผู้เชี่ยวชาญด้านการจัดทำข้อมูลโค้ด / วิศวกรประเมินผลโมเดลภาษาขนาดใหญ่ (สัญญาจ้าง)

ภาพรวมบทบาท

เป็นตำแหน่งจ้างเหมา - ระยะเวลาเริ่มต้น 6 เดือน - มีโอกาสต่อสัญญาในระยะยาว สถานที่ปฏิบัติงาน: ตั้งอยู่ที่ปารีสเป็นหลัก; หรือทำงานทางไกลในยุโรปสำหรับผู้สมัครที่มีคุณสมบัติเด่น

เรากำลังพัฒนาและประเมินผลโมเดลภาษาขนาดใหญ่ (LLMs) ที่ทันสมัยที่สุด และกำลังมองหาวิศวกรซอฟต์แวร์ที่มีประสบการณ์มาร่วมทีมประเมินและจัดทำข้อมูลของเรา บทบาทนี้อยู่ในจุดตัดระหว่าง วิศวกรรมซอฟต์แวร์ในโลกจริง การประเมินผลโมเดล และ AI ประยุกต์ ซึ่งมีความสำคัญต่อการพัฒนาความน่าเชื่อถือ ความสามารถในการให้เหตุผล และคุณภาพของโค้ดโมเดล

คุณจะออกแบบแบบฝึกหัดการเขียนโค้ดที่ท้าทาย ประเมินผลลัพธ์ของโมเดลตามเกณฑ์มาตรฐานที่เข้มงวด ระบุรูปแบบความล้มเหลว และมีส่วนร่วมในกระบวนการเรียนรู้แบบเสริมแรงและการปรับปรุงโมเดล

นี่คือ ไม่ใช่ ตำแหน่งสำหรับผู้เริ่มต้น เราต้องการผู้ปฏิบัติงานที่มีประสบการณ์การเขียนโค้ดอย่างลึกซึ้ง และสามารถคิดและทำงานได้ทั้งในบทบาทวิศวกรและผู้ประเมิน

หน้าที่ความรับผิดชอบ

• สร้างแบบทดสอบโค้ดและคำตอบอ้างอิงที่มีคุณภาพสูง (ในรูปแบบมาตรฐาน เช่น ปัญหาแบบ SWE-Bench)
• ประเมินผลลัพธ์ของโมเดลภาษาขนาดใหญ่สำหรับงานสร้างโค้ด ปรับปรุงโค้ด แก้ไขข้อผิดพลาด และการพัฒนา
• ระบุและบันทึกข้อผิดพลาดของโมเดล กรณีขอบเขต และช่องว่างในการให้เหตุผล
• ดำเนินการประเมินผลแบบเปรียบเทียบระหว่างโมเดลภาษาขนาดใหญ่ภายใน (Mistral-based) และโมเดลชั้นนำจากภายนอก
• สร้างหรือกำหนดสภาพแวดล้อมการเขียนโค้ดเพื่อสนับสนุนการประเมินผลและการเรียนรู้แบบเสริมแรง (RL)
• ปฏิบัติตามแนวทางการจัดทำข้อมูลและประเมินผลอย่างละเอียดด้วยความแม่นยำสูง

คุณสมบัติที่เราต้องการ

• มีประสบการณ์การพัฒนาซอฟต์แวร์ระดับมืออาชีพ 10 ปีขึ้นไป
• มีทักษะภาษา Python ระดับสูง (จำเป็นต้องมี)
• มีความรู้ในการใช้ ภาษาการเขียนโปรแกรมอย่างน้อยหนึ่งภาษาเพิ่มเติม (เป็นข้อได้เปรียบ)
• มีประสบการณ์ด้านการจัดทำข้อมูลโค้ดและ/หรือการประเมินผลโมเดลภาษาขนาดใหญ่ 1 ปีขึ้นไป (สามารถทำงานแบบพาร์ทไทม์ได้) ในห้องปฏิบัติการ AI ชั้นนำหรือบริษัทโครงสร้างพื้นฐาน AI
• มีประสบการณ์ การทบทวนโค้ด เป็นข้อได้เปรียบ
• พิสูจน์แล้วว่าสามารถใช้เกณฑ์การประเมินผลอย่างเป็นระบบ และเขียนข้อเสนอแนะเชิงเทคนิคที่ชัดเจนได้
• มีความคล่องแคล่วในการใช้ภาษาอังกฤษ (ทั้งการเขียนและการพูด)
• มีประสบการณ์การเป็นหัวหน้าทีมหรือการให้คำปรึกษาเป็นข้อได้เปรียบมาก

ข้อดีของตำแหน่งนี้

• ได้ทำงานร่วมกับโมเดลภาษาขนาดใหญ่ที่ทันสมัยที่สุดโดยตรง
• นำความรู้ด้านวิศวกรรมในโลกจริงมาประยุกต์ในการประเมินและปรับปรุงโมเดล
• ทำงานเชิงเทคนิคที่มีผลกระทบสูงร่วมกับทีมที่มีความเชี่ยวชาญสูงและมุ่งเน้นเป้าหมาย