Chuyên gia Annotator Lập trình / Kỹ sư Đánh giá Mô hình Ngôn ngữ Lớn (Hợp đồng)

Tổng Quan Vai Trò

Đây là vị trí làm việc theo hợp đồng - ban đầu 6 tháng - có thể gia hạn dài hạn. Địa điểm: Ưu tiên ứng viên tại Paris; hoặc làm việc từ xa tại châu Âu với ứng viên chất lượng cao

Chúng tôi đang xây dựng và đánh giá các mô hình ngôn ngữ lớn (LLMs) tiên tiến nhất, và đang tìm kiếm kỹ sư phần mềm giàu kinh nghiệm tham gia đội ngũ đánh giá và ghi chú dữ liệu. Vai trò này kết hợp kỹ thuật lập trình thực tế, đánh giá mô hình và ứng dụng AI, đóng vai trò then chốt trong việc nâng cao độ tin cậy, khả năng suy luận và chất lượng mã nguồn của mô hình.

Bạn sẽ thiết kế các bài toán lập trình phức tạp, đánh giá đầu ra của mô hình dựa trên các tiêu chuẩn khắt khe, xác định các lỗi hệ thống, và đóng góp vào quy trình học tăng cường (reinforcement learning) cùng các cải tiến mô hình.

Đây không phải vị trí annotator cấp nhập môn. Chúng tôi tìm kiếm ứng viên có kinh nghiệm lập trình sâu rộng, có tư duy song hành của kỹ sư và chuyên gia đánh giá.

Trách Nhiệm Của Bạn

• Tạo câu hỏi lập trình chất lượng cao cùng lời giải tham khảo (theo phong cách benchmark, ví dụ: bài toán kiểu SWE-Bench).
• Đánh giá đầu ra của LLM trong các nhiệm vụ tạo mã, tối ưu hóa, gỡ lỗi và triển khai.
• Xác định và ghi chép chi tiết các lỗi mô hình, trường hợp ngoại lệ và khoảng trống suy luận.
• Thực hiện đánh giá trực tiếp giữa các LLM nội bộ (dựa trên Mistral) và các mô hình hàng đầu bên ngoài.
• Xây dựng hoặc cấu hình môi trường lập trình hỗ trợ đánh giá và học tăng cường (RL).
• Tuân thủ nghiêm ngặt hướng dẫn annotator và đánh giá với độ chính xác cao.

Yêu Cầu Của Chúng Tôi

• 10+ năm kinh nghiệm phát triển phần mềm chuyên nghiệp
• Thành thạo Python (bắt buộc)
• Kiến thức về ít nhất một ngôn ngữ lập trình khác (ưu tiên)
• 1+ năm kinh nghiệm annotator lập trình và/hoặc đánh giá LLM (có thể bán thời gian) tại phòng thí nghiệm AI hàng đầu hoặc công ty cơ sở hạ tầng AI
• Kinh nghiệm review code là lợi thế
• Khả năng áp dụng tiêu chí đánh giá hệ thống và viết phản hồi kỹ thuật rõ ràng
• Thông thạo tiếng Anh (viết và nói)
• Kinh nghiệm lãnh đạo nhóm hoặc hướng dẫn là ưu tiên cao

Lý Do Chọn Vị Trí Này

• Trực tiếp làm việc với các LLM tiên tiến nhất
• Áp dụng tư duy kỹ thuật thực tế vào đánh giá và cải tiến mô hình
• Công việc kỹ thuật có tác động lớn, làm việc cùng đội ngũ chuyên gia tập trung và giàu kinh nghiệm