수석 코딩 어노테이터 / LLM 평가 엔지니어 (계약직)

역할 개요

계약직으로 채용되며, 초기 6개월 계약 후 장기 근무 기회가 있을 수 있습니다. 근무지: 파리 거주자 우대, 유럽 내 원격 근무 가능 (우수 후보자에 한함)

우리는 최첨단 대형 언어 모델(LLMs)을 구축 및 평가하며, 평가 및 어노테이션 팀에 합류할 경험 많은 소프트웨어 엔지니어를 모집합니다. 이 역할은 실무 소프트웨어 엔지니어링, 모델 평가, 응용 인공지능(AI) 의 교차점에 위치하며, 모델 신뢰성, 추론 능력, 코드 품질 향상에 핵심적인 역할을 합니다.

당신은 어려운 코딩 과제를 설계하고, 엄격한 벤치마크에 따른 모델 출력을 평가하며, 실패 모드를 식별하고 강화 학습 및 모델 개선 워크플로에 기여하게 됩니다.

이 직무는 주니어 어노테이션 역할이 아닙니다. 엔지니어와 평가자의 사고방식을 모두 갖춘 실무 코딩 경험을 보유한 전문가를 찾고 있습니다.

주요 업무

• 고품질 코딩 프롬프트 및 기준 답변(벤치마크 스타일, 예: SWE-Bench 유형 문제)을 제작합니다.
• 코드 생성, 리팩토링, 디버깅, 구현 과제에 대한 LLM 출력을 평가합니다.
• 모델 실패 사례, 에지 케이스, 추론 한계를 식별하고 문서화합니다.
• Mistral 기반 비공개 LLM과 주요 외부 모델 간 직접 비교 평가를 수행합니다.
• 평가 및 강화 학습(RL) 지원을 위한 코딩 환경을 구축 또는 구성합니다.
• 높은 일관성을 유지하며 상세한 어노테이션 및 평가 가이드라인을 준수합니다.

저희가 원하는 인재상

• 10년 이상의 전문 소프트웨어 개발 경험
• 강력한 Python 역량 (필수)
• 최소 한 가지 추가 프로그래밍 언어 지식 (우대사항)
• 주요 프론티어 AI 연구소 또는 AI 인프라 기업에서 1년 이상의 코딩 어노테이션 및/또는 LLM 평가 경험 (파트타임 가능)
• 이전 코드 리뷰어 경험 우대
• 구조화된 평가 기준 적용 및 명확한 기술 피드백 작성이 가능한 역량 증명
• 영어 능통자 (작문 및 회화)
• 팀 리더 또는 멘토링 경험 보유자 우대

이 직무의 매력

• 최첨단 LLM 기술을 직접 활용하며 일할 수 있습니다.
• 실제 엔지니어링 판단을 모델 평가 및 개선에 적용할 수 있습니다.
• 집중적이고 경력 높은 팀과 함께 고영향 기술 업무를 수행합니다.