Ведущий аннотатор кода / Инженер по оценке языковых моделей (по контракту)

Обзор роли

Это контрактная позиция - изначально на 6 месяцев - с возможностью продления. Местоположение: предпочтительно Париж; допускается удаленная работа из Европы для сильных кандидатов

Мы разрабатываем и оцениваем передовые языковые модели (LLM) и ищем опытных инженеров-программистов для присоединения к нашей команде оценки и аннотации. Эта роль сочетает в себе практическую разработку ПО, оценку моделей и прикладной ИИ и играет ключевую роль в повышении надежности моделей, их логики и качества кода.

Вы будете создавать сложные задачи по программированию, оценивать выходные данные моделей по строгим эталонам, выявлять режимы отказов и участвовать в процессах обучения с подкреплением и улучшения моделей.

Это не позиция для начинающих. Мы ищем специалистов с глубоким практическим опытом программирования, которые могут мыслить как инженер и оценщик одновременно.

Ваши обязанности

• Создание качественных задач по программированию и эталонных решений (в формате бенчмарков, например, задачи типа SWE-Bench).
• Оценка выходных данных LLM для генерации кода, рефакторинга, отладки и реализации задач.
• Выявление и документирование отказов моделей, пограничных случаев и пробелов в логике.
• Проведение сравнительных оценок между приватными LLM (на базе Mistral) и ведущими внешними моделями.
• Создание или настройка сред программирования для поддержки оценки и обучения с подкреплением (RL).
• Строгое соблюдение подробных инструкций по аннотации и оценке с высокой степенью согласованности.

Требования к кандидату

• 10+ лет профессионального опыта в разработке ПО
• Сильные навыки Python (обязательно)
• Знание минимум одного дополнительного языка программирования (преимущество)
• 1+ год опыта аннотации кода и/или оценки LLM (частичная занятость допустима) в крупной передовой AI-лаборатории или компании по инфраструктуре ИИ
• Опыт ревью кода является преимуществом
• Доказанная способность применять структурированные критерии оценки и писать четкие технические комментарии
• Свободное владение английским языком (письменное и устное)
• Опыт руководства командой или наставничества является существенным преимуществом

Почему эта роль

• Работа с передовыми LLM
• Применение практического инженерного подхода к оценке и улучшению моделей
• Высоковлиятельная техническая работа в фокусированной команде опытных специалистов