Główny Anotator Kodowania / Inżynier Oceny LLM (umowa zlecenie)
💡 Wskazówka Dotycząca Aplikacji: Kliknięcie „Aplikuj za darmo na Braintrust” przekieruje Cię na oficjalną stronę Braintrust. Jest to dla Ciebie w 100% darmowe i pomaga wspierać naszą platformę dzięki bonusom za polecenie.
⚠️ Informacja o tłumaczeniu: Informacje o tej ofercie zostały przetłumaczone przez AI. W razie nieścisłości lub wątpliwości obowiązuje wersja angielska.
Streszczenie roli
To stanowisko na podstawie umowy zlecenia - początkowo 6 miesięcy - z możliwością przedłużenia. Lokalizacja: Preferowany kandydat z siedzibą w Paryżu; alternatywnie praca zdalna w Europie dla wybitnych kandydatów
Budujemy i oceniamy nowoczesne duże modele językowe (LLM) i poszukujemy doświadczonych programistów, którzy dołączą do naszego zespołu oceny i adnotacji. To stanowisko łączy praktyczną inżynierię oprogramowania, ocenę modeli i zastosowaną sztuczną inteligencję, a jego celem jest poprawa niezawodności modeli, ich rozumowania i jakości kodu.
Zaprojektujesz trudne zadania kodowania, ocenisz wyniki modeli wobec rygorystycznych benchmarków, zidentyfikujesz tryby awarii oraz będziesz wspierać prace nad uczeniem ze wzmocnieniem i optymalizacją modeli.
To nie jest stanowisko dla juniora. Poszukujemy praktyków z głęboką wiedzą praktyczną w zakresie programowania, którzy potrafią myśleć jak inżynier i oceniający jednocześnie.
Twoje obowiązki
- Tworzenie wysokiej jakości promptów kodowych i wzorcowych rozwiązań (w stylu benchmarków, np. problemy typu SWE-Bench).
- Ocena wyników LLM w zakresie generowania, refaktoryzacji, debugowania i implementacji kodu.
- Identyfikacja i dokumentacja błędów modeli, przypadków skrajnych oraz luk w rozumowaniu.
- Przeprowadzanie porównań typu head-to-head między prywatnymi LLM (opartymi na Mistral) a wiodącymi modelami zewnętrznymi.
- Budowanie lub konfigurowanie środowisk kodowania wspierających ocenę i uczenie ze wzmocnieniem (RL).
- Ścisłe przestrzeganie wytycznych adnotacji i oceny z wysokim poziomem spójności.
O co nam chodzi
- 10+ lat doświadczenia zawodowego w tworzeniu oprogramowania
- Silne umiejętności w Pythonie (wymagane)
- Znajomość przynajmniej jednego dodatkowego języka programowania (plus)
- 1+ rok doświadczenia w adnotacji kodowania i/lub ocenie LLM (w tym również część etatu) w renomowanej pracowni AI lub firmie zajmującej się infrastrukturą AI
- Doświadczenie jako recenzenta kodu to dodatkowy atut
- Udowodniona umiejętność stosowania strukturalnych kryteriów oceny i tworzenia jasnej technicznej dokumentacji
- Biegła znajomość języka angielskiego (pisanej i mówionej)
- Doświadczenie w prowadzeniu zespołu lub mentoring to duży plus
Dlaczego warto?
- Praca z najnowocześniejszymi LLM-ami
- Stosowanie praktycznej wiedzy inżynierskiej w ocenie i rozwoju modeli
- Wysoko wpływowa, techniczna praca w zespole doświadczonych specjalistów
Powiadomienia o Pracy