Hoofd Coderingsannotator / LLM-evaluatie ingenieur (Contract)
💡 Sollicitatietip: Als je op "Gratis solliciteren op Braintrust" klikt, word je doorgestuurd naar de officiële site van Braintrust. Dit is 100% gratis voor jou en helpt ons platform te ondersteunen via doorverwijsbonussen.
⚠️ Vertaalmelding: Deze vacature-informatie is met AI vertaald. Bij onduidelijkheden of onjuistheden geldt de Engelse originele versie.
Functieoverzicht
Dit is een tijdelijke opdracht - aanvankelijk 6 maanden - met mogelijkheid voor langdurige samenwerking. Locatie: Voorkeur voor woonachtig in Parijs; alternatief Europa op afstand voor sterke kandidaten
We bouwen en evalueren top van de technologie grote taalmodellen (LLMs) en zoeken ervaren software-ingenieurs om ons evaluatie- en annotatieteam te versterken. Deze functie ligt op het snijvlak van praktijkgerichte software-engineering, modelbeoordeling en toegepaste AI en is cruciaal voor het verbeteren van modelbetrouwbaarheid, redeneervermogen en codekwaliteit.
U ontwerpt uitdagende programmeeropdrachten, evalueert modeluitvoer tegen strenge benchmarks, identificeert foutmodi en draagt bij aan workflows voor versterkingsleren en modelverbetering.
Dit is geen junior annotatiefunctie. We zoeken naar praktijkervaren programmeurs met diepgaande coderingservaring die kunnen denken als zowel ingenieur als evaluator.
Wat u zal doen
- Maak hoogwaardige programmeeropdrachten en referentieantwoorden (benchmark-stijl, bijv. SWE-Bench-achtige problemen).
- Evalueer LLM-uitvoer voor codegeneratie, refactoren, debuggen en implementatietaken.
- Identificeer en documenteer modeldefecten, randgevallen en redeneerachterstanden.
- Voer head-to-head evaluaties uit tussen private LLMs (Mistral-gebaseerd) en leidende externe modellen.
- Bouw of configureer programmeeromgevingen ter ondersteuning van evaluatie en versterkingsleren (RL).
- Volg gedetailleerde annotatie- en evaluatiehandleidingen met hoge consistentie.
Wat wij zoeken
- 10+ jaar professionele softwareontwikkelingservaring
- Sterke Python-vaardigheden (verplicht)
- Kennis van minstens één extra programmeertaal (bonus)
- 1+ jaar ervaring met coderingsannotatie en/of LLM-evaluatie (deeltijd mogelijk) bij een belangrijk AI-onderzoeksbedrijf of AI-infrastructuurbedrijf
- Eerdere ervaring als code beoordelaar is een pluspunt
- Bewezen vermogen om gestandaardiseerde evaluatiecriteria toe te passen en duidelijke technische feedback te formuleren
- Vloeiend in het Engels (schriftelijk en mondeling)
- Ervaring in teamleiding of mentoring is een sterk pluspunt
Waarom deze functie
- Werk praktisch met toonaangevende LLM's
- Pas praktijkgerichte engineeringbeoordeling toe op modelverbetering en -evaluatie
- Hoog-impact, technisch werk binnen een gerichte, ervaren teamstructuur
Vacaturemeldingen