Punong Tagapagpaliwanag ng Code / Engineer sa Pagsusuri ng LLM (Kontrata)

Buod ng Papel

Ito ay isang pakikipagtulungan sa kontrata - paunang 6 na buwan - na may potensyal para sa mahabang panahon ng pagtatrabaho. Lokasyon: Gustong-gusto ang base sa Paris; kung hindi, malayuang trabaho sa Europa para sa mga karapat-dapat na kandidato

Gumagawa at nagsusuri kami ng mga pinakabagong large language models (LLMs) at naghahanap ng mga may karanasan na software engineer upang sumali sa aming koponan sa pagsusuri at pagpapaliwanag. Ang papel na ito ay nasa intersection ng aktwal na software engineering, pagsusuri ng modelo, at aplikadong AI, at mahalaga ito upang mapabuti ang katiyakan, pag-iisip, at kalidad ng code ng modelo.

Gagawa ka ng mga hamon sa pag-cocode, susuriin ang mga output ng modelo laban sa mahigpit na benchmark, tukuyin ang mga pagkabigo, at mag-aambag sa mga proseso ng pagkatuto sa pagpapalakas at pagpapabuti ng modelo.

Ito ay hindi isang junior na papel sa annotation. Hinahanap namin ang mga praktikong may malalim na karanasan sa pag-cocode na kayang mag-isip tulad ng isang inhinyero at tagasuri.

Gawain Mo

• Gumawa ng mataas na kalidad na mga prompt sa pag-cocode at mga sagot na reperensya (na may estilo ng benchmark, halimbawa: mga problema katulad ng SWE-Bench).
• Suriin ang mga output ng LLM para sa code generation, refactoring, debugging, at mga gawain sa implementasyon.
• Tukuyin at idokumento ang mga pagkabigo ng modelo, edge cases, at mga puwang sa pag-iisip.
• Gawin ang head-to-head na pagsusuri sa pagitan ng mga pribadong LLM (batay sa Mistral) at nangungunang mga modelo mula sa labas.
• Gumawa o i-configure ang mga kapaligiran sa pag-cocode upang suportahan ang pagsusuri at pagkatuto sa pagpapalakas (RL).
• Sundin nang mabuti ang mga gabay sa annotation at pagsusuri na may mataas na konsistensya.

Kung Ano ang Hinahanap Namin

• 10+ taon ng propesyonal na karanasan sa pag-unlad ng software
• Matatag na kasanayan sa Python (kailangan)
• Kaalaman sa kahit isa pang wika sa pag-cocode (dagdag-benswela)
• 1+ taon ng karanasan sa coding annotation at/o pagsusuri ng LLM (pwedeng part-time) para sa isang pangunahing AI lab o kompanya sa imprastraktura ng AI
• Nakaraang karanasan bilang tagasuri ng code ay isang plus
• Nakitang kakayahan na mag-aplay ng istrukturang pamantayan sa pagsusuri at sumulat ng malinaw na teknikal na puna
• Fluwenteng Ingles (nakasulat at pasalita)
• May karanasan bilang lider ng grupo o pagtuturo ay isang malaking plus

Bakit Ito ang Papel

• Aktwal na pagtatrabaho kasama ang pinakabagong LLMs
• Ilapat ang tunay na paghuhusga sa engineering sa pagsusuri at pagpapabuti ng modelo
• Mataas na epekto, teknikal na trabaho kasama ang isang nakatuon, matatag na grupo