मुख्य कोडिंग एनोटेटर / LLM मूल्यांकन इंजीनियर (अनुबंध)
💡 आवेदन टिप: "Braintrust पर मुफ़्त में आवेदन करें" पर क्लिक करने से आप Braintrust की आधिकारिक साइट पर रीडायरेक्ट हो जाएँगे। यह आपके लिए 100% मुफ़्त है और रेफरल बोनस के माध्यम से हमारे प्लेटफ़ॉर्म का समर्थन करने में मदद करता है।
⚠️ अनुवाद सूचना: इस नौकरी की जानकारी AI द्वारा अनुवादित है। किसी भी अस्पष्टता या त्रुटि की स्थिति में अंग्रेज़ी मूल संस्करण को मानें।
भूमिका का अवलोकन
यह एक अनुबंध आधारित नियुक्ति है - शुरूआत में 6 महीने - संभावित लंबी अवधि के लिए। स्थान: पेरिस स्थित प्राथमिकता, अन्यथा मजबूत उम्मीदवारों के लिए यूरोप में दूरस्थ
हम अत्याधुनिक बृहद भाषा मॉडलों (LLMs) का निर्माण और मूल्यांकन कर रहे हैं और हमारी मूल्यांकन और एनोटेशन टीम में शामिल होने के लिए अनुभवी सॉफ्टवेयर इंजीनियरों की तलाश कर रहे हैं। यह भूमिका वास्तविक दुनिया की सॉफ्टवेयर इंजीनियरिंग, मॉडल मूल्यांकन और अनुप्रयुक्त AI के संगम पर स्थित है और मॉडल विश्वसनीयता, तर्क क्षमता और कोड गुणवत्ता में सुधार के लिए महत्वपूर्ण है।
आप कठिन कोडिंग कार्यों की योजना बनाएंगे, कठोर मानकों के खिलाफ मॉडल आउटपुट्स का मूल्यांकन करेंगे, विफलता मोड्स की पहचान करेंगे और पुनर्बलन अधिगम और मॉडल सुधार कार्यप्रवाहों में योगदान देंगे।
यह जूनियर एनोटेशन भूमिका नहीं है। हम उन व्यावसायिकों की तलाश कर रहे हैं जिनके पास गहन कोडिंग अनुभव है और वे इंजीनियर और मूल्यांकक दोनों के रूप में सोच सकते हैं।
आपके क्या कार्य होंगे
- उच्च गुणवत्ता वाले कोडिंग प्रॉम्प्ट और संदर्भ उत्तर तैयार करना (मानक-शैली, उदाहरण के लिए SWE-Bench-जैसी समस्याएं)।
- कोड उत्पादन, पुनर्गठन, डीबगिंग और कार्यान्वयन कार्यों के लिए LLM आउटपुट्स का मूल्यांकन करना।
- मॉडल विफलताओं, किनारे के मामलों और तर्क कमियों की पहचान और दस्तावेजीकरण करना।
- निजी LLMs (Mistral-आधारित) और अग्रणी बाहरी मॉडलों के बीच मुकाबला मूल्यांकन करना।
- मूल्यांकन और पुनर्बलन अधिगम (RL) का समर्थन करने के लिए कोडिंग वातावरण बनाना या कॉन्फ़िगर करना।
- उच्च स्तरीय सावधानी के साथ एनोटेशन और मूल्यांकन दिशानिर्देशों का पालन करना।
हम किसे तलाश रहे हैं
- 10+ वर्षों का पेशेवर सॉफ्टवेयर विकास अनुभव
- मजबूत पायथन कौशल (आवश्यक)
- कम से कम एक अतिरिक्त प्रोग्रामिंग भाषा का ज्ञान (अतिरिक्त अंक)
- 1+ वर्ष का कोडिंग एनोटेशन और/या LLM मूल्यांकन अनुभव (अवैतनिक स्वीकार्य) किसी प्रमुख एआई प्रयोगशाला या एआई आधारित संरचना कंपनी में
- पूर्व कोड समीक्षक अनुभव एक अतिरिक्त लाभ है
- संरचित मूल्यांकन मानदंडों को लागू करने और स्पष्ट तकनीकी प्रतिक्रिया लिखने की साबित क्षमता
- अंग्रेजी में प्रवीण (लिखित और बोली गई)
- टीम नेतृत्व या मार्गदर्शन अनुभव एक मजबूत अतिरिक्त लाभ है
इस भूमिका के क्या लाभ हैं
- अत्याधुनिक LLMs के साथ व्यावहारिक कार्य करना
- मॉडल मूल्यांकन और सुधार में वास्तविक दुनिया की इंजीनियरिंग निर्णय लागू करना
- केंद्रित, वरिष्ठ टीम के साथ उच्च प्रभाव, तकनीकी कार्य
व्यक्तिगत नौकरी अलर्ट प्राप्त करें