arXiv पर 2026 में प्रकाशित एक अध्ययन TrafficSignBench प्रस्तुत करता है - स्वायत्त वाहनों द्वारा सड़क संकेतों के अनुपालन का मूल्यांकन करने के लिए एक अभिनव बेंचमार्क। यह दिखाया गया कि मौजूदा योजनाकार मानक परीक्षणों में उच्च स्कोर प्राप्त करते हैं, जबकि बुनियादी यातायात नियमों का उल्लंघन करते हैं। नया प्लेटफ़ॉर्म 29 हजार विभिन्न परिदृश्यों में वाहनों के व्यवहार का नियंत्रित मूल्यांकन करने की अनुमति देता है, जो सुरक्षा और वास्तविक दुनिया में तैनाती के लिए महत्वपूर्ण है।
मानक स्वायत्त ड्राइविंग मूल्यांकन मेट्रिक्स क्यों अपर्याप्त हैं?
स्वायत्त प्रणालियों का मूल्यांकन करने के लिए वर्तमान बेंचमार्क मुख्य रूप से एकत्रित संकेतकों पर आधारित होते हैं, जैसे कि गंतव्य तक पहुंचने की प्रभावशीलता, टकरावों की संख्या या समग्र ड्राइविंग स्कोर। हालाँकि, ये मेट्रिक्स विशिष्ट यातायात नियमों के उल्लंघन को ध्यान में नहीं रखते हैं। नतीजतन, योजनाकार उच्च अंक प्राप्त कर सकते हैं, जबकि गति सीमा से अधिक हो सकती है, निषेध संकेतों को अनदेखा किया जा सकता है या अवैध पैंतरेबाज़ी की जा सकती है। अध्ययन से पता चलता है कि इस दृष्टिकोण से सुरक्षा का भ्रम पैदा होता है - सिस्टम
अनुसंधान के परिणाम वर्तमान मूल्यांकन विधियों में एक महत्वपूर्ण कमी दर्शाते हैं: कोई ऐसा तंत्र नहीं है जो विशिष्ट नियमों के उल्लंघन को स्पष्ट रूप से पहचान सके। यह सीमा सार्वजनिक सड़कों पर वास्तविक उपयोग के लिए प्रणालियों की विश्वसनीय मूल्यांकन करने में बाधा डालती है, जहां यातायात नियमों का पालन न केवल सुरक्षा बल्कि वैधता का भी मामला है।
स्वायत्त वाहनों में सड़क संकेतों के अनुपालन का मूल्यांकन करने के लिए प्लेटफ़ॉर्म कैसे काम करता है?
TrafficSignBench एक सिमुलेशन-आधारित परीक्षण प्लेटफ़ॉर्म है जो वास्तविक सड़क मानचित्रों और प्रक्रियात्मक रूप से उत्पन्न परिदृश्यों का उपयोग करता है जो यातायात नियमों पर केंद्रित हैं। डिजाइनरों ने एक प्रणाली बनाई है जो न केवल विभिन्न सड़क स्थितियों का अनुकरण करती है, बल्कि स्वचालित रूप से यह भी जांचती है कि क्या वाहन योजनाकार 34 विभिन्न सड़क संकेतों का पालन करता है - ड्राइविंग निषेध से लेकर प्राथमिकता देने की आवश्यकता तक।
इनमें से प्रत्येक नियम को एक स्वचालित उल्लंघन जांचकर्ता के साथ सुसज्जित किया गया है जो बंद परीक्षण लूप के दौरान वास्तविक समय में काम करता है। इस तरह, शोधकर्ता सटीक रूप से यह ट्रैक कर सकते हैं कि सिस्टम कब और कैसे किसी विशिष्ट नियम का उल्लंघन करता है - जिससे कारणों का विश्लेषण करना और मॉडल में सुधार करना संभव हो जाता है।
परीक्षण के परिणाम- उत्कृष्ट परिणाम, लेकिन नियमों का पालन करने में कमी।
शोधकर्ताओं ने 5800 परीक्षण परिदृश्य बनाए और उनका उपयोग मौजूदा योजनाकारों का मूल्यांकन करने के लिए किया। परिणाम आश्चर्यजनक थे- मानक बेंचमार्क में उच्च समग्र स्कोर होने के बावजूद, कई प्रणालियों में विशिष्ट नियमों का पालन करने में गंभीर समस्याएं पाई गईं - उदाहरण के लिए, वे यातायात निषिद्ध संकेतों को अनदेखा करती थीं या चौराहों पर प्राथमिकता नहीं देती थीं।
यह दर्शाता है कि वर्तमान मूल्यांकन मीट्रिक स्वायत्त प्रणालियों के व्यवहार में महत्वपूर्ण कमियों का पता लगाने में सक्षम नहीं हैं। सिस्टम समग्र लक्ष्य के दृष्टिकोण से 'सही' तरीके से काम कर सकता है, लेकिन फिर भी अवैध या खतरनाक तरीके से कार्य कर सकता है - जो सड़क सुरक्षा के लिए एक गंभीर जोखिम पैदा करता है।
नया दृष्टिकोण: सड़क संकेतों के अनुपालन के मूल्यांकन से लेकर मॉडल सुधार तक।
केवल मूल्यांकन करने के बजाय, TrafficSignBench सिस्टम को बेहतर बनाने की भी अनुमति देता है। शोधकर्ताओं ने दिखाया कि सड़क संकेतों से संबंधित स्पष्ट बाधाओं को जोड़कर, मौजूदा योजनाकारों को नियमों का पालन करने वाले प्रक्षेपवक्र विशेषज्ञों में बदला जा सकता है। यह 'ओरेकल' प्रक्षेपवक्रों - यानी आदर्श, कानूनी रूप से अनुपालन करने वाले पथों की स्केलेबल पीढ़ी की अनुमति देता है - जिनका उपयोग सीखने की प्रक्रिया में मॉडल को ठीक करने के लिए किया जा सकता है।
यह दृष्टिकोण स्वायत्त प्रणालियों के विकास के लिए महत्वपूर्ण है: न केवल उनके प्रदर्शन का मूल्यांकन किया जाता है, बल्कि उन्हें सही व्यवहार सीखने का अवसर भी दिया जाता है। यह न केवल प्रभावी बल्कि सही भी सिस्टम बनाने की दिशा में एक कदम है।
TrafficSignBench न केवल मौजूदा प्रणालियों की कमजोरियों को उजागर करता है, बल्कि स्वायत्त मॉडल विकास प्रक्रिया में नए अवसर भी खोलता है। एकीकृत वास्तविक समय उल्लंघन जांच तंत्र के लिए धन्यवाद, शोधकर्ता उस विशिष्ट नियम की पहचान कर सकते हैं जिसे योजनाकार लगातार अनदेखा करता है - उदाहरण के लिए, किसी दिए गए चौराहे पर बाएं मुड़ने का निषेध या दाहिनी ओर से आने वाले वाहनों को रास्ता देने का दायित्व। यह मॉडल के सटीक समायोजन की अनुमति देता है, न कि केवल समग्र प्रदर्शन में सुधार। व्यवहार में, इसका मतलब है कि सिस्टम को न केवल लक्ष्य तक पहुंचने की प्रभावशीलता के आधार पर सिखाया जा सकता है, बल्कि सड़क यातायात के कानूनी और नैतिक सिद्धांतों के आधार पर भी।
यह दृष्टिकोण सार्वजनिक विश्वास बनाने और उन देशों में नियामक आवश्यकताओं को पूरा करने के लिए महत्वपूर्ण है जहां स्वायत्त ड्राइविंग में त्रुटियों के लिए जिम्मेदारी के कानूनी परिणाम हो सकते हैं। लंबी अवधि में, TrafficSignBench वास्तविक सड़कों पर उनके कार्यान्वयन से पहले प्रणालियों की वैधता के लिए एक मानक बन सकता है, न केवल उच्च प्रभावशीलता सुनिश्चित करता है बल्कि कानून का पूर्ण अनुपालन भी करता है। संबंधित विषय: औद्योगिक रोबोटों का कार्यान्वयन।.