پيروي گوگل، اوپن‌اي‌آي و آنتروپيك از دستورالعمل جديد استخراج ديتا

گوگل، آنتروپيك، اوپن‌اي‌آي و مايكروسافت به يك دستورالعمل جديد در فايل robots.txt متعهد شده‌اندكه به ناشران امكان مي‌دهند ترجيحات خود را براي استخراج محتواي‌شان براي آموزش هوش مصنوعي مشخص كنند. به گزارش مهر به نقل از انگجت، اين شركت‌ها تصميم گرفته‌اند از پيشنهادي كه در حال بررسي در كارگروه مهندسي اينترنت (IETF)، نهاد تدوين‌كننده استانداردهاي اينترنت، است، پشتيباني كنند. اين پيشنهاد را كوين كلي، مسوول فني استانداردها در شركت آنتروپيك، ارايه كرده است. همان‌طور كه اوپن‌اي‌آي و گوگل در بيانيه‌هاي خود توضيح داده‌اند، مالكان وب‌سايت‌ها در حال حاضر بايد خزنده‌هاي وب را به‌صورت جداگانه شناسايي كنند و براي هر ارايه‌دهنده هوش مصنوعي، قوانين مستقلي تعريف كنند. پيشنهاد كلي اين فرآيند را ساده‌تر مي‌كند و به چندين شركت هوش مصنوعي امكان مي‌دهد از يك سيگنال مشترك پيروي كنند. براساس اين پيشنهاد، ناشران بايد يك عامل كاربري (User Agent) جديد را در فايل robots.txt تعريف كنند كه به‌طور خاص براي مديريت دسترسي به محتواي وب‌سايت‌ها با هدف آموزش هوش مصنوعي طراحي شده است. خزنده وب يا ربات خزنده، برنامه‌اي خودكار است كه در اينترنت حركت مي‌كند، از صفحات وب‌سايت‌ها بازديد و اطلاعات آنها را جمع‌آوري مي‌كند. اين سازوكار به مالكان وب‌سايت‌ها امكان مي‌دهد خزنده‌هاي مخصوص جمع‌آوري داده براي آموزش مدل‌هاي هوش مصنوعي را مسدود كنند. همچنين بخش «مجاز كردن» (Allow) به مديران وب‌سايت‌ها اجازه مي‌دهد استخراج داده براي آموزش هوش مصنوعي را به بخش‌هاي مشخصي از صفحات محدود كنند. با اين حال، دستورالعمل جديد مربوط به عامل‌هاي كاربري، مانع خزش وب‌سايت‌ها به‌طور كلي نمي‌شود و از نمايش محتواي آنها در نتايج جست‌وجوي گوگل نيز جلوگيري نمي‌كند. براي مثال، گوگل اين دستورالعمل را به عنوان علامت توقف براي رباتي به نام Google-Extended تفسير مي‌كند؛ رباتي كه وب‌سايت‌ها را براي جمع‌آوري محتوا و استفاده از آن در آموزش مدل‌هاي هوش مصنوعي جميناي مي‌خزد. نكته ديگر اينكه اين دستورالعمل نمي‌تواند بر داده‌هايي كه شركت‌ها پيش‌تر استخراج كرده‌اند، تأثير بگذارد. در واقع، اگر خزنده‌اي قبلاً از وب‌سايتي بازديد كرده باشد، شركت مربوطه همچنان به محتواي جمع‌آوري‌شده دسترسي خواهد داشت.