وجدت دراسة أن ثلث إجابات البحث الذكاء الاصطناعي تحتوي على مزاعم غير مدعومة

تدعي دراسة جديدة أن أدوات الذكاء الصناعي، الأدوات المصممة للإجابة على الأسئلة وإجراء البحوث عبر الإنترنت، تكافح لتحقيق الوعود التي أعطتها.

أفاد الباحثون أن حوالي ثلث الإجابات التي يقدمها محركات البحث التي تعتمد على الذكاء الصناعي التوليدي ووكلاء البحث المعمق تحتوي على ادعاءات غير مدعومة، وتم تقديم العديد منها بطريقة متحيزة أو من جانب واحد.

الدراسة، التي قادها براناف نارايانان فينكيت في مركز Salesforce AI Research، اختبرت أنظمة مثل OpenAI GPT-4.5 و 5، وPerplexity، وYou.com، وBing Chat التابعة لـMicrosoft، وGoogle Gemini. تم تقييم الأجوبة على 303 استفسار على ثمانية معايير، بما في ذلك ما إذا كانت الادعاءات مدعومة بالمصادر.

كانت النتائج مثيرة للقلق. أنتج GPT-4.5 ادعاءات غير مدعومة في 47 في المائة من الأجوبة. كان لدى Bing Chat بيانات غير مدعومة في 23 في المائة من الحالات، بينما بلغت You.com وPerplexity حوالي 31 في المائة.

أداء وكيل البحث العميق لشركة “Perplexity” كان الأسوأ، حيث كان 97.5 في المائة من مزاعمه غير مدعومة. قال “نارايانان فينكيت” لـ مجلة العلوم الجديدة: “كنا بالتأكيد متفاجئين لرؤيتها”.

يشرح الباحثون أن محركات البحث التوليدية (GSEs) ووكلاء البحث العميق (DRs) يفترض أنهم يجمعون المعلومات، يستشهدون بمصادر موثوقة، ويقدمون إجابات طويلة الشكل. ومع ذلك، عند اختبارها في الواقع، غالبا ما تفشل.

أظهرت الإطار التقييمي، الذي يُطلق عليه اسم DeepTRACE، أن هذه الأنظمة تقدم بشكل متكرر “ردودًا مُنحازة ومتأكدة بشكل مفرط على استفسارات النقاش وتتضمن نسب كبيرة من البيانات غير المدعومة من مصادرها الخاصة”، كما لاحظ الباحثون.

تحذر الانتقادات من أن ذلك يقوض ثقة المستخدم. أفادت مجلة New Scientist أن فيليكس سايمون في جامعة أكسفورد قال: “لقد كانت هناك شكاوى متكررة من المستخدمين ودراسات متعددة تُظهر أنه على الرغم من التحسينات الكبيرة، يمكن أن تنتج الأنظمة الذكاء الاصطناعي أجوبة مُنحازة أو مُضللة”.

“بالتالي، يقدم هذا البحث بعض الأدلة المثيرة للاهتمام حول هذه المشكلة التي ستساعد، على الأمل، في تحفيز المزيد من التحسينات في هذا الجانب،” أضاف.

تساءل البعض عن الأساليب المستخدمة، لكنهم اتفقوا على أن الجدارة بالثقة والشفافية ما زالتا تشكلان قضايا خطيرة. كما خلص الباحثون، “الأنظمة العامة الحالية تقصر عن وعدها بتوفير تجميع موثوق به، مستند إلى المصدر.”