LegoGPT: الذكاء الاصطناعي يحول الأوامر النصية إلى إبداعات ليغو

أجرى الباحثون في جامعة كارنيجي ميلون تقديم LegoGPT، نظام الذكاء الصناعي الجديد الذي يبني إبداعات ليغو الحقيقية من الأوصاف المكتوبة.

إنها الذكاء الاصطناعي الأول من نوعه الذي لا يتبع فقط تعليمات نصية – مثل “سفينة متدفقة وممتدة”- ولكنه يضمن أيضًا أن الهيكل الناتج مستقر بدنيًا ويمكن بناؤه، طوبة بطوبة.

“لتحقيق ذلك، نقوم ببناء قاعدة بيانات كبيرة الحجم، مستقرة من الناحية الفيزيائية، لتصميمات ليغو، بالإضافة إلى العناوين المرافقة لها”، كما أوضح الفريق في ورقتهم البحثية.

تم تدريب LegoGPT باستخدام أكثر من 47,000 نموذج ليغو مستقر مقترن بعناوين مفصلة تم إنشاؤها بواسطة GPT-4o. تم بناء هذه النماذج من الأشكال ثلاثية الأبعاد، وتحويلها إلى هياكل ليغو، ثم تم اختبار استقرارها في العالم الحقيقي باستخدام محاكاة الفيزياء.

تم وصف كل بنية أيضًا من 24 زاوية حتى يتمكن الذكاء الصناعي من تعلم كيف ينبغي أن تبدو التصميمات المختلفة بالكلمات.

استخدم الفريق تقنية خاصة تُسمى “الرجوع للوراء بوعي الفيزياء”، حيث تتم إزالة الأجزاء غير المستقرة من التصميم وإعادة بنائها حتى يتماسك البنية الكاملة. أدى هذا إلى تحسين معدلات نجاح البناء من 24٪ إلى 98.8٪.

نموذج الذكاء الصناعي، الذي يعتمد على LLaMA-3.2-Instruct التابع لـ Meta، يتنبأ بأي قطعة ليغو يجب وضعها في المرة القادمة – بطريقة مشابهة لكيفية تنبؤ ChatGPT بالكلمة التالية. يتم فحص كل قطعة ليغو مقترحة من حيث مكان الوضع، والحجم، والاصطدامات المحتملة قبل إضافتها إلى النموذج.

يمكن بناء إبداعات LegoGPT من قبل البشر والروبوتات على حد سواء. “تظهر تجاربنا أن LegoGPT ينتج تصميمات ليغو مستقرة، متنوعة، وجميلة جماليًا تتوافق بشكل وثيق مع النصوص المدخلة”، كتب الباحثون.

للآن، يستخدم LegoGPT ثمانية أنواع أساسية فقط من الطوب ويعمل ضمن مساحة 20×20×20، ولكن الفريق يأمل في توسيعها.

مجموعتهم البيانات الكاملة، والكود، والنموذج متاحة مجانًا للوصول، بحيث يمكن للآخرين مواصلة البناء على هذا البحث. بديلاً، يمكنك فقط اللعب والتجربة مع الديمو الخاص بهم.