د. شنغكاي لياو

تطوير البشر الرقميين متعدد الوسائط والشخصي لتحقيق تفاعل طبيعي بين الإنسان والذكاء الاصطناعي

 مع التقدم السريع في تقنيات الذكاء الاصطناعي التوليدي ونماذج اللغة الضخمة (LLMs)، يبرز البشر الرقميون كحدود جديدة في مجال التفاعل بين الإنسان والحاسوب. على عكس روبوتات الدردشة التقليدية، سيجمع البشر الرقميون في المستقبل بين الإدراك متعدد الوسائط (الرؤية، والصوت، واللغة)، والتجسيد الطبيعي عبر الصور الرمزية الرقمية، ونمذجة السلوك الشخصي لتمكين تواصل واقعي، جذاب، وسلس مع البشر. يهدف بحث مختبر CVLab إلى دفع حدود تقنيات البشر الرقميين من خلال معالجة ثلاثة تحديات علمية رئيسية: تمثيل الهوية عالي الدقة لإنشاء صور رمزية واقعية ومخصصة، وتوليد التفاعل متعدد الوسائط المخصص الذي يلتقط نبرة الصوت الفردية، وتعبيرات الوجه، والإيماءات، بالإضافة إلى تمثيل الذاكرة الديناميكي لدعم التفاعلات المخصصة الواعية بالسياق بمرور الوقت.

ولتحقيق ذلك، سنطوّر نماذج توليد متعددة الوسائط موحّدة تجمع بين النص والصوت والرؤية، مما يمكّن من إنشاء بشر رقميين واقعيين ومعبرين عاطفياً وقادرين على التفاعل في الوقت الفعلي. من خلال الاستفادة من التقدّم في نماذج الانتشار (Diffusion Models)، وتقنيات التصيير العصبي (Neural Rendering)، ونماذج اللغة الضخمة المعززة بالذاكرة، سيمكن لبحثنا إنشاء صور رمزية رقمية تتمتع بشخصيات وقواعد معرفية شبيهة بالبشر، تدعم التفاعل المخصص طويل المدى. ستفتح هذه الابتكارات تطبيقات تحوّلية في مجالات مثل الروبوتات المرافقة، والمساعدات الافتراضية، والتدريب الصناعي، والترفيه الرقمي، مع الإسهام في استراتيجية الثورة الصناعية الرابعة في دولة الإمارات ونمو اقتصادها الرقمي.

وفي النهاية، هدفنا هو إنشاء إطار موحّد للبشر الرقميين المخصصين ومتعددي الوسائط، يدمج تقنيات الإدراك والجيل والذاكرة في الذكاء الاصطناعي. سيمكن ذلك البشر الرقميين من التطور من مجرد صور رمزية ثابتة إلى وكلاء مستقلين وأذكياء عاطفياً وواعين بالسياق، مما يتيح مستويات غير مسبوقة من الطبيعية والكفاءة ورضا المستخدم في التفاعل بين الإنسان والذكاء الاصطناعي.