سه بعدی برای همه؟ Magic3D انویدیا می تواند مدل های سه بعدی را از متن تولید کند

روز جمعه، محققان انویدیا Magic3D را معرفی کردند، یک مدل هوش مصنوعی که می تواند مدل های سه بعدی را از توضیحات متن تولید کند. Magic3D پس از وارد کردن پیامی مانند “قورباغه آبی سمی-دارت که روی نیلوفر آبی نشسته است” یک مدل مش سه بعدی، کامل با بافت رنگی، در حدود 40 دقیقه تولید می کند. با تغییراتی، مدل به دست آمده را می توان در بازی های ویدیویی یا صحنه های هنری CGI استفاده کرد.

انویدیا در مقاله آکادمیک خود، Magic3D را به عنوان پاسخی به DreamFusion، یک مدل متن به سه بعدی که محققان گوگل در ماه سپتامبر اعلام کردند، قاب بندی می کند. مشابه نحوه استفاده DreamFusion از یک مدل متن به تصویر برای تولید یک تصویر دوبعدی که سپس به داده های حجمی NeRF (میدان تابش عصبی) بهینه می شود، Magic3D از یک فرآیند دو مرحله ای استفاده می کند که یک مدل درشت تولید شده با وضوح پایین را می گیرد و آن را بهینه می کند. به وضوح بالاتر به گفته نویسندگان مقاله، روش Magic3D حاصل می تواند اشیاء سه بعدی را دو برابر سریعتر از DreamFusion تولید کند.

Magic3D همچنین می تواند ویرایش مبتنی بر سریع مش های سه بعدی را انجام دهد. با توجه به یک مدل سه بعدی با وضوح پایین و یک اعلان پایه، امکان تغییر متن برای تغییر مدل حاصل وجود دارد. همچنین، نویسندگان Magic3D حفظ یک موضوع را در چندین نسل (مفهومی که اغلب انسجام نامیده می شود) و استفاده از سبک یک تصویر دو بعدی (مانند یک نقاشی کوبیست) در یک مدل سه بعدی نشان می دهند.

انویدیا هیچ کد Magic3D را همراه با مقاله آکادمیک خود منتشر نکرد.

توانایی تولید سه‌بعدی از متن مانند یک تکامل طبیعی در مدل‌های انتشار امروزی است که از شبکه‌های عصبی برای ترکیب محتوای جدید پس از آموزش شدید بر روی مجموعه‌ای از داده‌ها استفاده می‌کنند. تنها در سال 2022، ما شاهد ظهور مدل‌های متن به تصویر توانمند مانند DALL-E و Stable Diffusion و تولیدکننده‌های ابتدایی تبدیل متن به ویدیو از Google و Meta بوده‌ایم. گوگل همچنین دو ماه پیش مدل فوق‌الذکر از متن به سه بعدی DreamFusion را معرفی کرد و از آن زمان، افراد تکنیک‌های مشابهی را برای کار با آن به عنوان یک مدل منبع باز مبتنی بر Stable Diffusion تطبیق داده‌اند.

در مورد Magic3D، محققان امیدوارند که به هر کسی اجازه دهد بدون نیاز به آموزش خاص، مدل‌های سه بعدی ایجاد کند. پس از اصلاح، فناوری حاصل می تواند توسعه بازی های ویدیویی (و VR) را سرعت بخشد و شاید در نهایت کاربردهایی در جلوه های ویژه فیلم و تلویزیون پیدا کند. آنها در پایان مقاله خود می نویسند: “امیدواریم با Magic3D بتوانیم سنتز سه بعدی را دموکراتیک کنیم و خلاقیت همه را در تولید محتوای سه بعدی باز کنیم.”