در حالی که مدل‌های پیشرفته هوش مصنوعی نظیر Sora و Dream Machine توانایی‌های بی‌نظیری در ساخت ویدیوها دارند، اما خروجی‌های آن‌ها فاقد صدا هستند. حالا، دیپ‌مایند گوگل از نسل جدیدی از هوش مصنوعی به نام «V2A» در وب‌سایت deepmind.google پرده‌برداری کرده که قادر به تولید موسیقی متن و صداگذاری برای فیلم‌ها می‌باشد.
دیپ‌مایند، فناوری V2A را به عنوان یک جزء حیاتی در پازل تولید ویدیو با استفاده از هوش مصنوعی مطرح می‌کند. در حالی که شرکت‌های متعددی، از جمله دیپ‌مایند، در توسعه مدل‌های تولید ویدیوی هوش مصنوعی فعالیت دارند، اما این مدل‌ها قادر به ایجاد افکت‌های صوتی هماهنگ با فریم‌های ویدیو نیستند.
شاهکار هوش مصنوعی دیپ‌مایند گوگل در صداگذاری روی ویدیو
با استفاده از هوش مصنوعی V2A دیپ‌مایند، شما قادر خواهید بود تنها با توصیف صوتی (به عنوان مثال، صحنه‌ای که در آن عروس‌دریایی در زیر آب فرو می‌رود و صدای موج‌های اقیانوس شنیده می‌شود)، موسیقی، افکت‌های صوتی و حتی دیالوگ‌ها را به ویدیوهای خود اضافه نمایید. دیپ‌مایند توضیح می‌دهد که مدل V2A با استفاده از ترکیبی از صداها، متن‌های دیالوگ و فیلم‌های آموزشی، به این توانایی دست یافته است.
دیپ‌مایند توضیح می‌دهد که مدل V2A، که با داده‌های متنوعی از جمله ویدیوها، صداها و دیالوگ‌ها آموزش دیده، توانایی ارتباط دادن صداهای متفاوت با صحنه‌های مختلف ویدیویی را کسب کرده است. هنوز جزئیات دقیقی در مورد داده‌های به‌کار رفته برای آموزش این مدل و وضعیت حق کپی‌رایت آن‌ها ارائه نشده است.
هوش مصنوعی Sora چیست؟ باید ببینید تا باور کنید!
در حالی که استفاده از هوش مصنوعی برای تولید صدا پدیده‌ای نوین نیست و شرکت‌هایی مانند Stability AI و ElevenLabs پیشتر مدل‌های مشابهی را معرفی کرده‌اند، دیپ‌مایند مدعی است که فناوری V2A با قابلیت درک فریم‌های ویدیو و هماهنگ‌سازی خودکار صداها با آن‌ها، یک نوآوری منحصربه‌فرد است.