طبق این مقاله، بافتهای عصبی را میتوان در زمان واقعی با 16 برابر بیشتر از رویکرد BC ارائه کرد. هزینه رندر 4K 1.15 میلیثانیه است که بالاتر از 0.49 میلیثانیه است (اندازهگیری شده در RTX 4090). اطلاعات بیشتر در 6 آگوست در SIGGRAPH 2023 ارائه خواهد شد.
پیشرفت مداوم فوتورئالیسم در رندر با رشد داده های بافت و در نتیجه افزایش تقاضای ذخیره سازی و حافظه همراه است. برای پرداختن به این موضوع، ما یک تکنیک فشرده سازی عصبی جدید را پیشنهاد می کنیم که به طور خاص برای بافت های مواد طراحی شده است. ما دو سطح بیشتر از جزئیات را باز میکنیم، یعنی 16 × تکسل بیشتر، با استفاده از فشردهسازی با نرخ بیت کم، با کیفیت تصویری که بهتر از تکنیکهای فشردهسازی تصویر پیشرفته، مانند AVIF و JPEG XL است. در عین حال، روش ما امکان فشردهسازی در زمان واقعی و درخواستی را با دسترسی تصادفی مشابه فشردهسازی بافت بلوک در پردازندههای گرافیکی فراهم میکند. این مزیت های فشرده سازی ما را از ذخیره سازی دیسک تا حافظه گسترش می دهد. ایده کلیدی پشت رویکرد ما فشرده سازی چندین بافت مواد و زنجیره های mipmap آنها با هم و استفاده از یک شبکه عصبی کوچک است که برای هر ماده بهینه شده است تا آنها را از حالت فشرده خارج کنیم. در نهایت، ما از یک پیادهسازی آموزشی سفارشی برای دستیابی به سرعتهای فشردهسازی عملی استفاده میکنیم که عملکرد آن از چارچوبهای عمومی، مانند PyTorch، به ترتیبی بزرگتر است.
منبع: NVIDIA
برخلاف الگوریتمهای رایج BCx که به سختافزار سفارشی نیاز دارند، این الگوریتم از روشهای ضرب ماتریس استفاده میکند که اکنون توسط پردازندههای گرافیکی مدرن تسریع میشوند. طبق این مقاله، این باعث می شود الگوریتم NTC به دلیل محدودیت های دیسک و حافظه کمتر، کاربردی تر و قابلیت بیشتری داشته باشد.
محققان NVIDIA الگوریتم فشرده سازی جدیدی را برای بافت های متریال توسعه داده اند.
دسترسی تصادفی و محلی یکی از ویژگی های مهم NTC است. برای فشردهسازی بافت GPU، دسترسی به بافتها با هزینه کم و بدون تأخیر بسیار مهم است، حتی زمانی که نرخ فشردهسازی بالا اعمال میشود. این مقاله ادعا میکند که این تحقیق بر فشردهسازی بسیاری از کانالها و mipmaps (بافتهایی با اندازههای مختلف) با هم تمرکز دارد و با انجام این کار، کیفیت و نرخ بیت بهتر از فرمتهای JPEG XL یا AVIF میشود.
NVIDIA در مقالهای با عنوان «فشردهسازی عصبی با دسترسی تصادفی بافتهای مواد» الگوریتم جدیدی را برای فشردهسازی بافت ارائه میکند. این کار نیازهای روزافزون حافظه رایانه را هدف قرار میدهد، که اکنون بافتهای با وضوح بالا و همچنین بسیاری از ویژگیها و ویژگیهای متصل به آنها را ذخیره میکنند تا موادی با وفاداری بالا و ظاهر طبیعی ارائه دهند.
فشرده سازی بافت عصبی NVIDIA برای فشرده سازی بافت مواد
– فشردهسازی عصبی با دسترسی تصادفی بافتهای مواد، NVIDIA
گفته می شود که NTC 4 برابر وضوح بالاتر (16 تکسل بیشتر) نسبت به BC (فشرده سازی بلوک) ارائه می دهد که یک فشرده سازی بافت استاندارد مبتنی بر GPU است که در بسیاری از فرمت ها موجود است. الگوریتم انویدیا بافت ها را به صورت تانسور (سه بعد)، اما بدون هیچ گونه فرضی مانند فشرده سازی بلوک (مانند تعداد کانال) نشان می دهد. تنها چیزی که NTC فرض میکند این است که اندازه هر بافت یکسان است.