رفتن به نوشته‌ها

NextVPU رکورد عملکرد تراشه های AI را در Edge Side شکسته و از “استقرار الگوریتم در عرض 5 دقیقه” پشتیبانی می کند

با هوشمند شدن هر دستگاهی ، فناوری های هوش مصنوعی از تحقیقات دانشگاهی به کاربردهای عملی تبدیل شده و موتور کمک به ده ها صنعت برای “بهبود کیفیت و افزایش کارایی” شده اند. در میان انواع فن آوری های هوش مصنوعی ، بدون شک فناوری AI بینایی رایانه نقطه عطفی برای گشودن آینده هوشمند است. از سیستم کمک راننده گرفته تا تجهیزات اینترنت اشیا، ، از اقتصاد ملی تا معیشت مردم ، بینایی رایانه به طور گسترده ای در صنایع مختلف مورد استفاده قرار گرفته است.

بعنوان یک کشتی جنگی در دریای عمیق دید رایانه ، NextVPU در حال ساخت راه حل های هوشمند از هر دو سخت افزار و نرم افزار بر اساس محصولات تراشه AI و پلت فرم استقرار الگوریتم Infer Studio است. با کمک پلت فرم Infer Studio، ، تراشه های سری N1 NextVPU با موفقیت از اجرای همزمان 11 الگوریتم هوش مصنوعی در یک محصول مصرفی پشتیبانی می کنند.

با کنجکاوی ، این نتیجه چگونه حاصل می شود؟ راه حل هوش مصنوعی مبتنی بر تراشه های سری N1 NextVPU و پلت فرم Infer Studio benefits چه مزایایی برای مشتریان به ارمغان می آورد؟ در بین بسیاری از دستگاه های تراشه هوش مصنوعی ، NextVPU برای ایجاد برتری رقابتی خود به چه ابتکار طراحی محصول اعتماد می کند؟

آلن فنگ، بنیانگذار و مدیرعامل NextVPU ، از فناوری های منحصر به فرد تراشه های AI دید رایانه ای NextVPU و پلت فرم Infer Studio رونمایی کرد.

1. راه حل های بینایی رایانه ای با سخت افزار و نرم افزار یکپارچه شده

همانطور که توسط آلن فنگ، تیم تحقیق و توسعه NextVPU در حال حاضر بیش از 200 کارمند دارد که نسبت مهندسان سخت افزار به مهندسین نرم افزار در حدود 1: 2.2 است. مبتنی بر CVKit ™ NN IP خود توسعه یافته ، NextVPU ماتریس تراشه AI را برای بخشهای مختلف بازار مانند دوربین ، وسیله نقلیه ، دید سه بعدی ایجاد کرده و پلت فرم توسعه برنامه هوش مصنوعی Infer Studio را راه اندازی کرده است.

در ماتریس تراشه AI ، NextVPU امسال سه تراشه بینایی رایانه (N163 ، N161 و N160) را برای ارائه به ترتیب قدرت 2.4 TOPS ، 1.2 TOPS و 1 TOPS منتشر کرد. این تراشه ها می توانند نیازهای مختلف بینایی ماشین ، دوربین های هوشمند ، بازارهای ADAS و AIoT را برآورده کنند. پلت فرم Infer Studio can می تواند به مشتریانی کمک کند که بدون تجربیات مرتبط با هوش مصنوعی به سرعت الگوریتم های هوش مصنوعی و بینایی را به کار می گیرند.

همانطور که توسط آلن فنگتراشه های سری N1 NextVPU پردازنده های AI خالص نیستند بلکه تراشه های SoC کاملاً یکپارچه ای هستند که با تراشه های رایانه ای رایج در بازار متفاوت هستند. این بدان معنی است که تراشه های سری N1 نه تنها توابع اساسی تراشه دید رایانه مانند نمونه برداری سیگنال و پردازش سیگنال را فراهم می کنند ، بلکه از توابع بیشتری نیز پشتیبانی می کنند.

“تراشه های ما معماری بسیار ناهمگنی دارند. با عملکرد عالی در نمونه برداری سیگنال و پردازش سیگنال ، تراشه های ما همچنین انواع رابط های محیطی را ادغام می کنند و انواع مختلفی از ماژول های حافظه را پشتیبانی می کنند. به طور کلی ، تراشه های سری N1 SoC های بسیار جامع و قوی هستند” ، گفت

علاوه بر این، آلن فنگ نظر خود را به اشتراک گذاشت که فقط یک دیدگاه کاملاً یکپارچه کامپیوتری SoC برای تأمین تقاضای بازار کافی نیست و برای گسترش الگوریتم های هوش مصنوعی به کاربردهای عملی نیز باید کارایی پشتیبانی سخت افزاری از الگوریتم های AI بهبود یابد. وی گفت ، “قرار دادن خواسته مشتری در تراشه ها و فروش تراشه به آنها واقع بینانه نیست و فروشندگان در واقع باید درک عمیقی از برنامه ها و الگوریتم های هوش مصنوعی داشته باشند.”

پلتفرم Infer Studio by با پشتیبانی نه تنها از عملیات شبکه عصبی بلکه از روشهای کلی ریاضی ، کارایی استقرار الگوریتم را نیز بهبود می بخشد. در کاربردهای عملی ، الزامات تکرار سریع الگوریتم های کاربر را برآورده می کند.

2. تراشه های سری N1: سرعت و دقت معیارهای اصلی عملکرد هستند.

همه برنامه های هوش مصنوعی به دنبال تراشه های ایده آل AI هستند که تعادل بین عملکرد ، مصرف برق و هزینه را به دست آورد. تراشه های AI از چندین جنبه اندازه گیری می شوند ، مانند عملکرد محاسباتی که می توان به ازای هر دلار بدست آورد ، عملکردی که می تواند در هر کیلووات ساعت (KWH) برق بدست آورد ، هزینه استقرار الگوریتم و ثبات و قابلیت اطمینان تراشه خودش در این میان ، قدرت محاسبه هر TOPS مورد ادعای فروشندگان تراشه با تعداد واقعی فریمهای پردازش شده در ثانیه مطابقت دارد (مانند تصاویر یا فیلم ها) ، و حفظ دقت الگوریتم در تبدیل از آموزش مدل شبکه عصبی بسیار مهم است. به استقرار مدل.

همانطور که توسط NextVPU به اشتراک گذاشته شده است ، با توجه به نتایج آزمون تراشه های N161 در شبکه های عصبی مختلف ، تعداد تصاویر استنباط شده توسط تراشه های N161 در ثانیه در هر TOPS ، یک سطح پیشرو در صنعت را نشان می دهد. علاوه بر این ، تراشه N161 همچنین عملکرد قوی خود را در پشتیبانی از شبکه دقیق FP16 نشان می دهد.

هنگام اجرای الگوریتم های شبکه عصبی ، بهره مندی از معماری کاملاً جدید CVKit ™ NN IP ، پردازنده روی تراشه N161 در محاسبه شرکت نمی کند (میزان استفاده از پردازنده به طور مداوم کمتر از 1٪ است). بنابراین ، قدرت محاسبه پردازنده به طور کامل برای استفاده مشتریان محفوظ است.

از نظر عملکرد محاسبات ، NextVPU نتایج در حال اجرا تراشه N161 را در 9 شبکه عصبی ثبت کرده و نتیجه را با یک تراشه شاخص صنعت در 5 شبکه عصبی مقایسه کرده است.

همانطور که در نتایج مقایسه نشان داده شده است ، تراشه N161 از تراشه شاخص در هر 5 شبکه عصبی ResNet-50 ، MobilleNetV1 ، MobilleNetV2 ، MobilleNetV1-SSD و YOLOV3 بهتر عمل می کند.

علاوه بر عملکرد محاسبات ، دقت محاسبات نیز شاخص کلیدی برای اندازه گیری تراشه AI است. این به این دلیل است که از دست دادن دقت ناشی از تبدیل نوع داده باعث افزایش هزینه در فرآیند آموزش مدل شبکه عصبی و استقرار مدل می شود.

با استفاده از ماشین خرده فروش بدون سرنشین ، اگر الگوریتم تشخیص شی (دقت و صحت کالا در این زمینه) الگوریتم 1٪ در کاربرد واقعی کاهش یابد ، میزان ضرر و هزینه بهره برداری به میزان قابل توجهی افزایش می یابد.

NextVPU نتایج آزمایش تراشه N161 را که در 7 شبکه عصبی تحت دقت PC8 NCNN FP32 و N161 در سطح INT8 اجرا می شود ، ضبط کرده و هنگام اندازه گیری مدل از FP32 به INT8 ، افت دقت را محاسبه کرده است.

با توجه به نتایج آزمون در 7 شبکه ، تمام افت دقت کمیابی N161 از FP32 به INT8 کمتر از 1٪ است. بنابراین تراشه N161 از استقرار مستقیم مدل های الگوریتم در شبکه FP16 بدون از دست دادن دقت پشتیبانی می کند.

شبکه تست

شبکه
اندازه

PC NCNN FP32
دقت، درستی

هیئت مدیره
INT8
دقت، درستی

GoogleNet_V1 / Inception
v1

224x224x3

top_1 = 0.661
top_5 = 0.884

top_1 = 0.653
top_5 = 0.886

mobilenetv1

224x224x3

top_1 = 0.698
top_5 = 0.904

top_1 = 0.695
top_5 = 0.903

mobilenetv2

224x224x3

top_1 = 0.713
top_5 = 0.895

top_1 = 0.711
top_5 = 0.892

resnet18

224x224x3

top_1 = 0.664
top_5 = 0.889

top_1 = 0.670
top_5 = 0.886

resnet50

224x224x3

top_1 = 0.743
top_5 = 0.926

top_1 = 0.743
top_5 = 0.921

SENet-R50

224x224x3

top_1 = 0.760
top_5 = 0.936

top_1 = 0.763
top_5 = 0.935

squeezenet_v1.1

227x227x3

top_1 = 0.577
top_5 = 0.966

top_1 = 0.577
top_5 = 0.798

  • تقریباً هیچگونه از دست دادن دقت در شبکه کوانتاسیون N161 INT8 وجود ندارد

3. Infer Studio Res: حل نقاط درد استفاده از الگوریتم

چالش استقرار هوش مصنوعی ، از یک سو ، این است که کل صنعت فوراً به تراشه های “مناسب” با عملکرد عالی ، هزینه ، مصرف برق نیاز دارد و از طرف دیگر ، برای استقرار الگوریتم هوش مصنوعی در برنامه های کاربردی ، هزینه های بالایی را برای کسب نیاز دارد. مهارت و مهارت مناسب AI. در حال حاضر ، مورد اخیر به یک مشکل فزاینده برای استفاده از هوش مصنوعی در کل صنعت تبدیل شده است.

برای حل این مشکل ، NextVPU پلت فرم توسعه نرم افزار AI Infer Studio را راه اندازی کرده است. Infer Studio ™ می تواند الگوریتمی را به فایلی تبدیل کند که تراشه بتواند آن را بخواند تا الگوریتم به سرعت مستقر شود. به این ترتیب تجربه توسعه “با یک کلیک” را به توسعه دهندگان می دهد.

به عنوان نمونه یک پروژه ADAS (Advanced Assistant Assist System) ، برای بررسی اینکه راننده هنگام صحبت با یک وسیله نقلیه ، تلفن یا دوازدهم صحبت می کند ، سیستم باید وضعیت چشم راننده را کنترل کند و اینکه آیا راننده تلفن خود را دارد یا گوش او به طور کلی ، استقرار چنین الگوریتمی در سیستم تعبیه شده حداقل یک هفته طول می کشد. در مقابل ، با کمک پلت فرم توسعه Infer Studio، ، الگوریتم می تواند به سرعت در دستگاه تدوین و مستقر شود.

در این فرآیند ، از طریق اتصال ماژول ها ، توسعه دهندگان می توانند بر اساس نیازهای کاربردی خود ، ماژول های عملکردی را با انعطاف پذیری ترکیب کنند یا برخی از ماژول های الگوریتم را در صورت لزوم حذف ، جایگزین و اضافه کنند. تمام کارهای ساخت خط لوله را می توان از طریق تجسم یا پیکربندی چند خط کد بدست آورد ، که به طور قابل توجهی زمان توسعه الگوریتم AI را کاهش می دهد.

علاوه بر سناریوهای خودرو ، پلت فرم توسعه Infer Studio همچنین می تواند روند جمع آوری الگوریتم به استقرار برنامه برای سناریوهای برنامه مانند طبقه بندی اشیا ، تشخیص چهره ، تشخیص وسیله نقلیه و تقسیم بندی اشیا و غیره را تسریع کند.

چه فناوری های مشکی NextVPU برای پشتیبانی از تجربه توسعه “با یک کلیک” در Infer Studio ارائه می دهد؟

پلتفرم توسعه Infer Studio supports از چارچوبهای اصلی مانند TensorFlow ، TensorFlow Lite ، ONNX و Caffe پشتیبانی می کند تا توسعه دهندگان بتوانند آنها را در صورت لزوم انتخاب کنند. در لایه نرم افزار ، Infer Studio four چهار ماژول عملکرد را فراهم می کند: تجسم مدل ، کامپایلر ، ارزیابی کننده و اشکال زدایی.

  • ماژول Visualization Model می تواند کد پیچیده شبکه الگوریتم موجود در سمت PC را به نمودار شبکه تبدیل کند تا توسعه دهندگان بتوانند ساختار و ویژگی های شبکه را به صورت شهودی تجزیه و تحلیل کنند.
  • ماژول کامپایلر می تواند الگوریتم های توسعه یافته بر اساس چارچوب جریان اصلی AI را به پرونده هایی که توسط تراشه های AI قابل خواندن هستند تبدیل کند و عملکرد فشرده سازی را به طور همزمان تکمیل کند. این همچنین اندازه مدل الگوریتم را کاهش می دهد تا الگوریتم بتواند روی دستگاه های ترمینال با فضای ذخیره سازی محدود مستقر شود و عملکرد استنتاج شبکه را بهبود بخشد.

    علاوه بر این ، کامپایلر از گزینه های بهینه سازی مانند همجوشی اپراتور و پیش تلفیق پشتیبانی می کند و عملکرد استنباط تراشه های AI را بیشتر می کند.

  • ماژول ارزیاب می تواند به سرعت ارزیابی کند که آیا الگوریتمی به درستی روی تراشه AI کار می کند و آیا از قابلیت محاسبات تراشه کاملاً استفاده شده است. علاوه بر این ، می تواند از طریق طبقه بندی ، شناسایی و تقسیم بندی ، اثر الگوریتم شبکه را بر روی تصاویر آزمایش شده ارائه دهد.
  • ماژول Debugger می تواند به طور موثر مشکلات انحراف و سازگاری را که در روند انتقال الگوریتم از کامپیوتر به سیستم تعبیه شده وجود دارد ، تجزیه و تحلیل کند. کاربران می توانند داده های هر لایه را در عملکرد الگوریتم صادر کنند و آنها را با لایه مربوطه الگوریتم اصلی مقایسه کنند تا در هر زمان خطاها پیدا و رفع اشکال شوند.

    علاوه بر این ، NextVPU پشتیبانی فنی از مشتریان را با توجه به نیاز آنها در روند اجرای تراشه های سری N1 فراهم می کند. “ما تعامل بسیار نزدیک با مشتریان خود برقرار کرده و بسیاری از نیازهای آنها را در تراشه ها و ابزارهای نرم افزاری خود ادغام کرده ایم.” آلن فنگ گفت

4. خلاصه: راه حل های بینایی رایانه با سخت افزار و نرم افزار مجتمع شده

NextVPU ، از معنای “Vision Power Unlimited” نشات گرفته است. در موج فزاینده هوش مصنوعی ، NextVPU در حال حرکت از دید کامپیوتر است تا نقش “توانمندسازی” بازیکنان را در زمینه دوربین های هوشمند ، بینایی ماشین ، ADAS و AIoT به عهده بگیرد.

NextVPU به عنوان یک بازیگر اصلی در زمینه طراحی تراشه های AI ، نه تنها پیشرفت های مداوم در فن آوری های اصلی تراشه های AI ایجاد می کند ، بلکه ابزارهای توسعه “با یک کلیک” را برای پشتیبانی جامع محصول از سخت افزار به نرم افزار به مشتریان ارائه می دهد.

علاوه بر اشتراک نظرات NextVPU در مورد طراحی محصول ، آلن فنگ اشاره کرد که بازار بینایی رایانه همچنان در حال رشد است ، این بدان معناست که شرکتهای تراشه بینایی رایانه ای مانند NextVPU نمی توانند تجربه زیادی از صنعت بیاموزند بلکه فقط خودشان کاوش می کنند و به جلو حرکت می کنند. انتظار می رود که از طریق اکتشاف پیشینیان ، مانند NextVPU ، چشم انداز هوش مصنوعی بتواند در طیف وسیع تری به کار گرفته شود و به صنعت کمک کند تا کیفیت و بهره وری را به طور چشمگیری بهبود بخشد.

منبع NextVPU

منتشر شده در جدید ترین اخبار

دیدگاه‌ها غیرفعال هستند.