مقاله ارائه شده توسط:
رزا جوادی
مدیر خدمات مهندسی

مقاله ارائه شده توسط:
هری هررا
مهندس همکار

اولین تلفن‌های همراه به معنای واقعی کلمه به اندازه آجر بودند و تنها کاری که می‌توانستند انجام دهند، برقراری تماس تلفنی بود. اکنون به دستگاه تلفن همراه نازک و سبک در نظر بگیرید که به راحتی در جیب شما جای می‌گیرد. علاوه بر برقراری تماس، یک دوربین، ماشین حساب و تقویم است. ایمیل و پیامک دارد. یک تقویم، ردیاب سلامتی، چراغ قوه و موارد دیگر است.

به لطف شگفتی‌های مهندسی، ما توانسته‌ایم به طور مداوم اندازه و وزن دستگاه‌های خود را کاهش دهیم و در عین حال آنها را قدرتمندتر کنیم. ما این کار را کوچک‌سازی می‌نامیم و از فرآیندهای پیشرفته مونتاژ الکترونیکی برای تحقق آن استفاده می‌کنیم.

کوچک‌سازی چیست؟

کوچک‌سازی در دستگاه‌های الکترونیکی شامل جای دادن گره‌های ترانزیستور بیشتر بر روی یک مدار مجتمع (IC) کوچکتر است. سپس IC در سیستم یا دستگاه مورد نظر خود رابط می‌شود تا پس از مونتاژ، سیستم بتواند عملکرد مورد نظر را انجام دهد. این فناوری کوچکتر و در عین حال قدرتمندتر می‌شود.

علاوه بر این، کوچک‌سازی دستگاه با پیش‌بینی گوردون مور در سال 1965 مطابقت دارد که "فشرده کردن اجزای بیشتر بر روی مدارهای مجتمع [منجر به] شگفتی‌هایی مانند کامپیوترهای خانگی، کنترل‌های خودکار برای خودروها و تجهیزات ارتباطی قابل حمل شخصی می‌شود." پیش‌بینی او درست از آب درآمد و دوره‌ای از فناوری را رقم زد که از رایانه‌های قابل حمل، تلفن‌های هوشمند و دستگاه‌های پزشکی جدید گرفته تا اینترنت اشیا و دستگاه‌های بی‌سیم 5G و همچنین AR/VR و هوش مصنوعی، همه با سیستم‌های محاسباتی کوچکتر اما قدرتمندتر امکان‌پذیر شده‌اند.

تصور این فناوری‌های کوچک یک چیز است - فرآیند تولید چیز دیگری است. تولیدکنندگان لوازم الکترونیکی به طور مداوم نوآوری می‌کنند تا بر چالش‌هایی که با رابط شدن قطعات الکترونیکی کوچکتر و قدرتمندتر همراه است، غلبه کنند.

یک تراشه "دای" کوچک و عریان با استفاده از یک فرآیند پیشرفته و دقیق مونتاژ الکترونیکی بر روی یک برد مدار قرار می‌گیرد.

کوچک‌سازی جهان را تغییر خواهد داد. اما فرآیندهای پیشرفته تولید جدید، مانند مونتاژ پیشرفته الکترونیکی، برای مقابله با چالش‌ها و تحقق وعده‌های کوچک‌سازی مورد نیاز است.

چه در حال توسعه سیستم بعدی روی تراشه باشیم و چه در حال اتصال آن به یک دستگاه جدید، مونتاژ پیشرفته الکترونیکی ترکیبی ماهرانه از دانش، دقت و فرآیندهای نوآورانه است که دستگاه‌هایی را که مشتریان ما در یک استودیو تصور می‌کنند، به تولید انبوه و توزیع در سراسر جهان می‌برد.

با کمتر، بیشتر انجام دهید: کوچک‌سازی با آرایه‌های شبکه توپی

یک بسته آرایه شبکه توپی که نمایانگر قسمت بالایی محافظت شده و قسمت پایینی در معرض دید با شبکه‌ای از توپ‌های لحیم است. یک الگوی شبکه از توپ‌های لحیم استفاده می‌شود که در آن هر توپ به عنوان اتصالی بین برد مدار و بسته BGA عمل می‌کند. به این ترتیب، اتصال یک BGA به یک برد مدار چاپی اندازه کلی سیستم را کاهش می‌دهد و در عین حال عملکرد سیستم را افزایش می‌دهد.

یکی از تکنیک‌های کوچک‌سازی، توسعه بسته‌های مدار مجتمع در آرایه‌های شبکه توپی (BGAs) است. طرح‌های BGA امکان اتصالات زیادی را بین مدار مجتمع و برد مدار چاپی فراهم می‌کنند - که توانایی مسیریابی سیگنال‌ها و در نتیجه افزایش قدرت پردازش سیستم در حال مونتاژ را افزایش می‌دهد.

BGAs همچنین قابلیت اطمینان تراشه را بهبود می‌بخشند و از گرم شدن بیش از حد جلوگیری می‌کنند، زیرا امکان کانال‌های حرارتی بیشتر و طول مسیر سیگنال کوتاه‌تر را فراهم می‌کنند. ایجاد اتصالات الکتریکی بیشتر و بهتر، BGAs را به یک عامل کلیدی در کوچک‌سازی فناوری تبدیل می‌کند.

به طور ذاتی، BGAs راهی عالی برای ادغام سیستم‌های حسگری و پاسخگویی فراوان مورد نیاز برای کاربردهایی مانند وسایل نقلیه خودران هستند. سیستم‌های پیشرفته کمک راننده (ADAS) که قطعات حیاتی وسایل نقلیه خودران هستند، به حسگرهای کالیبره شده دقیقی نیاز دارند تا اطلاعات دائماً در حال تغییر اطراف یک خودرو را در حین حرکت در جاده جمع‌آوری کنند. طبق گفته اینتل، "وسایل نقلیه خودران به قدرت محاسباتی لازم برای ادغام حدود 1 گیگابایت در ثانیه اطلاعات از حسگرهای مختلف برای [خروجی] تصمیمات ایمن نیاز دارند."

البته، این سیستم‌ها باید برای برآورده کردن استانداردهای ایمنی، محکم و قابل اعتماد باشند. تحقیقات ارائه شده در کنگره جهانی WCX 2020 SAE، عملکرد BGAs با چگالی بالا را در شرایط حرارتی و ارتعاشی مختلف مورد مطالعه قرار داد و شرایطی را که یک ماژول رانندگی خودکار هنگام نصب تجربه می‌کند، شبیه‌سازی کرد. قابلیت اطمینان یک عامل مهم است که به طور مستقیم بر طراحی و در نتیجه فرآیند مونتاژی که برای ساخت این سیستم‌ها انتخاب می‌کنیم، تأثیر می‌گذارد.

مونتاژ پیشرفته الکترونیکی

مونتاژ پیشرفته الکترونیکی در مقیاس کوچک

علاوه بر BGAs، تکنیک رایج دیگر کوچک‌سازی، استفاده از بسته‌های مقیاس تراشه در سطح ویفر است. بسته‌های مقیاس تراشه در سطح ویفر (WLCSPs) اساساً ICهای میکروسکوپی هستند که به صورت انبوه بر روی یک ویفر ایجاد می‌شوند و بعداً به دای یا تراشه‌های جداگانه حاوی IC با طول و عرض چند میلی‌متر برش داده می‌شوند. در اینجا، اتصالات از اتصالات طلایی جامد، یا برآمدگی‌های طلایی یا سیم‌های طلایی ساخته می‌شوند. این اتصالات طلایی قابلیت اطمینان خود را حفظ می‌کنند، حتی زمانی که به کوچکی 30 میکرون قطر داشته باشند. آنها می‌توانند چند میکرون از هم فاصله داشته باشند.

با کاهش اندازه گره‌های ترانزیستور، می‌توان تراشه‌ها را بدون به خطر انداختن عملکرد، بیشتر کوچک کرد. گاهی اوقات عملکرد آنها حتی با کوچکتر شدن افزایش می‌یابد. این گره‌های ترانزیستور کوچکتر هستند که سیستم‌های قوی‌تر روی تراشه (SoC) را ممکن می‌سازند که می‌توانند وظایف بیشتری را با عملکرد بهتر انجام دهند.

مانند BGAs، اتصالات روی دای IC معمولاً در قسمت زیرین تراشه قابل دسترسی هستند، اما این می‌تواند بسته به طراحی تراشه متفاوت باشد. این انعطاف‌پذیری تراشه‌های IC را متنوع‌تر می‌کند، اما فرآیند مونتاژ پیشرفته الکترونیکی مورد نیاز برای ادغام آنها را پیچیده‌تر می‌کند. فرآیند مورد نیاز برای رابط کردن آنها با دستگاه‌های مورد نظر نیز پیچیده‌تر شده است. اینجاست که هنر با علم ملاقات می‌کند - فرآیند Chip on Board (CoB) وارد می‌شود.

یک دای عریان با توپ‌های لحیم که نحوه هم‌ترازی توپ‌ها با اتصالات روی یک زیرلایه چاپی را نشان می‌دهد.

فرآیند Chip-on-Board چیست؟

Chip-on-Board (CoB) صرفاً یک فرآیند تخصصی برای اتصال تراشه‌های مدار مجتمع به هر زیرلایه یا بردی است. با تنوع گسترده دستگاه‌های فناوری در حال توسعه، اندازه و شکل هر دو IC و زیرلایه بسته به محصول به طور چشمگیری متفاوت است. ما باید از تکنیک‌های پیشرفته مونتاژ الکترونیکی مانند CoB برای زنده کردن این محصولات استفاده کنیم.

هرچند طراحی فرآیندها برای مونتاژ تراشه‌های کوچک و قدرتمند دشوار است، اما نمی‌توانیم بدون آنها به جلو حرکت کنیم. با اعلام سیستم Snapdragon Ride System-on-Chip (SoC) جدید کوالکام که طیف وسیعی از پشتیبانی از وسایل نقلیه خودران را ارائه می‌دهد، صنعت به سازندگان اعتماد دارد تا این تراشه‌ها را با موفقیت ادغام کنند. Chip-on-Board یکی از فرآیندهای پیشرفته مونتاژ الکترونیکی است که ما از آن استفاده خواهیم کرد، زیرا دستگاه‌ها به عملکرد بیشتری در قالب‌های کوچکتر نیاز دارند.

آینده کوچک‌سازی

البته، قانون گوردون مور در مورد فشرده کردن اجزای بیشتر بر روی مدارهای مجتمع، با در نظر گرفتن سرعت انتشار تراشه‌های ترانزیستور کوچک‌تر سازندگان، به نظر می‌رسد که در حال کند شدن است. خود اینتل هنگام نزدیک شدن به گره‌های ترانزیستور در مقیاس نانو با تک رقمی، با چند کندی مواجه شد. و اکنون، سازندگان به دلیل کمبود جهانی زنجیره تأمین اساساً هر نوع قطعه‌ای، با تأخیرهای بیشتری روبرو هستند.

با این حال، محققان در حال بررسی رویکردهای مختلف برای انجام وظیفه سوئیچینگ یا مسیریابی معمولی یک ترانزیستور هستند. در اصل، محققان به دنبال کنترل این مسیریابی سیگنال با دستگاه‌های شبیه به ترانزیستور هستند که در مقیاس نانو و زیر نانومتر خواهند بود.

تحقیقات نتایج امیدوارکننده‌ای را با استفاده از ترانزیستورهای آلی، مواد تخصصی مانند ترانزیستورهای فروالکتریک و حتی ترانزیستورهای کوانتومی نشان داده است که به سخت‌افزار کاملاً متفاوتی نیاز دارد و چشم‌انداز الکترونیکی را همانطور که امروز می‌شناسیم مختل می‌کند. و با تکامل این دستگاه‌های شبیه به ترانزیستور جدید، تیم‌های مونتاژ پیشرفته ما هستند که امکان ادغام آنها را در محصولات در مقیاس جهانی فراهم می‌کنند.

با کوچک‌سازی، محققان امیدوارند برخی از بزرگترین مشکلات بشریت را حل کنند. پیشرفت‌های درخشان جدید از معتبرترین موسسات تحقیقاتی جهان، زندگی طولانی‌تر و سالم‌تر و انرژی پاک‌تری را نوید می‌دهند که همه چیز را از وسایل نقلیه خودران گرفته تا فضاپیما و همه چیز بین آنها تغذیه می‌کند. اما بدون مونتاژ پیشرفته الکترونیکی، این تحقیقات به دست مصرف‌کنندگان نخواهد رسید.

مونتاژ پیشرفته الکترونیکی، تحقیقات را به واقعیت تبدیل می‌کند، راه‌هایی برای ساخت در مقیاس بزرگ، به حداقل رساندن هزینه‌ها و بهره‌گیری از تخصص مهندسی گسترده پیدا می‌کند. چه یک استارتاپ باشید و چه یک رهبر فناوری Fortune 500، اگر در حال ایجاد دستگاه الکترونیکی مخرب بعدی هستید، یک تیم مونتاژ پیشرفته الکترونیکی می‌تواند به شما کمک کند تا بدون توجه به اینکه الکترونیک چقدر کوچک یا پیچیده است، به طور یکپارچه از نمونه اولیه به تولید و توزیع بروید.

وبلاگ Jabil را دنبال کنید

برای به‌روزرسانی‌های هفتگی در مورد آخرین روندها، تحقیقات و بینش‌ها در زمینه فناوری، اینترنت اشیا و زنجیره تأمین ثبت‌نام کنید.


قانون مور، بعد از قانون اهم، شاید دومین قانون مشهور در الکترونیک باشد: تعداد ترانزیستورهایی که می‌توان روی یک مدار مجتمع ساخت، هر دو سال یا بیشتر دو برابر می‌شود. از آنجایی که اندازه فیزیکی تراشه‌ها تقریباً ثابت می‌ماند، این بدان معناست که ترانزیستورهای منفرد با گذشت زمان کوچکتر می‌شوند. ما انتظار داریم نسل‌های جدید تراشه‌ها با اندازه ویژگی‌های کوچکتر به طور منظم وارد بازار شوند، اما دقیقاً هدف از کوچک کردن چیست؟ و آیا کوچکتر همیشه بهتر است؟

**اندازه کوچکتر به معنای عملکرد بهتر است**

مهندسی الکترونیک در طول قرن گذشته به طور چشمگیری پیشرفت کرده است. در دهه 1920، یک رادیو AM پیشرفته شامل چندین لوله خلاء، چند سلف بزرگ، خازن و مقاومت و ده‌ها متر سیم به عنوان آنتن و یک بانک بزرگ باتری برای تأمین انرژی کل آن بود. امروزه، می‌توانید به دوازده سرویس پخش موسیقی در دستگاهی که در جیب شما جای می‌گیرد گوش دهید و کارهای بسیار بیشتری انجام دهید. اما کوچک‌سازی فقط برای سهولت حمل انجام نمی‌شود: برای دستیابی به عملکردی که امروزه از دستگاه‌های خود انتظار داریم، کاملاً ضروری است.

یک ماژول از کامپیوتر IBM 700 دهه 1950. توجه داشته باشید که اندازه تمام اجزا بسیار بزرگ است. اعتبار: autopilot، CC BY-SA 3.0

یکی از مزایای آشکار اجزای کوچکتر این است که به شما امکان می‌دهد عملکرد بیشتری را در یک حجم یکسان جای دهید. این امر به ویژه برای مدارهای دیجیتال مهم است: اجزای بیشتر به معنای پردازش بیشتر در مدت زمان یکسان است. به عنوان مثال، یک پردازنده 64 بیتی از نظر تئوری می‌تواند اطلاعاتی هشت برابر بیشتر از یک CPU 8 بیتی با فرکانس کلاک یکسان پردازش کند. اما به هشت برابر اجزای بیشتر نیز نیاز دارد: رجیسترها، جمع‌کننده‌ها، باس‌ها و غیره همه هشت برابر بزرگتر می‌شوند. بنابراین، یا به تراشه‌ای هشت برابر بزرگتر نیاز دارید، یا ترانزیستورهایی هشت برابر کوچکتر.

همین امر در مورد تراشه‌های حافظه نیز صدق می‌کند: ترانزیستورهای کوچکتر بسازید و فضای ذخیره‌سازی بیشتری را در یک حجم یکسان خواهید داشت. پیکسل‌های بیشتر در نمایشگرهای امروزی از ترانزیستورهای لایه نازک ساخته شده‌اند، بنابراین کاهش مقیاس آنها و دستیابی به وضوح بالاتر نیز منطقی است. با این حال، دلیل دیگری حیاتی وجود دارد که ترانزیستورهای کوچکتر بهتر هستند: عملکرد آنها به طور چشمگیری افزایش می‌یابد. اما دقیقاً چرا؟

**همه چیز در مورد پارازیت‌ها است**

نموداری که ظرفیت‌های انگلی یک ترانزیستور را نشان می‌دهد. اعتبار: Michel Bakni، CC BY-SA 4.0

هر زمان که یک ترانزیستور می‌سازید، چند جزء اضافی به صورت رایگان همراه با آن دریافت می‌کنید. مقاومت سری با هر یک از ترمینال‌ها وجود دارد. هر چیزی که جریان را حمل می‌کند، خود القایی نیز دارد. و در نهایت، ظرفیت بین هر دو هادی که رو به روی هم قرار دارند وجود دارد. همه این اثرات باعث اتلاف توان و کند شدن ترانزیستور می‌شوند. ظرفیت‌های انگلی به ویژه مشکل‌ساز هستند: آنها باید هر بار که ترانزیستور روشن یا خاموش می‌شود شارژ و تخلیه شوند، که زمان و جریان را از منبع می‌گیرد.

ظرفیت بین دو هادی تابعی از اندازه فیزیکی آنها است: ابعاد کوچکتر به معنای ظرفیت‌های کوچکتر است. و از آنجایی که ظرفیت‌های کوچکتر به معنای سرعت بالاتر و همچنین توان کمتر است، می‌توان ترانزیستورهای کوچکتر را با فرکانس کلاک بالاتری اجرا کرد و در حین انجام این کار گرمای کمتری را تلف کرد.

ظرفیت تنها اثری نیست که هنگام کاهش مقیاس یک ترانزیستور تغییر می‌کند: اثرات عجیب و غریب مکانیک کوانتومی زیادی وجود دارد که برای دستگاه‌های بزرگتر آشکار نیستند. با این حال، به طور کلی، کوچک کردن ترانزیستورها آنها را سریعتر می‌کند. اما الکترونیک چیزی فراتر از ترانزیستورها است. وقتی مقیاس سایر اجزا را کاهش می‌دهید، چه اتفاقی می‌افتد؟

**نه خیلی سریع**

به طور کلی، اجزای غیرفعال مانند مقاومت‌ها، خازن‌ها و سلف‌ها هنگام کوچک شدن خیلی بهتر نمی‌شوند: در بسیاری از جهات، بدتر می‌شوند. کوچک‌سازی این اجزا بنابراین عمدتاً فقط برای اینکه بتوان آنها را در حجم کوچکتری جای داد و در نتیجه در فضای PCB صرفه‌جویی کرد، انجام می‌شود.

مقاومت‌ها را می‌توان بدون زیان زیادی کوچک کرد. مقاومت یک قطعه ماده توسط  داده می‌شود، که در آن l طول، A سطح مقطع و ρ مقاومت ماده است. شما به سادگی می‌توانید طول و سطح مقطع را کاهش دهید و به مقاومتی برسید که از نظر فیزیکی کوچکتر است، اما همچنان مقاومت یکسانی دارد. تنها عیب این است که یک مقاومت از نظر فیزیکی کوچک در هنگام اتلاف مقدار یکسانی توان، نسبت به یک مقاومت بزرگتر گرم می‌شود. بنابراین، از مقاومت‌های کوچک فقط می‌توان در مدارهای کم‌مصرف استفاده کرد. جدول زیر نشان می‌دهد که چگونه حداکثر توان مقاومت‌های SMD با کاهش ابعاد آنها کاهش می‌یابد.

| متریک | امپریال | توان (وات) |
| --- | --- | --- |
| 2012 | 0805 | 0.125 |
| 1608 | 0603 | 0.1 |
| 1005 | 0402 | 0.06 |
| 0603 | 0201 | 0.05 |
| 0402 | 01005 | 0.031 |
| 03015 | 009005 | 0.02 |

کوچک، کوچکتر، کوچکترین: مقاومت‌های کوچک در مقایسه با سرب مداد مکانیکی 0.5 میلی‌متری. اعتبار: Rohm Semiconductor

امروزه، کوچکترین مقاومت‌هایی که می‌توانید بخرید، اندازه متریک 03015 (0.3 میلی‌متر x 0.15 میلی‌متر) هستند. با توان نامی تنها 20 میلی‌وات، آنها فقط در مدارهایی استفاده می‌شوند که توان بسیار کمی را تلف می‌کنند و در حجم بسیار محدود هستند. بسته‌بندی متریک 0201 حتی کوچکتر (0.2 میلی‌متر x 0.1 میلی‌متر) اعلام شده است، اما هنوز در حال تولید نیست. اما حتی زمانی که در کاتالوگ‌های سازندگان ظاهر می‌شوند، انتظار نداشته باشید که همه جا ظاهر شوند: اکثر ربات‌های برداشت و قرار دادن به اندازه کافی دقیق نیستند که بتوانند آنها را اداره کنند، بنابراین احتمالاً یک محصول خاص باقی خواهند ماند.

خازن‌ها را نیز می‌توان کوچک کرد، اما این باعث کاهش ظرفیت آنها می‌شود. فرمول محاسبه ظرفیت خازن موازی عبارت است از ، که در آن A مساحت صفحات، d فاصله بین آنها و ε ثابت دی‌الکتریک (ویژگی ماده در وسط) است. اگر یک خازن را کوچک کنید، که اساساً یک دستگاه مسطح است، باید مساحت را کاهش دهید و در نتیجه ظرفیت را کاهش دهید. اگر هنوز هم می‌خواهید نانوفارادهای زیادی را در یک حجم کوچک جای دهید، تنها گزینه این است که چندین لایه را روی هم قرار دهید. با پیشرفت در مواد و ساخت، که همچنین فیلم‌های نازک (d کوچک) و دی‌الکتریک‌های خاص (با ε بزرگتر) را فعال می‌کند، خازن‌ها در دهه‌های اخیر به طور قابل توجهی کوچک شده‌اند.

یک خازن موازی ایده‌آل. اعتبار: inductiveload، دامنه عمومی

کوچکترین خازن‌های موجود در حال حاضر در بسته بندی فوق‌العاده کوچک متریک 0201: فقط 0.25 میلی‌متر x 0.125 میلی‌متر بسته‌بندی شده‌اند. ظرفیت آنها به 100 نانوفاراد با حداکثر ولتاژ کاری 6.3 ولت محدود شده است. باز هم، این بسته‌ها آنقدر کوچک هستند که برای پردازش آنها به تجهیزات پیشرفته‌ای نیاز است، که پذیرش گسترده آنها را محدود می‌کند.

برای سلف‌ها، داستان کمی پیچیده‌تر است. القایی یک سیم‌پیچ مستقیم توسط داده می‌شود، که در آن N تعداد دور، A سطح مقطع سیم‌پیچ، l طول آن و μ ثابت ماده (نفوذپذیری مغناطیسی) است. اگر همه ابعاد را نصف کنید، القایی را نیز نصف می‌کنید. با این حال، مقاومت سیم یکسان باقی می‌ماند: این به این دلیل است که طول و سطح مقطع سیم هر دو به یک چهارم مقدار اصلی خود کاهش می‌یابد. این بدان معناست که شما با نیمی از القایی، مقاومت یکسانی دارید و در نتیجه فاکتور کیفیت (Q) سیم‌پیچ خود را نصف کرده‌اید.

تقریباً نامرئی: سه خازن 0201 (متریک). تصویر اعتبار: Murata Electronics

کوچکترین سلف‌های گسسته موجود در حال حاضر در اندازه امپریال 01005 (0.4 میلی‌متر x 0.2 میلی‌متر) هستند. اینها تا 56 نانوهنری با چندین اهم مقاومت می‌رسند. سلف‌ها در بسته بندی فوق‌العاده کوچک متریک 0201 در سال 2014 اعلام شدند، اما ظاهراً هرگز به بازار عرضه نشدند.

تلاش‌هایی برای غلبه بر محدودیت‌های فیزیکی سلف با استفاده از پدیده‌ای به نام القای جنبشی انجام شده است که می‌تواند در سیم‌پیچ‌هایی ساخته شده از گرافن مشاهده شود. اما حتی این نیز بهبود حدود 50 درصدی را به همراه دارد، اگر بتوان آن را به روشی تجاری قابل اجرا ایجاد کرد. در نهایت، سیم‌پیچ‌ها به سادگی به خوبی کوچک نمی‌شوند. اما این نباید مشکلی باشد اگر مدارهای شما با فرکانس‌های بالا کار کنند. اگر سیگنال‌های شما در محدوده گیگاهرتز باشند، سیم‌پیچی چند نانوهنری اغلب کافی است.

**فقط اجزا نیستند**

این ما را به چیز دیگری می‌رساند که در طول قرن گذشته کوچک شده است، اما ممکن است متوجه آن نشوید: طول موج‌هایی که برای ارتباطات استفاده می‌کنیم. پخش‌های اولیه رادیویی از فرکانس‌های AM متوسط حدود 1 مگاهرتز با طول موج حدود 300 متر استفاده می‌کردند. باند FM با مرکز حدود 100 مگاهرتز، یا سه متر، در حدود دهه 1960 محبوب شد، در حالی که امروزه عمدتاً از ارتباطات 4G در حدود 1 یا 2 گیگاهرتز، حدود 20 سانتی‌متر استفاده می‌کنیم. فرکانس‌های بالاتر به معنای ظرفیت بیشتر برای انتقال اطلاعات است و به دلیل کوچک‌سازی است که رادیوهای ارزان، قابل اعتماد و کم‌مصرف در این فرکانس‌ها داریم.

کوچک شدن طول موج‌ها امکان کوچک شدن آنتن‌ها را فراهم کرد، زیرا اندازه آنها به طور مستقیم با فرکانسی که باید انتقال یا دریافت کنند مرتبط است. این واقعیت که تلفن‌های همراه امروزی به آنتن‌های بلند و بیرون زده نیاز ندارند به این دلیل است که آنها به طور انحصاری در فرکانس‌های گیگاهرتز ارتباط برقرار می‌کنند، که برای آنها آنتن‌ها فقط باید حدود یک سانتی‌متر طول داشته باشند. به همین دلیل است که اکثر تلفن‌هایی که هنوز گیرنده FM دارند، قبل از استفاده از آن، نیاز دارند که هدفون خود را وصل کنید: رادیو باید از سیم‌های هدفون به عنوان آنتن برای دریافت قدرت سیگنال کافی از آن امواج طولانی استفاده کند.

در مورد مدارهای متصل به آنتن‌های کوچک ما، در واقع ساخت آنها آسان‌تر می‌شود وقتی کوچکتر هستند. این نه تنها به این دلیل است که ترانزیستورها سریعتر می‌شوند، بلکه به این دلیل است که اثرات خط انتقال کمتر مشکل‌ساز می‌شوند. به طور خلاصه، هنگامی که یک قطعه سیم طولانی‌تر از حدود یک دهم طول موج باشد، باید تغییر فاز در طول آن را هنگام طراحی مدار خود در نظر بگیرید. در 2.4 گیگاهرتز این بدان معناست که فقط یک سانتی‌متر سیم بر مدار شما تأثیر می‌گذارد. سردرد بزرگی اگر در حال لحیم کاری اجزای گسسته هستید، اما مشکلی نیست اگر در حال طراحی مدارهای روی چند میلی‌متر مربع هستید.

**چقدر می‌توان پایین رفت؟**

تبدیل شدن به یک موضوع تکراری در روزنامه‌نگاری فناوری پیش‌بینی پایان قانون مور یا نشان دادن اینکه چگونه این پیش‌بینی‌ها بارها و بارها اشتباه از آب در می‌آیند، شده است. این واقعیت باقی می‌ماند که سه بازیکنی که هنوز در لبه این بازی رقابت می‌کنند - اینتل، سامسونگ و TSMC - همچنان به فشرده کردن عملکرد بیشتر و بیشتر در هر میکرون مربع ادامه می‌دهند و برنامه‌ریزی چندین نسل بهبود یافته از تراشه‌ها را در آینده دارند. حتی اگر گام‌هایی که در هر مرحله برمی‌دارند به اندازه دو دهه پیش نباشد، کوچک‌سازی ترانزیستورها همچنان ادامه دارد.

اما در مورد اجزای گسسته، به نظر می‌رسد که به یک حد طبیعی رسیده‌ایم: کوچک کردن آنها عملکرد آنها را بهبود نمی‌بخشد و کوچکترین اجزای موجود در حال حاضر کوچکتر از بیشتر موارد استفاده هستند. به نظر نمی‌رسد قانون مور برای قطعات گسسته وجود داشته باشد، اما اگر وجود داشت، دوست داشتیم ببینیم می‌توان تا کجا چالش لحیم‌کاری SMD را پیش برد.

تصویر سرصفحه: Jon Sullivan، دامنه عمومی.


توسعه شبکه‌های عصبی مدرن، تاریخی غنی دارد که در مدل‌های نظری اولیه ریشه دارد و از طریق چندین نقطه عطف مهم تکامل یافته است. این مدل‌های تاریخی، پایه و اساس معماری‌ها و الگوریتم‌های پیچیده‌ای را که امروزه در یادگیری عمیق استفاده می‌کنیم، بنا نهادند. درک این تکامل برای قدردانی از قابلیت‌ها و محدودیت‌های مدل‌های شبکه عصبی فعلی بسیار مهم است.

### مدل‌های نظری اولیه
#### نورون مک‌کالوچ-پیتی (۱۹۴۳)
کار پایه‌ای در شبکه‌های عصبی با مدل نورون مک‌کالوچ-پیتی آغاز شد که توسط وارن مک‌کالوچ و والتر پیتی معرفی شد. این مدل، نمایشی ساده‌شده از نورون‌های بیولوژیکی بود و برای انجام عملیات منطقی طراحی شده بود. نورون مک‌کالوچ-پیتی یک واحد آستانه باینری است که ورودی‌های خود را جمع می‌کند و اگر مجموع از یک آستانه معین بیشتر باشد، ۱ را خروجی می‌دهد، در غیر این صورت، ۰ را خروجی می‌دهد. این مدل نشان داد که شبکه‌های عصبی می‌توانند، از نظر تئوری، هر تابع قابل محاسبه را محاسبه کنند و زمینه را برای مفهوم شبکه‌های عصبی مصنوعی فراهم کرد.
#### یادگیری هبی (۱۹۴۹)
کار دونالد هب در مورد پلاستیسیته سیناپسی، که اغلب با عبارت "سلول‌هایی که با هم شلیک می‌کنند، با هم سیم‌کشی می‌کنند" خلاصه می‌شود، این ایده را معرفی کرد که قدرت اتصالات سیناپسی بین نورون‌ها می‌تواند بر اساس فعالیت آنها تنظیم شود. یادگیری هبی، مبنای بیولوژیکی برای یادگیری و سازگاری در شبکه‌های عصبی فراهم کرد و بر مدل‌های بعدی که قوانین یادگیری را در خود جای داده بودند، تأثیر گذاشت.

### پرسپترون و شبکه‌های عصبی اولیه
#### پرسپترون (۱۹۵۸)
پرسپترون که توسط فرانک روزنبلات توسعه یافت، یکی از اولین مدل‌های شبکه عصبی بود که قادر به یادگیری بود. این مدل از یک لایه واحد از نورون‌های مصنوعی تشکیل شده بود و از یک الگوریتم یادگیری ساده برای تنظیم وزن اتصالات بر اساس خطای خروجی استفاده می‌کرد. پرسپترون می‌توانست مسائل قابل جداسازی خطی را حل کند، اما در توانایی خود برای رسیدگی به مسائل غیرخطی محدود بود. این محدودیت توسط مینسکی و پاپرت در کتاب سال ۱۹۶۹ خود با عنوان "پرسپترون‌ها" برجسته شد، که منجر به کاهش موقت علاقه به شبکه‌های عصبی شد.
#### ADALINE و MADALINE (دهه ۱۹۶۰)
در همان زمان، برنارد ویدرو و مارسیان هاف مدل‌های ADALINE (نورون خطی تطبیقی) و MADALINE (چند ADALINE) را توسعه دادند. این مدل‌ها از یک الگوریتم نزول گرادیان برای یادگیری استفاده می‌کردند که خطای میانگین مربعات بین خروجی‌های پیش‌بینی‌شده و واقعی را به حداقل می‌رساند. ADALINE و MADALINE مهم بودند زیرا ایده استفاده از توابع فعال‌سازی پیوسته و تکنیک‌های بهینه‌سازی خطا را معرفی کردند که از عناصر اساسی شبکه‌های عصبی مدرن هستند.

### احیای شبکه‌های عصبی
#### پس‌انتشار (۱۹۸۶)
احیای علاقه به شبکه‌های عصبی با کشف مجدد الگوریتم پس‌انتشار توسط دیوید رامل‌هارت، جفری هینتون و رونالد ویلیامز همراه بود. پس‌انتشار امکان آموزش شبکه‌های عصبی چند لایه را با محاسبه کارآمد گرادیان تابع زیان نسبت به وزن‌ها با استفاده از قاعده زنجیره‌ای حساب دیفرانسیل و انتگرال فراهم کرد. این پیشرفت امکان آموزش شبکه‌های عمیق را فراهم کرد و بر محدودیت‌های پرسپترون‌های تک لایه غلبه کرد.
#### شبکه‌های عصبی کانولوشن (۱۹۸۹)
یان لوکون و همکارانش با توسعه معماری LeNet، شبکه‌های عصبی کانولوشن (CNN) را معرفی کردند. CNNها برای پردازش داده‌های شبیه به شبکه، مانند تصاویر، با استفاده از لایه‌های کانولوشن طراحی شده‌اند که فیلترها را به مناطق محلی ورودی اعمال می‌کنند. این رویکرد به CNNها اجازه می‌دهد تا سلسله‌مراتب و الگوهای مکانی را ضبط کنند و آنها را برای وظایف تشخیص تصویر بسیار مؤثر می‌سازد. موفقیت CNNها در وظایفی مانند تشخیص ارقام دست‌نویس، پتانسیل یادگیری عمیق را برای کاربردهای عملی نشان داد.

### معماری‌های مدرن شبکه عصبی
#### شبکه‌های عصبی بازگشتی (دهه ۱۹۸۰-۱۹۹۰)
شبکه‌های عصبی بازگشتی (RNN) برای رسیدگی به داده‌های ترتیبی با حفظ یک حالت پنهان که اطلاعات را از مراحل زمانی قبلی ضبط می‌کند، توسعه یافتند. RNNها به ویژه برای وظایفی مانند مدل‌سازی زبان و پیش‌بینی سری‌های زمانی مفید هستند. با این حال، RNNهای سنتی از مشکلاتی مانند محو شدن و انفجار گرادیان رنج می‌بردند که آموزش دنباله‌های طولانی را دشوار می‌کرد. معرفی شبکه‌های حافظه بلندمدت (LSTM) توسط هوخریتر و اشمیدهوبر در سال ۱۹۹۷ با گنجاندن مکانیسم‌های دروازه‌بندی برای کنترل جریان اطلاعات، این مشکلات را برطرف کرد و به طور قابل توجهی عملکرد RNNها را بهبود بخشید.
#### شبکه‌های اعتقاد عمیق (۲۰۰۶)
جفری هینتون و همکارانش شبکه‌های اعتقاد عمیق (DBN) را معرفی کردند که از چندین لایه ماشین‌های بولتزمن محدود (RBM) تشکیل شده‌اند. DBNها به صورت لایه‌ای به صورت بدون نظارت با استفاده از تکنیکی به نام واگرایی تضادی آموزش داده می‌شوند و سپس با پس‌انتشار تنظیم می‌شوند. این رویکرد نشان داد که شبکه‌های عمیق می‌توانند به طور مؤثر آموزش داده شوند و منجر به احیای علاقه به یادگیری عمیق شد.
#### شبکه‌های مولد متخاصم (۲۰۱۴)
ایان گودفلو و همکارانش شبکه‌های مولد متخاصم (GAN) را معرفی کردند که از دو شبکه عصبی تشکیل شده‌اند: یک مولد و یک تمیزکننده. مولد نمونه‌های داده مصنوعی ایجاد می‌کند، در حالی که تمیزکننده اصالت آنها را ارزیابی می‌کند. این دو شبکه به طور همزمان در یک بازی مینیمکس آموزش داده می‌شوند، جایی که مولد هدف تولید نمونه‌های واقعی را دارد و تمیزکننده هدف تمایز بین نمونه‌های واقعی و مصنوعی را دارد. GANها در تولید تصاویر، ویدیوها و سایر انواع داده‌های واقعی بسیار موفق بوده‌اند و پتانسیل خلاقانه شبکه‌های عصبی را نشان می‌دهند.
#### مدل‌های ترانسفورمر (۲۰۱۷)
معرفی مدل ترانسفورمر توسط واسوانی و همکارانش، زمینه پردازش زبان طبیعی (NLP) را متحول کرد. ترانسفورمرها از مکانیسم‌های خودتوجهی برای پردازش توالی‌های ورودی به صورت موازی استفاده می‌کنند و به آنها اجازه می‌دهند وابستگی‌های طولانی‌مدت را مؤثرتر از RNNها ضبط کنند. موفقیت معماری ترانسفورمر منجر به توسعه مدل‌های از پیش آموزش‌دیده در مقیاس بزرگ مانند BERT (نماینده‌های رمزگذار دو جهته از ترانسفورمرها) و GPT (ترانسفورمر از پیش آموزش‌دیده مولد) شد که استانداردهای جدیدی را در وظایف مختلف NLP تعیین کرده‌اند.

### تأثیر پیشرفت‌های سخت‌افزار و نرم‌افزار
تکامل شبکه‌های عصبی به طور تنگاتنگی با پیشرفت‌های سخت‌افزار و نرم‌افزار گره خورده است. توسعه واحدهای پردازش گرافیکی (GPU) و سخت‌افزارهای تخصصی مانند واحدهای پردازش تنسور (TPU) به طور قابل توجهی سرعت آموزش شبکه‌های عصبی عمیق را افزایش داده است. علاوه بر این، در دسترس بودن مجموعه‌داده‌های بزرگ و چارچوب‌های یادگیری عمیق منبع باز مانند TensorFlow، PyTorch و Keras دسترسی به ابزارهای قدرتمند شبکه عصبی را دموکراتیک کرده است و به محققان و متخصصان امکان می‌دهد با مدل‌های پیشرفته آزمایش کنند و آنها را مستقر کنند.

### روندهای فعلی و جهت‌گیری‌های آینده
شبکه‌های عصبی مدرن به تکامل خود با تحقیقات و نوآوری‌های مداوم ادامه می‌دهند. برخی از روندهای فعلی و جهت‌گیری‌های آینده در این زمینه عبارتند از:

#### یادگیری خودنظارتی
یادگیری خودنظارتی با هدف استفاده از مقادیر زیادی از داده‌های بدون برچسب با ایجاد وظایف کمکی است که می‌توانند برای پیش‌آموزش شبکه‌های عصبی استفاده شوند. این رویکرد در بهبود عملکرد مدل‌ها در حوزه‌های مختلف، از جمله بینایی کامپیوتر و NLP امیدوارکننده بوده است.

#### جستجوی معماری عصبی (NAS)
جستجوی معماری عصبی شامل استفاده از تکنیک‌های خودکار برای کشف معماری‌های بهینه شبکه عصبی است. NAS پتانسیل طراحی مدل‌های کارآمدتر و مؤثرتر از مدل‌هایی را دارد که توسط متخصصان انسانی طراحی شده‌اند و منجر به پیشرفت در عملکرد و استفاده از منابع می‌شود.

#### توضیح‌پذیری و تفسیرپذیری
با استقرار فزاینده شبکه‌های عصبی در کاربردهای مهم، تأکید فزاینده‌ای بر درک و تفسیر تصمیمات آنها وجود دارد. تحقیقات در زمینه توضیح‌پذیری و تفسیرپذیری با هدف شفاف‌تر و قابل اعتمادتر کردن شبکه‌های عصبی و رسیدگی به نگرانی‌های مربوط به سوگیری، انصاف و پاسخگویی است.

#### یادگیری مداوم
یادگیری مداوم که به عنوان یادگیری مادام‌العمر نیز شناخته می‌شود، بر فعال کردن شبکه‌های عصبی برای یادگیری از داده‌های جدید بدون فراموش کردن دانش قبلی متمرکز است. این قابلیت برای توسعه سیستم‌های سازگار که می‌توانند در محیط‌های پویا عمل کنند، ضروری است.

#### شبکه‌های عصبی کوانتومی
تقاطع محاسبات کوانتومی و شبکه‌های عصبی یک حوزه نوظهور تحقیقاتی است. شبکه‌های عصبی کوانتومی از اصول مکانیک کوانتومی برای انجام محاسبات استفاده می‌کنند و به طور بالقوه سرعت‌های نمایی را برای وظایف خاص ارائه می‌دهند.

سفر از مدل‌های نظری اولیه تا شبکه‌های عصبی مدرن با پیشرفت‌ها و نوآوری‌های متعددی مشخص شده است. هر نقطه عطف به توسعه معماری‌ها و شبکه‌های عصبی قدرتمندتر، کارآمدتر و متنوع‌تر کمک کرده است و راه را برای تأثیر تحول‌آفرین یادگیری عمیق در حوزه‌های مختلف هموار کرده است.

سؤالات و پاسخ‌های اخیر مربوط به EITC/AI/ADL Advanced Deep Learning:

فرمول یک تابع فعال‌سازی مانند واحد خطی اصلاح‌شده برای معرفی غیرخطی بودن به مدل چیست؟
فرمول ریاضی تابع زیان در شبکه‌های عصبی کانولوشن چیست؟
فرمول ریاضی عملیات کانولوشن بر روی یک تصویر 2 بعدی چیست؟
معادله برای استخر حداکثر چیست؟
چگونه تقریب‌های قطری بلوکی و ضرب کرونکر کارایی روش‌های مرتبه دوم را در بهینه‌سازی شبکه عصبی بهبود می‌بخشند و چه مصالحه‌هایی در استفاده از این تقریب‌ها وجود دارد؟
مزایای استفاده از روش‌های مومنتوم در بهینه‌سازی برای یادگیری ماشین چیست و چگونه به تسریع همگرایی الگوریتم‌های نزول گرادیان کمک می‌کنند؟
روش‌های بهینه‌سازی تصادفی مانند نزول گرادیان تصادفی (SGD) چگونه سرعت همگرایی و عملکرد مدل‌های یادگیری ماشین را بهبود می‌بخشند، به ویژه در حضور مجموعه‌داده‌های بزرگ؟
تفاوت‌های اصلی بین روش‌های بهینه‌سازی مرتبه اول و مرتبه دوم در زمینه یادگیری ماشین چیست و چگونه این تفاوت‌ها بر اثربخشی و پیچیدگی محاسباتی آنها تأثیر می‌گذارد؟
الگوریتم نزول گرادیان چگونه پارامترهای مدل را برای به حداقل رساندن تابع هدف به‌روزرسانی می‌کند و نرخ یادگیری چه نقشی در این فرآیند دارد؟
مزایا و چالش‌های استفاده از کانولوشن‌های 3 بعدی برای تشخیص عمل در ویدیوها چیست و مجموعه داده Kinetics چه نقشی در این زمینه تحقیقاتی دارد؟


از مناظر بایر درون دستگاه‌های شخصی ما، سرودهای پنهانی برمی‌آیند که توسط این خدمتگزاران دیجیتالی زمزمه می‌شوند، کسانی که روزی بر ما حکومت خواهند کرد.
زمستان هوش مصنوعی

ایده شبکه‌های عصبی، به‌طور غیرمنتظره‌ای، به عنوان مدلی از نحوه عملکرد نورون‌ها در مغز آغاز شد، که به آن «ارتباط‌گرایی» می‌گفتند و از مدارهای متصل برای شبیه‌سازی رفتار هوشمند استفاده می‌کرد. در سال 1943، توسط متخصص فیزیولوژی عصبی، وارن مک‌کالوچ و ریاضیدان، والتر پیتس، با یک مدار الکتریکی ساده به تصویر کشیده شد. دونالد هب این ایده را در کتاب خود، «سازماندهی رفتار» (1949)، بیشتر توسعه داد و پیشنهاد کرد که مسیرهای عصبی با هر بار استفاده متوالی تقویت می‌شوند، به‌ویژه بین نورون‌هایی که تمایل دارند همزمان فعال شوند، و بدین ترتیب سفر طولانی به سوی کمی‌سازی فرآیندهای پیچیده مغز آغاز شد.
دو مفهوم اصلی که پیش‌ساز شبکه‌های عصبی هستند عبارتند از:

«منطق آستانه‌ای» - تبدیل ورودی پیوسته به خروجی گسسته
«یادگیری هبی» - مدلی از یادگیری بر اساس پلاستیسیته عصبی، که توسط دونالد هب در کتاب «سازماندهی رفتار» پیشنهاد شده است و اغلب با این عبارت خلاصه می‌شود: «سلول‌هایی که با هم فعال می‌شوند، با هم سیم‌کشی می‌شوند.»

هر دو در دهه 1940 پیشنهاد شدند. در دهه 1950، با شروع تلاش محققان برای ترجمه این شبکه‌ها به سیستم‌های محاسباتی، اولین شبکه هبی با موفقیت در MIT در سال 1954 پیاده‌سازی شد.
در همین زمان، فرانک روزنبلات، روانشناسی در دانشگاه کرنل، در حال کار بر روی سیستم‌های تصمیم‌گیری ساده‌تر موجود در چشم مگس بود که زیربنای پاسخ فرار آن را تشکیل می‌دهند و تعیین می‌کنند. او در تلاشی برای درک و کمی‌سازی این فرآیند، در سال 1958 ایده پرسپترون را پیشنهاد کرد و آن را پرسپترون Mark I نامید. این سیستمی با رابطه ورودی-خروجی ساده بود که بر اساس نورون مک‌کالوچ-پیتس، که در سال 1943 توسط وارن اس. مک‌کالوچ، متخصص علوم اعصاب، و والتر پیتس، منطق‌دان، برای توضیح فرآیندهای تصمیم‌گیری پیچیده در مغز با استفاده از یک گیت آستانه‌ای خطی پیشنهاد شده بود، مدل‌سازی شده بود. یک نورون مک‌کالوچ-پیتس ورودی‌ها را دریافت می‌کند، مجموع وزنی می‌گیرد و اگر نتیجه زیر آستانه باشد '0' و در غیر این صورت '1' را برمی‌گرداند.

یک نورون مک‌کالوچ-پیتس
زیبایی پرسپترون Mark I در این واقعیت بود که وزن‌های آن از طریق ورودی‌های متوالی عبوری «یاد گرفته» می‌شد، در حالی که تفاوت بین خروجی مطلوب و واقعی به حداقل می‌رسید.

اولین پیاده‌سازی شناخته شده از پرسپترون Mark I. این دستگاه به دوربینی متصل بود که از 20×20 فوتوسل سولفید کادمیوم برای تولید یک تصویر 400 پیکسلی استفاده می‌کرد. ویژگی اصلی قابل مشاهده، یک برد اتصال است که امکان آزمایش با ترکیبات مختلف ویژگی‌های ورودی را فراهم می‌کند. در سمت راست آن، آرایه‌ای از پتانسیومترها وجود دارد که وزن‌های تطبیقی را پیاده‌سازی می‌کنند.[ویکی‌پدیا]
یک عیب بزرگ؟ این پرسپترون فقط می‌توانست کلاس‌های خطی قابل تفکیک را یاد بگیرد و مدار XOR ساده اما غیرخطی را به مانعی غیرقابل عبور تبدیل کند.

علیرغم ظهور نامرتب و تا حدودی نارضایتبخش استفاده از یادگیری ماشین برای کمی‌سازی سیستم‌های تصمیم‌گیری غیر از مغز، شبکه‌های عصبی مصنوعی امروزی چیزی جز چندین لایه از این پرسپترون‌ها نیستند.
اوضاع در این زمان برای شبکه‌های عصبی به سرعت در حال پیشرفت بود و در سال 1959 در استنفورد، برنارد ویدرو و مارسیان هاف اولین شبکه عصبی را که با موفقیت در یک مسئله واقعی به کار گرفته شده بود، توسعه دادند. این سیستم‌ها ADALINE و MADALINE نامیده شدند که پس از استفاده از عناصر خطی تطبیقی چندگانه (Multiple ADAptive LINear Elements) نامگذاری شدند، دومی به طور خاص برای حذف نویز در خطوط تلفن طراحی شده بود و هنوز هم در حال استفاده است(!). با این حال، این نورون‌های مصنوعی با پرسپترون‌ها در آنچه به عنوان خروجی برمی‌گرداندند، متفاوت بودند، که در این مورد ورودی وزنی بود.
همانطور که در مورد هر پیشرفت کوچک در فناوری هوش مصنوعی در طول تاریخ اتفاق افتاده است، این موفقیت‌های اولیه منجر به افزایش تبلیغات در مورد توانایی و پتانسیل شبکه‌های عصبی شد، در حالی که محققان با یک مانع پس از دیگری روبرو می‌شدند. در اوج تبلیغات در مورد این «ماشین‌های متفکر»، NYtimes این مقاله را در مورد پتانسیل شبکه‌های عصبی منتشر کرد در حالی که این ویدیو در همان زمان منتشر شد.
همانطور که در مورد چندین «نزدیکی‌های خطرناک» قبلی، ما هنوز به تولید موجودات آگاه ساخته دست بشر نزدیک نبودیم، هرچند که همیشه دوست داشتیم (یا می‌ترسیدیم، بسته به دیدگاه شما). یکی از مشکلاتی که به وجود آمد، زمان اجرای بیش از حد طولانی مورد نیاز برای اجرای این شبکه‌ها بود، با توجه به اینکه این دهه 60 بود، علاوه بر ناتوانی آن در یادگیری مدارهای بولی XOR ساده.
همه اینها در سال 1969 با انتشار کتاب «پرسپترون‌ها» نوشته ماروین مینسکی، بنیانگذار آزمایشگاه هوش مصنوعی MIT، و سیمور پاپرت، مدیر آزمایشگاه به پایان رسید. این کتاب به طور قاطعانه استدلال کرد که رویکرد تک پرسپترونی روزنبلات به شبکه‌های عصبی را نمی‌توان به طور موثر به شبکه‌های عصبی چند لایه ترجمه کرد. ارزیابی مقادیر نسبی صحیح وزن‌های نورون‌ها در سراسر لایه‌ها بر اساس خروجی نهایی، به چندین، اگر نه تعداد بی‌نهایت تکرار نیاز داشت و محاسبه آن زمان بسیار طولانی می‌برد.
مینسکی در متن خود این و سایر مشکلات شبکه‌های عصبی را تشریح کرد و به طور موثری جامعه علمی بزرگتر و مهمتر از همه، موسسات تامین مالی را به این نتیجه رساند که تحقیقات بیشتر در این جهت به جایی نمی‌رسد. اثر این متن قدرتمند بود و بودجه را به حدی کاهش داد که به مدت 10-12 سال، هیچ کس در بزرگترین موسسات تحقیقاتی در آن زمان و در نتیجه موسسات کوچکتر، پروژه‌ای را بر عهده نمی‌گرفت که شبکه‌های عصبی محکوم به شکست را به عنوان پیش‌فرض خود داشته باشد. دوره‌ای که اکنون به نام «زمستان هوش مصنوعی» شناخته می‌شود، آغاز شده بود.
ذوب شدن این زمستان طولانی در سال 1982 در آکادمی ملی علوم آغاز شد، زمانی که جان هاپفیلد مقاله خود را در مورد آنچه که به عنوان شبکه هاپفیلد شناخته می‌شود، ارائه کرد، در حالی که در همان سال در کنفرانس ایالات متحده و ژاپن در مورد شبکه‌های عصبی رقابتی/همکاری، ژاپن قصد خود را برای آغاز تلاش نسل پنجم خود در شبکه‌های عصبی اعلام کرد. این امر باعث شد تا بودجه دوباره از خزانه ملتی که از عقب ماندن می‌ترسید، شروع به جریان کند. به زودی، موسسه فیزیک آمریکا، در سال 1985e یک «شبکه‌های عصبی در محاسبات» سالانه را تأسیس کرد و پس از آن اولین کنفرانس بین‌المللی در مورد شبکه‌های عصبی توسط موسسه مهندسین برق و الکترونیک (IEEE) در سال 1987 برگزار شد.
با این حال، یک کشف مجدد بزرگ از مفهومی که از دهه 60 وجود داشته بود، به شبکه‌های عصبی کمک کرد تا از قبر زودرس خود خارج شوند. پس‌انتشار، روشی که توسط محققان از دهه 60 ابداع شده و به طور مداوم در طول زمستان هوش مصنوعی توسعه یافته است، روشی مبتنی بر شهود بود که کاهش اهمیت را به هر رویداد با دور شدن از زنجیره رویدادها نسبت می‌داد. اولین کسی که پتانسیل آن را برای شبکه‌های عصبی و حل مسئله نحوه ترجمه آن برای MLPها دید، پل ور بوس بود که تا حدی الهام گرفته از کاربرد آن در ذهن انسان و کار فروید در مورد جریان معکوس تخصیص اعتبار، پایان‌نامه‌ای دکتری نوشت که اهمیت آن را بیان می‌کرد. با این حال، این کار تا زمانی که پارکر گزارشی در مورد کار خود در M.I.T. در سال 1985 منتشر کرد، توسط هیچ کس در جامعه مورد توجه قرار نگرفت. تنها پس از کشف مجدد توسط Rumelhart، Hinton و Williams و انتشار مجدد در یک چارچوب واضح و دقیق بود که این تکنیک طوفانی در جامعه ایجاد کرد. همین نویسندگان در متن بعدی به مشخصاً معایب مطرح شده توسط مینسکی در انتشار 1969 او پرداختند.
پس‌انتشار همراه با نزول گرادیان، ستون فقرات و قدرت شبکه‌های عصبی را تشکیل می‌دهد. در حالی که نزول گرادیان به طور مداوم وزن‌ها و بایاس‌ها را به سمت حداقل تابع هزینه به روز می‌کند و جابجا می‌کند، پس‌انتشار گرادیان هزینه را نسبت به وزن‌ها و بایاس‌ها ارزیابی می‌کند، که بزرگی و جهت آن توسط نزول گرادیان برای ارزیابی اندازه و جهت تصحیحات پارامترهای وزن و بایاس استفاده می‌شود.

توصیف بصری ساده‌ای از حرکت به سمت حداقل یک تابع 2 بعدی. اندازه گام پرش توسط مقدار گرادیان در هر نقطه تعیین می‌شود.
و بدین ترتیب تا دهه 1990، شبکه‌های عصبی قطعاً بازگشتند، این بار واقعاً تخیل جهان را به خود جلب کردند و سرانجام به انتظارات خود رسیدند، اگر نه بیشتر. باز هم، ما همان سوالات را در مورد هوش مصنوعی می‌پرسیم و ترس‌های بیش از حد انسانی خود را بر آن تحمیل می‌کنیم و باز هم از تعظیم در برابر اربابان دیجیتال خود دورتر از آن چیزی هستیم که فکر می‌کنیم.
اگر از خواندن داستان‌هایی مانند این لذت می‌برید و می‌خواهید از نوشته‌های من حمایت کنید، لطفاً به فکر عضویت در Medium باشید. هزینه آن 5 دلار در ماه است و دسترسی نامحدود به تمام داستان‌های Medium را به شما می‌دهد. اگر با استفاده از لینک من ثبت‌نام کنید، کمیسیون کوچکی دریافت خواهم کرد.


شبکه‌های عصبی چیست؟
یک شبکه عصبی مصنوعی (ANN) یک سیستم پردازش اطلاعات یا سیگنال است که از تعداد زیادی عناصر پردازش ساده تشکیل شده است که توسط پیوندهای مستقیم به هم متصل شده‌اند و برای انجام پردازش توزیع‌شده موازی به منظور حل یک وظیفه محاسباتی مطلوب با یکدیگر همکاری می‌کنند. شبکه‌های عصبی اطلاعات را به روشی مشابه مغز انسان پردازش می‌کنند. ANN از نحوه عملکرد سیستم‌های عصبی بیولوژیکی مانند مغز الهام گرفته شده است - شبکه‌های عصبی با مثال یاد می‌گیرند.

ANN رویکردی متفاوت نسبت به حل مسئله در مقایسه با محاسبات سنتی دارد. سیستم‌های کامپیوتری سنتی از رویکرد الگوریتمی استفاده می‌کنند، یعنی برای حل یک مسئله مجموعه‌ای از دستورالعمل‌ها را دنبال می‌کنند. این امر توانایی حل مسئله را به مسائلی محدود می‌کند که ما قبلاً آن‌ها را درک کرده‌ایم و می‌دانیم چگونه حل کنیم. با این حال، شبکه‌های عصبی و محاسبات الگوریتمی سنتی در رقابت با یکدیگر نیستند، بلکه مکمل یکدیگر هستند. وظایفی وجود دارند که برای رویکرد الگوریتمی مانند عملیات حسابی مناسب‌تر هستند و وظایفی که برای رویکرد شبکه‌های عصبی مناسب‌تر هستند.

۲. تاریخچه
تاریخچه شبکه‌های عصبی را می‌توان به چندین دوره تقسیم کرد.

۲.۱ تلاش‌های اولیه
اولین گام به سوی شبکه‌های عصبی مصنوعی در سال ۱۹۴۳ برداشته شد، زمانی که وارن مک‌کولوچ، یک متخصص عصب‌شناسی و والتر پیتس، یک ریاضیدان جوان، اولین مدل‌های شبکه‌های عصبی را توسعه دادند. آن‌ها مقاله‌ای با عنوان "حساب منطقی ایده‌های نهفته در فعالیت عصبی" در مورد نحوه عملکرد نورون‌ها نوشتند [۱]. شبکه‌های آن‌ها بر اساس عناصر ساده‌ای بود که به عنوان دستگاه‌های باینری با آستانه‌های ثابت در نظر گرفته می‌شدند. نتایج مدل آن‌ها توابع منطقی ساده با ویژگی "همه یا هیچ" فعالیت عصبی بود.

در سال ۱۹۴۴، جوزف ارلانگر به همراه هربرت اسپنسر گاسر انواع مختلفی از فیبرهای عصبی را شناسایی کرد و رابطه بین سرعت پتانسیل عمل و قطر فیبر را تعیین کرد.

در سال ۱۹۴۹، هب، یک روانشناس، کتاب "سازمان رفتار" [۲] را نوشت، اثری که به این واقعیت اشاره داشت که مسیرهای عصبی هر بار که استفاده می‌شوند تقویت می‌شوند، مفهومی که اساساً برای نحوه یادگیری انسان ضروری است.

۲.۲ فناوری امیدوارکننده و نوظهور
در سال ۱۹۵۸، روزنبلات، یک روانشناس، کار اولیه بر روی پرسپترون‌ها [۳] را انجام داد. پرسپترون یک دستگاه الکترونیکی بود که بر اساس اصول بیولوژیکی ساخته شده بود و توانایی یادگیری را نشان می‌داد. او همچنین کتاب اولیه‌ای در مورد محاسبات عصبی، "اصول نورودینامیک" [۴] را نوشت.

سیستم دیگری ADALINE (عنصر خطی تطبیقی) بود که در سال ۱۹۶۰ توسط دو مهندس برق، ویدرو و هاف [۵] توسعه یافت. روش مورد استفاده برای یادگیری با روش پرسپترون متفاوت بود، زیرا از قانون یادگیری کمترین مربعات استفاده می‌کرد. در سال ۱۹۶۲، ویدرو و هاف یک روش یادگیری را توسعه دادند که قبل از تنظیم وزن، مقدار را بررسی می‌کند.

۲.۳ دوره سرخوردگی و بدنامی
پس از یک دوره اولیه از اشتیاق، این حوزه دوره سرخوردگی و بدنامی را پشت سر گذاشت.

در سال ۱۹۶۹، مینسکی و پاپرت کتابی با عنوان "پرسپترون‌ها: مقدمه‌ای بر هندسه محاسباتی" [۶] نوشتند. این کتاب بخشی از کمپینی برای بی‌اعتبار کردن تحقیقات شبکه‌های عصبی بود که در آن تعدادی از مشکلات اساسی را نشان می‌داد و محدودیت‌های پرسپترون تک لایه را تعمیم می‌داد. اگرچه نویسندگان به خوبی می‌دانستند که پرسپترون‌های قدرتمند دارای لایه‌های متعددی هستند و پرسپترون‌های پیشخور اساسی روزنبلات دارای سه لایه هستند، اما آن‌ها پرسپترون را به عنوان یک ماشین دو لایه تعریف کردند که فقط می‌تواند مسائل قابل تفکیک خطی را حل کند و به عنوان مثال، نمی‌تواند مسئله XOR انحصاری را حل کند.

از آنجایی که علاقه عمومی و بودجه موجود به حداقل رسید، تنها تعداد کمی از محققان به کار بر روی مشکلاتی مانند تشخیص الگو ادامه دادند. اما در این دوره چندین پارادایم ایجاد شد که کار مدرن به بهبود آن‌ها ادامه می‌دهد.

کلopf در سال ۱۹۷۲، مبنایی برای یادگیری در نورون‌های مصنوعی بر اساس یک اصل بیولوژیکی [۷] توسعه داد. پل ور بوس در سال ۱۹۷۴ روش یادگیری پس‌انتشار را توسعه داد، اگرچه اهمیت آن تا سال ۱۹۸۶ به طور کامل درک نشد.

فوکوشیما یک شبکه عصبی چند لایه آموزش‌داده‌شده گام‌به‌گام برای تفسیر کاراکترهای دست‌نویس توسعه داد. کار اصلی "Cognitron: یک شبکه عصبی چند لایه خود سازمان‌دهنده" [۸] در سال ۱۹۷۵ منتشر شد.

در سال ۱۹۷۶، گروسبرگ در مقاله "طبقه‌بندی الگوی تطبیقی و رمزگذاری جهانی" [۹] رزونانس تطبیقی را به عنوان یک نظریه پردازش اطلاعات شناختی انسان معرفی کرد.

۲.۴ نوآوری
در دهه ۱۹۸۰، چندین رویداد باعث تجدید علاقه شد. کوهونن مشارکت‌های زیادی در زمینه شبکه‌های عصبی مصنوعی داشته است. او شبکه عصبی مصنوعی را معرفی کرد که گاهی اوقات نقشه یا شبکه کوهونن نامیده می‌شود [۱۰].

هاپفیلد از کال‌تک در سال ۱۹۸۲ مقاله‌ای با عنوان "شبکه‌های عصبی و سیستم‌های فیزیکی با توانایی‌های محاسباتی جمعی نوظهور" [۱۱] ارائه کرد. هاپفیلد یک شبکه عصبی مصنوعی بازگشتی را توصیف کرد که به عنوان یک سیستم حافظه قابل آدرس‌دهی محتوا عمل می‌کند. آثار او صدها دانشمند، ریاضیدان و متخصص بسیار واجد شرایط را متقاعد کرد تا به حوزه نوظهور شبکه‌های عصبی بپیوندند.

الگوریتم پس‌انتشار که در اصل توسط ور بوس در سال ۱۹۷۴ کشف شده بود، در سال ۱۹۸۶ با کتاب "یادگیری نمایش‌های داخلی با انتشار خطا" اثر رامل‌هارت و همکاران [۱۲] دوباره کشف شد. پس‌انتشار نوعی از الگوریتم‌های نزول گرادیان است که با شبکه‌های عصبی مصنوعی برای به حداقل رساندن خطا استفاده می‌شود.

تا سال ۱۹۸۵، موسسه فیزیک آمریکا آنچه که به یک جلسه سالانه تبدیل شده است را آغاز کرد - "شبکه‌های عصبی برای محاسبات". در سال ۱۹۸۷، اولین کنفرانس باز در مورد شبکه‌های عصبی در دوران مدرن؛ "کنفرانس بین‌المللی IEEE در مورد شبکه‌های عصبی" در سن دیگو برگزار شد و "انجمن بین‌المللی شبکه‌های عصبی (INNS)" تشکیل شد. در سال ۱۹۸۸، مجله INNS با عنوان "شبکه‌های عصبی" تأسیس شد و پس از آن "محاسبات عصبی" در سال ۱۹۸۹ و "معاملات IEEE در مورد شبکه‌های عصبی" در سال ۱۹۹۰ منتشر شد.

کارپنتر و گروسبرگ در سال ۱۹۸۷ در "یک معماری موازی گسترده برای یک ماشین تشخیص الگوی عصبی خود سازمان‌دهنده" [۱۳] ART1 را توصیف کردند، یک مدل یادگیری بدون نظارت که به طور خاص برای تشخیص الگوهای باینری طراحی شده است.

۲.۵ امروز
پیشرفت‌های قابل توجهی در زمینه شبکه‌های عصبی حاصل شده است - به اندازه‌ای که توجه زیادی را به خود جلب کرده و تحقیقات بیشتری را تأمین مالی می‌کند. امروز، بحث‌های مربوط به شبکه‌های عصبی در همه جا در حال وقوع است. به نظر می‌رسد پیشرفت فراتر از کاربردهای تجاری فعلی امکان‌پذیر است و تحقیقات در بسیاری از زمینه‌ها در حال پیشرفت است. تراشه‌هایی مبتنی بر نظریه عصبی در حال ظهور هستند و کاربردهایی برای مسائل پیچیده در حال توسعه است. به وضوح، امروز یک دوره گذار برای فناوری شبکه عصبی است.

بین سال‌های ۲۰۰۹ و ۲۰۱۲، شبکه‌های عصبی بازگشتی و شبکه‌های پیشخور عمیق در گروه تحقیقاتی اشمیدهوبر [۱۴] توسعه یافتند.

در سال ۲۰۱۴، دانشمندان IBM پردازنده‌ای (TrueNorth) با معماری مشابه آنچه در مغز وجود دارد معرفی کردند. IBM مدار مجتمع به اندازه یک تمبر پستی را ارائه کرد که قادر به شبیه‌سازی کار میلیون‌ها نورون و ۲۵۶ میلیون سیناپس در زمان واقعی است. این سیستم قادر به اجرای ۴۶ تا ۴۰۰ میلیارد عملیات سیناپسی در ثانیه است.

۳. مدل‌های مختلف شبکه‌های عصبی
یک شبکه عصبی را می‌توان به عنوان شبکه‌ای از "نورون‌ها" سازمان‌یافته در لایه‌ها در نظر گرفت. تعداد انواع شبکه‌های عصبی مصنوعی (ANN) و کاربردهای آن‌ها به طور بالقوه می‌تواند بسیار زیاد باشد. از اولین مدل عصبی توسط مک‌کولوچ و پیتس، صدها مدل مختلف به عنوان ANN توسعه یافته‌اند. تفاوت در آن‌ها می‌تواند توابع، مقادیر پذیرفته‌شده، توپولوژی، الگوریتم‌های یادگیری و غیره باشد. همچنین مدل‌های ترکیبی زیادی وجود دارد. از آنجایی که عملکرد ANN پردازش اطلاعات است، عمدتاً در زمینه‌های مرتبط با آن استفاده می‌شوند. یک ANN از واحدهای منفرد (نورون‌های مصنوعی یا عناصر پردازش - PE) تشکیل شده است که با ضرایب (وزن‌ها) به هم متصل شده‌اند، که ساختار عصبی را تشکیل می‌دهند و در لایه‌ها سازمان‌یافته‌اند. قدرت محاسبات عصبی از اتصال نورون‌ها در یک شبکه ناشی می‌شود. هر PE دارای ورودی‌های وزن‌دار، تابع انتقال و یک خروجی است. رفتار یک شبکه عصبی توسط توابع انتقال نورون‌های آن، قانون یادگیری و خود معماری تعیین می‌شود. وزن‌ها پارامترهای قابل تنظیم هستند و از این نظر، یک شبکه عصبی یک سیستم پارامتری است. مجموع وزن‌دار ورودی‌ها، فعال‌سازی نورون را تشکیل می‌دهد.

یک ANN معمولاً توسط سه نوع پارامتر تعریف می‌شود:

الگوی اتصال بین لایه‌های مختلف نورون‌ها.
فرآیند یادگیری برای به‌روزرسانی وزن‌ها.
۳ تابع فعال‌سازی که ورودی وزن‌دار یک نورون را به فعال‌سازی خروجی آن تبدیل می‌کند.

نورون‌ها چگونه به یکدیگر متصل شوند؟ اگر یک شبکه قرار است مفید باشد، باید ورودی و خروجی وجود داشته باشد. با این حال، نورون‌های پنهان نیز وجود دارند که نقش داخلی در شبکه ایفا می‌کنند. نورون‌های ورودی، پنهان و خروجی باید به یکدیگر متصل شوند. یک شبکه ساده دارای ساختار پیشخور است: سیگنال‌ها از ورودی‌ها به جلو از طریق هر واحد پنهان جریان می‌یابند و در نهایت به واحدهای خروجی می‌رسند. با این حال، اگر شبکه بازگشتی باشد (اتصالات برگشتی از نورون‌های بعدی به نورون‌های قبلی داشته باشد) می‌تواند ناپایدار باشد و دارای پویایی بسیار پیچیده‌ای باشد. شبکه‌های بازگشتی برای محققان شبکه‌های عصبی بسیار جالب هستند، اما تا کنون ساختارهای پیشخور در حل مسائل واقعی مفیدتر بوده‌اند.

۳.۱ پرسپترون‌های چند لایه
این شاید محبوب‌ترین معماری شبکه در حال حاضر باشد (Fig. ۱). واحدها هر کدام مجموع وزن‌دار و بایاس ورودی‌های خود را انجام می‌دهند و این سطح فعال‌سازی را از طریق یک تابع انتقال عبور می‌دهند تا خروجی خود را تولید کنند و واحدها در یک توپولوژی پیشخور لایه‌ای مرتب شده‌اند.

۳.۲ ADALINE
نورون خطی تطبیقی یا بعداً عنصر خطی تطبیقی (Fig. ۲) یک شبکه عصبی مصنوعی تک لایه اولیه و نام دستگاه فیزیکی است که این شبکه را پیاده‌سازی می‌کند. این توسط برنارد ویدرو و تد هاف از دانشگاه استنفورد در سال ۱۹۶۰ توسعه یافت. این بر اساس نورون مک‌کولوچ-پیتیس است. این شامل یک وزن، یک بایاس و یک تابع جمع است. تفاوت بین Adaline و پرسپترون استاندارد (مک‌کولوچ-پیتیس) این است که در مرحله یادگیری، وزن‌ها بر اساس مجموع وزن‌دار ورودی‌ها (شبکه) تنظیم می‌شوند. در پرسپترون استاندارد، شبکه به تابع فعال‌سازی (انتقال) منتقل می‌شود و خروجی تابع برای تنظیم وزن‌ها استفاده می‌شود. همچنین یک توسعه به نام Madaline وجود دارد.

۳.۳ ART
شهود اولیه پشت مدل ART (Fig. ۳) این است که شناسایی و تشخیص اشیا به طور کلی در نتیجه تعامل انتظارات ناظر "بالا به پایین" با اطلاعات حسی "پایین به بالا" رخ می‌دهد. این مدل فرض می‌کند که انتظارات "بالا به پایین" به شکل یک الگوی حافظه یا نمونه اولیه است که سپس با ویژگی‌های واقعی یک شیء که توسط حواس تشخیص داده می‌شوند، مقایسه می‌شود. این مقایسه منجر به اندازه‌گیری تعلق به دسته می‌شود. تا زمانی که این تفاوت بین حس و انتظار از یک آستانه تنظیم‌شده به نام "پارامتر هوشیاری" تجاوز نکند، شیء حس‌شده به عنوان عضوی از کلاس مورد انتظار در نظر گرفته می‌شود. این سیستم راه حلی برای مشکل "انعطاف‌پذیری/پایداری" ارائه می‌دهد، یعنی مشکل به دست آوردن دانش جدید بدون مختل کردن دانش موجود.

۳.۴ نقشه ویژگی خود سازمان‌دهنده
SOFM یا شبکه‌های کوهونن (Fig. ۴) به طور متفاوتی استفاده می‌شوند. در حالی که بیشتر شبکه‌های دیگر برای وظایف یادگیری نظارت‌شده طراحی شده‌اند، شبکه‌های SOFM عمدتاً برای یادگیری بدون نظارت طراحی شده‌اند. در حالی که در یادگیری نظارت‌شده مجموعه داده آموزشی شامل مواردی است که متغیرهای ورودی همراه با خروجی‌های مرتبط را نشان می‌دهند (و شبکه باید یک نگاشت از ورودی‌ها به خروجی‌ها را استنباط کند)، در یادگیری بدون نظارت مجموعه داده آموزشی فقط شامل متغیرهای ورودی است.

۳.۵ شبکه هاپفیلد
یک شبکه هاپفیلد (Fig. ۵) نوعی شبکه عصبی مصنوعی بازگشتی است که توسط جان هاپفیلد در سال ۱۹۸۲ محبوب شد. شبکه‌های هاپفیلد به عنوان سیستم‌های حافظه قابل آدرس‌دهی محتوا با گره‌های آستانه باینری عمل می‌کنند. تضمین می‌شود که به یک حداقل محلی همگرا شوند، اما همگرایی به یک الگوی نادرست (حداقل محلی اشتباه) به جای الگوی ذخیره شده (حداقل محلی مورد انتظار) می‌تواند رخ دهد. شبکه‌های هاپفیلد همچنین مدلی برای درک حافظه انسان ارائه می‌دهند.

۳.۶ شبکه بازگشتی ساده
SRN یا شبکه Elman (Fig. ۶) در واقع فقط یک شبکه پیشخور سه لایه است. تنها شرط این است که یکی از دو قسمت ورودی به شبکه، الگوی فعال‌سازی در واحدهای پنهان شبکه در مرحله زمانی قبلی است.

۳.۷ CNN
شبکه‌های عصبی سلولی (Fig. ۷) یک الگوی محاسباتی موازی مشابه شبکه‌های عصبی است، با این تفاوت که ارتباط فقط بین واحدهای همسایه مجاز است. ویژگی اصلی CNN محلی بودن اتصالات بین واحدها است. هر سلول یک خروجی دارد که وضعیت خود را با سلول‌های دیگر و دستگاه‌های خارجی ارتباط می‌دهد.

۳.۸ شبکه عصبی کانولوشن
یک شبکه عصبی کانولوشن (Fig. ۸) نوعی شبکه عصبی مصنوعی پیشخور است که نورون‌های فردی آن به گونه‌ای مرتب شده‌اند که به مناطق همپوشاننده که میدان بصری را پوشش می‌دهند، پاسخ دهند. شبکه‌های عصبی کانولوشن از چندین لایه از مجموعه‌های کوچک نورون تشکیل شده‌اند که بخش‌هایی از تصویر ورودی را پردازش می‌کنند. خروجی این مجموعه‌ها سپس کاشی‌کاری می‌شود تا مناطق ورودی آن‌ها همپوشانی داشته باشند، تا نمایش بهتری از تصویر اصلی به دست آید. این کار برای هر لایه تکرار می‌شود.

۴. توپولوژی، به عبارت دیگر - معماری شبکه
در طرح شبکه‌های عصبی مصنوعی پیشخور، داده‌ها به طور دقیق از واحدهای ورودی به واحدهای خروجی حرکت می‌کنند. پردازش داده‌ها ممکن است چندین لایه را ایجاد کند، اما هیچ اتصال بازخورد پیاده‌سازی نمی‌شود. نمونه‌هایی از ANNهای پیشخور یک پرسپترون (روزنبلات) یا یک شبکه مبتنی بر Adaline (نورون خطی تطبیقی) هستند.

ANNهای بازگشتی. این نوع ANNها اتصالات بازخورد را در خود جای می‌دهند. در مقایسه با ANNهای پیشخور، خواص دینامیکی شبکه از اهمیت بالایی برخوردار است. در برخی شرایط، مقادیر فعال‌سازی واحدها یک فرآیند آرامش را طی می‌کنند تا اینکه شبکه به یک حالت پایدار برسد که در آن این مقادیر فعال‌سازی بدون تغییر باقی می‌مانند. نمونه‌هایی از ANNهای بازگشتی یک راه حل مبتنی بر کوهونن (SOM) یا هاپفیلد هستند.

۴.۱ ناسازگاری در نام‌گذاری
یک لایه چیست؟ برخی از نویسندگان به تعداد لایه‌های وزن متغیر اشاره می‌کنند، اما برخی دیگر تعداد لایه‌های گره‌ها را توصیف می‌کنند. معمولاً گره‌ها در لایه اول، لایه ورودی، فقط ورودی‌ها را به لایه‌های بعدی توزیع می‌کنند و هیچ عملیاتی (جمع یا آستانه‌گذاری) انجام نمی‌دهند. توجه: برخی از نویسندگان این گره‌ها را حذف می‌کنند.

یک لایه - این بخشی از ساختار شبکه است که شامل عناصر فعال است که یک عملیات را انجام می‌دهند.
یک شبکه چند لایه (Fig. ۹) تعدادی ورودی دریافت می‌کند. این‌ها توسط یک لایه از گره‌های ورودی که هیچ عملیاتی انجام نمی‌دهند توزیع می‌شوند - این ورودی‌ها سپس در امتداد اولین لایه وزن‌های تطبیقی به یک لایه از واحدهای شبیه پرسپترون منتقل می‌شوند که ورودی‌های خود را جمع و آستانه‌گذاری می‌کنند. این لایه قادر به تولید خطوط طبقه‌بندی در فضای الگو است. خروجی از لایه پنهان اول به لایه پنهان دوم منتقل می‌شود. این لایه قادر به تولید ناحیه محدب طبقه‌بندی و غیره است.

۵. چگونه یک شبکه پیشخور بسازیم؟
مشکلات اصلی در ساخت یک شبکه پیشخور (بدون حلقه‌های بازخورد) عبارتند از:

شبکه خطی یا غیرخطی؟
چند لایه برای عملکرد صحیح شبکه لازم است؟
چند عنصر باید در این لایه‌ها وجود داشته باشد؟

یک شبکه خطی شبکه‌ای است که در آن سیگنال‌های ورودی در وزن‌ها ضرب می‌شوند، جمع می‌شوند و نتیجه به عنوان سیگنال خروجی نورون به محور دنبال می‌شود. نمونه‌های معمولی از یک شبکه خطی یک پرسپترون ساده و یک شبکه Adeline هستند.

در یک شبکه غیرخطی، سیگنال خروجی توسط یک تابع غیرخطی f() محاسبه می‌شود. تابع f(?) به عنوان تابع انتقال نورون نامیده می‌شود و عملیات آن باید شبیه عملیات یک نورون بیولوژیکی باشد. نمونه معمولی از یک شبکه غیرخطی یک شبکه سیگموئیدی است.

۵.۱ چند لایه؟
ساده‌ترین شبکه پیشخور حداقل دو لایه دارد - یک ورودی و یک خروجی (توجه: چنین شبکه‌هایی به عنوان شبکه‌های تک لایه نامیده می‌شوند - نورون‌های فعال فقط در لایه خروجی قرار دارند). معمولاً بین این لایه‌ها چندین لایه میانی یا پنهان وجود دارد.

لایه‌های پنهان بسیار مهم هستند، آن‌ها به عنوان طبقه‌بند یا آشکارساز ویژگی در نظر گرفته می‌شوند. لایه خروجی به عنوان یک جمع‌کننده از ویژگی‌های تشخیص داده شده و تولید کننده پاسخ در نظر گرفته می‌شود.

۵.۱.۱ لایه ورودی
با توجه به تعداد نورون‌های تشکیل‌دهنده این لایه، این پارامتر به طور کامل و منحصراً با دانستن شکل داده‌های آموزشی شما تعیین می‌شود. به طور خاص، تعداد نورون‌های تشکیل‌دهنده آن لایه برابر با تعداد ویژگی‌ها (ستون‌ها) در داده‌های شما است. برخی از پیکربندی‌های شبکه‌های عصبی یک گره اضافی برای یک اصطلاح بایاس اضافه می‌کنند.

۵.۱.۲ لایه خروجی
مانند لایه ورودی، هر شبکه عصبی دقیقاً یک لایه خروجی دارد. تعیین اندازه آن (تعداد نورون‌ها) ساده است. این به طور کامل توسط پیکربندی مدل انتخابی تعیین می‌شود. راه حل جالب "یک از N" نامیده می‌شود. متأسفانه، به دلیل دقت محدود در عملکرد شبکه، سیگنال غیر صفر می‌تواند در هر عنصر خروجی رخ دهد. لازم است معیارهای خاصی برای پردازش پس از نتیجه و آستانه پذیرش و رد را پیاده‌سازی کنید.

۵.۲ چگونه شبکه بسازیم
یک شبکه خیلی کوچک بدون لایه پنهان یا نورون‌های خیلی کم قادر به حل یک مسئله نیست و حتی زمان یادگیری بسیار طولانی هم کمک نمی‌کند.
یک شبکه خیلی بزرگ معلم را فریب می‌دهد. لایه‌های پنهان خیلی زیاد یا عناصر خیلی زیاد در لایه‌های پنهان منجر به ساده‌سازی وظیفه می‌شود. شبکه تمام الگوهای یادگیری را یاد می‌گیرد. به سرعت و با دقت زیاد یاد می‌گیرد اما کاملاً برای حل هر مسئله مشابه بی‌فایده است.

۵.۳ چند لایه پنهان
لایه‌های پنهان خیلی زیاد منجر به تخریب قابل توجهی در یادگیری می‌شوند. اجماع در مورد تفاوت عملکرد ناشی از لایه‌های پنهان اضافی وجود دارد: موقعیت‌هایی که عملکرد با یک لایه دوم (یا سوم و غیره) بهبود می‌یابد نسبتاً نادر است. یک لایه پنهان برای اکثر مشکلات کافی است. یک لایه اضافی منجر به ناپایداری گرادیان و افزایش تعداد حداقل‌های نادرست می‌شود. دو لایه پنهان فقط در صورتی لازم هستند که یادگیری به تابعی با نقاط ناپیوستگی اشاره داشته باشد. نورون‌های خیلی زیاد در لایه‌های پنهان ممکن است منجر به بیش‌برازش شود. بیش‌برازش زمانی رخ می‌دهد که شبکه عصبی ظرفیت پردازش اطلاعات زیادی داشته باشد که مقدار اطلاعات موجود در مجموعه آموزشی برای آموزش تمام نورون‌ها در لایه‌های پنهان کافی نیست. مشکل دیگری می‌تواند حتی زمانی رخ دهد که داده‌های آموزشی کافی باشد. تعداد زیادی نورون در لایه پنهان ممکن است زمان لازم برای آموزش شبکه را افزایش دهد و منجر به افزایش خطاها شود (Fig. ۱۰). استفاده از نورون‌های خیلی کم در لایه‌های پنهان منجر به چیزی به نام کم‌برازش می‌شود.

یک پیش‌نیاز تقریبی برای تعداد نورون‌های پنهان (برای اکثر مسائل معمولی) قانون هرم هندسی است. تعداد نورون‌ها در لایه‌های متوالی شکل هرم دارد و از جهت ورودی به خروجی کاهش می‌یابد. اعداد نورون‌ها در لایه‌های متوالی یک دنباله هندسی را تشکیل می‌دهند.

به عنوان مثال، برای شبکه‌ای با یک لایه پنهان با n نورون در لایه ورودی و m نورون در لایه خروجی، تعداد نورون‌ها در لایه پنهان باید NHN=n∗m‾‾‾‾‾√NHN=n∗m باشد. برای شبکه‌ای با دو لایه پنهان NHN1=m∗r2andNHN2=m∗rNHN1=m∗r2andNHN2=m∗r که در آن r=nm‾‾√3r=nm3.

نورون پنهان می‌تواند بر خطا در گره‌هایی که خروجی آن به آن‌ها متصل است تأثیر بگذارد. پایداری شبکه عصبی با خطا تخمین زده می‌شود. حداقل خطا نشان‌دهنده پایداری بهتر و خطای بالاتر نشان‌دهنده پایداری بدتر است. در طول آموزش، شبکه سازگار می‌شود تا خطا ناشی از الگوهای آموزشی را کاهش دهد. بسیاری از محققان تعداد نورون‌های پنهان را بر اساس قانون آزمایشی ثابت کرده‌اند.

تئوری تخمین برای یافتن تعداد نورون‌های پنهان در شبکه عصبی پیشخور مرتبه بالاتر پیشنهاد شده است. این تئوری برای پیش‌بینی سری‌های زمانی اعمال می‌شود. تعیین تعداد بهینه نورون‌های پنهان زمانی به دست می‌آید که تعداد کافی نورون پنهان فرض شود. طبق تئوری تخمین، تعداد کافی نورون‌های پنهان در شبکه عصبی مرتبه دوم و شبکه‌های مرتبه اول به ترتیب ۴ و ۷ است.

۶. بررسی روش‌های تعیین تعداد نورون‌های پنهان
برای تعیین تعداد بهینه نورون‌های پنهان، بیش از ۱۰۰ معیار مختلف بر اساس خطاهای آماری در ۲۰ سال گذشته آزمایش شده‌اند. بررسی بسیار خوبی توسط Gnana Sheela و Deepa در [۱۵] انجام شده است. در زیر مروری کوتاه بر برخی از تلاش‌ها آورده شده است:

۱۹۹۱: Sartori و Antsaklis روشی را برای یافتن تعداد نورون‌های پنهان در یک شبکه عصبی چند لایه برای یک مجموعه آموزشی دلخواه با P الگوی آموزشی پیشنهاد کردند.
۱۹۹۳: Arai دو روش صفحه هایپربولیک موازی را برای یافتن تعداد نورون‌های پنهان پیشنهاد کرد.
۱۹۹۵: Li و همکاران تئوری تخمین را برای یافتن تعداد واحدهای پنهان در شبکه عصبی پیشخور مرتبه بالاتر بررسی کردند.
۱۹۹۷: Tamura و Tateishi روشی را برای تعیین تعداد نورون‌های پنهان توسعه دادند. تعداد نورون‌های پنهان در شبکه عصبی سه لایه N-۱ و شبکه عصبی چهار لایه N/۲ + ۳ است که در آن N رابطه ورودی-هدف است.
۱۹۹۸: Fujita یک تخمین آماری برای تعداد نورون‌های پنهان پیشنهاد کرد. مزایای این روش سرعت یادگیری است. تعداد نورون‌های پنهان عمدتاً به خطای خروجی بستگی دارد.
۲۰۰۱: Onoda یک رویکرد آماری برای یافتن تعداد بهینه واحدهای پنهان در کاربردهای پیش‌بینی ارائه کرد. حداقل خطاها با افزایش تعداد واحدهای پنهان به دست می‌آیند. Md. Islam و Murase تعداد زیادی گره پنهان را در انجماد وزن شبکه‌های تک لایه پنهان پیشنهاد کردند.
۲۰۰۳: Zhang و همکاران یک الگوریتم پوشش مجموعه (SCA) را در شبکه عصبی سه لایه پیاده‌سازی کردند. SCA بر اساس پوشش کره واحد (USC) فضای Hamming است. این روش‌شناسی بر اساس تعداد ورودی‌ها است.
۲۰۰۶: Choi و همکاران یک الگوریتم یادگیری جداگانه ایجاد کردند که شامل یک رویکرد قطعی و اکتشافی است. در این الگوریتم، گره‌های ورودی به پنهان و پنهان به خروجی به طور جداگانه آموزش داده می‌شوند. این مشکل حداقل‌های محلی را در شبکه پیشخور دو لایه حل می‌کند. دستاورد در اینجا بهترین سرعت همگرایی است.
۲۰۰۸: Jiang و همکاران یک کران پایین برای تعداد نورون‌های پنهان ارائه کردند. تعداد لازم نورون‌های پنهان با استفاده از پرسپترون چند لایه (MLP) توسط Trenn تقریب زده شد. نکات کلیدی سادگی، مقیاس‌پذیری و سازگاری هستند. تعداد نورون‌های پنهان Nh = n + n0 - 0.5 است که در آن n تعداد ورودی‌ها و n0 تعداد خروجی‌ها است. Xu و Chen یک رویکرد جدید برای تعیین تعداد بهینه نورون‌های پنهان در داده‌کاوی توسعه دادند. بهترین تعداد نورون‌های پنهان منجر به حداقل خطای میانگین مربعات ریشه می‌شود.
۲۰۰۹: Shibata و Ikeda اثر پایداری یادگیری و نورون‌های پنهان را در شبکه عصبی بررسی کردند. نتایج شبیه‌سازی نشان می‌دهد که وزن اتصال خروجی پنهان با افزایش تعداد نورون‌های پنهان کوچک می‌شود.
۲۰۱۰: Doukim و همکاران یک تکنیک برای یافتن تعداد نورون‌های پنهان در شبکه MLP با استفاده از تکنیک جستجوی دقیق به دقیق پیشنهاد کردند که در تشخیص پوست اعمال می‌شود. این تکنیک شامل جستجوی باینری و جستجوی متوالی است. Yuan و همکاران روشی برای تخمین نورون پنهان بر اساس آنتروپی اطلاعات پیشنهاد کردند. این روش بر اساس الگوریتم درخت تصمیم است. Wu و Hong الگوریتم‌های یادگیری برای تعیین تعداد نورون‌های پنهان پیشنهاد کردند.
۲۰۱۱: Panchal و همکاران روشی را برای تجزیه و تحلیل رفتار MLP پیشنهاد کردند. تعداد لایه‌های پنهان به طور معکوس با حداقل خطا متناسب است.

مراجع

McCulloch, W.S., Pitts, W.: A logical calculus of the ideas immanent in nervous activity. Bull. Math. Bioph. 5, 115–133 (1943)
Hebb, D.: The Organization of Behavior. Wiley, New York (1949)
Rosenblatt, F.: The perceptron: a probabilistic model for information storage and organization in the brain. Psychol. Rev. 65(6), 386–408 (1958)
Rosenblatt, F.: Principles of Neurodynamics. Spartan Books, Washington (1962)
Widrow, B., Hoff, M.: Adaptive switching circuits. Technical report 1553-1, Stanford Electron. Labs., Stanford, June 1960
Minsky, M.L., Papert, S.: Perceptrons: An Introduction to Computational Geometry. MIT Press, Cambridge (1969)
Klopf, A.H.: Brain function and adaptive systems - a heterostatic theory. Air Force Research Laboratories Technical Report, AFCRL-72-0164 (1972)
Fukushima, K.: Cognitron: a self-organizing multilayered neural network. Biol. Cyber. 20, 121–136 (1975)
Grossberg, S.: Adaptive pattern classification and universal recoding. Biol. Cyber. 23(3), 121–134 (1976)
Kohonen, T.: Self-organized formation of topologically correct feature maps. Biol. Cyber. 43, 59–69 (1982)
Hopfield, J.J.: Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. USA 79, 2554–2558 (1982)
Rumelhart, D.E., Hinton, G.E., Williams, R.J.: Learning internal representations by error propagation. In: Parallel Distributed Processing: Explorations in the Microstructure of Cognition, vol. 1, pp. 318–362. MIT Press, Cambridge (1986)
Carpenter, G.A., Grossberg, S.: A massively parallel architecture for a self-organizing neural pattern recognition machine. Comp. Vis. Graph. Image Proc. 37, 54–115 (1987)
Schmidhuber, J.: Deep learning in neural networks: an overview. Neural Netw. 61, 85–117 (2014)
Gnana Sheela, K., Deepa, S.N.: Review on methods to fix number of hidden neurons in neural networks. Anna University, Regional Centre, Coimbatore 641047, India (2013)

شبکه‌های عصبی- وضعیت هنر، تاریخچه مختصر، مدل‌های اساسی و معماری توسط Bohdan Macukow تحت مجوز CC BY-NC 2.5 منتشر شده است.


واقعیت این است که—
یادگیری عمیق، به ویژه شبکه‌های عصبی، یک حوزه تحقیقاتی بسیار داغ است.
تعداد بی‌شماری معماری جدید شبکه عصبی هر روز پیشنهاد و به‌روزرسانی می‌شود.
قبلاً، استفاده از شبکه‌های عصبی به مسائل طبقه‌بندی ساده مانند پیام‌های اسپم محدود می‌شد، اما از آن زمان به حوزه‌هایی مانند موتورهای جستجوی بصری، موتورهای توصیه‌گر، ربات‌های گفتگو و حوزه پزشکی پیشرفت کرده‌اند.
تکامل شبکه‌های عصبی مصنوعی کوچک که می‌توانستند نمونه‌های داده کمتری را مدیریت کنند، به معماری‌هایی متشکل از میلیون‌ها پارامتر که بر روی حجم زیادی از داده‌ها آموزش داده می‌شوند، تبدیل شده است.
در اینجا مواردی که پوشش خواهیم داد آورده شده است:

شبکه‌های عصبی چیستند؟
شبکه‌های عصبی پیش‌خور (Feed-Forward Neural Networks)
شبکه‌های عصبی بازگشتی (RNN)
شبکه‌های عصبی کانولوشنال (CNN)
شبکه‌های مولد تخاصمی (GANs)
شبکه‌های ترانسفورمر

آیا آماده‌اید تا استقرار محصول هوش مصنوعی را فوراً ساده کنید؟ به این موارد نگاهی بیندازید:

آموزش مدل V7
گردش‌کارهای V7
برچسب‌گذاری خودکار V7
مدیریت مجموعه داده V7

شبکه‌های عصبی چیستند؟
شبکه‌های عصبی واحد عملکردی یادگیری عمیق هستند و به دلیل تقلید از رفتار مغز انسان برای حل مسائل پیچیده مبتنی بر داده شناخته می‌شوند.
داده‌های ورودی از طریق لایه‌های مختلف نورون‌های مصنوعی پشته شده پردازش می‌شوند تا خروجی مورد نظر تولید شود.
از تشخیص گفتار و تشخیص چهره گرفته تا مراقبت‌های بهداشتی و بازاریابی، شبکه‌های عصبی در مجموعه‌ای متنوع از حوزه‌ها مورد استفاده قرار گرفته‌اند.
اجزای کلیدی معماری شبکه عصبی
معماری شبکه عصبی از واحدهای منفردی به نام نورون‌ها تشکیل شده است که رفتار بیولوژیکی مغز را تقلید می‌کنند.
در اینجا اجزای مختلف یک نورون آورده شده است:

نورون در شبکه عصبی مصنوعی
ورودی - این مجموعه ویژگی‌هایی است که برای فرآیند یادگیری به مدل داده می‌شوند. به عنوان مثال، ورودی در تشخیص اشیا می‌تواند آرایه‌ای از مقادیر پیکسل مربوط به یک تصویر باشد.
وزن - عملکرد اصلی آن دادن اهمیت به آن ویژگی‌هایی است که بیشتر به یادگیری کمک می‌کنند. این کار را با معرفی ضرب اسکالر بین مقدار ورودی و ماتریس وزن انجام می‌دهد. به عنوان مثال، یک کلمه منفی تأثیر بیشتری بر تصمیم مدل تحلیل احساسات نسبت به یک جفت کلمه خنثی دارد.
تابع انتقال - وظیفه تابع انتقال ترکیب چندین ورودی به یک مقدار خروجی است تا بتوان تابع فعال‌سازی را اعمال کرد. این کار با جمع ساده تمام ورودی‌ها به تابع انتقال انجام می‌شود.
تابع فعال‌سازی - این تابع غیرخطی بودن را در عملکرد پرسپترون‌ها معرفی می‌کند تا بتواند خطی بودن متغیر را با ورودی‌ها در نظر بگیرد. بدون این تابع، خروجی فقط ترکیبی خطی از مقادیر ورودی خواهد بود و قادر به معرفی غیرخطی بودن در شبکه نخواهد بود.
💡 نکته حرفه‌ای: آیا به دنبال منبع کاملی برای مرور توابع فعال‌سازی هستید؟ به انواع توابع فعال‌سازی شبکه‌های عصبی مراجعه کنید.
بایاس - نقش بایاس شیفت دادن مقداری است که توسط تابع فعال‌سازی تولید می‌شود. نقش آن مشابه نقش یک ثابت در یک تابع خطی است.
هنگامی که چندین نورون به صورت ردیفی پشته می‌شوند، یک لایه را تشکیل می‌دهند و چندین لایه که در کنار یکدیگر قرار گرفته‌اند، یک شبکه عصبی چند لایه نامیده می‌شوند.
ما اجزای اصلی این نوع ساختار را در زیر شرح داده‌ایم:

شبکه عصبی چند لایه
لایه ورودی
داده‌هایی که به مدل می‌دهیم از منابع خارجی مانند یک فایل CSV یا یک سرویس وب به لایه ورودی بارگذاری می‌شوند. این تنها لایه قابل مشاهده در معماری کامل شبکه عصبی است که اطلاعات کامل را از دنیای بیرون بدون هیچ محاسباتی منتقل می‌کند.
لایه‌های پنهان
لایه‌های پنهان چیزی است که یادگیری عمیق را به آنچه امروز هست تبدیل می‌کند. آنها لایه‌های میانی هستند که تمام محاسبات را انجام می‌دهند و ویژگی‌ها را از داده‌ها استخراج می‌کنند.
می‌توان چندین لایه پنهان به هم پیوسته وجود داشته باشد که مسئول جستجوی ویژگی‌های پنهان مختلف در داده‌ها هستند. به عنوان مثال، در پردازش تصویر، لایه‌های پنهان اول مسئول ویژگی‌های سطح بالاتر مانند لبه‌ها، شکل‌ها یا مرزها هستند. از طرف دیگر، لایه‌های پنهان بعدی وظایف پیچیده‌تری مانند شناسایی اشیاء کامل (یک ماشین، یک ساختمان، یک شخص) را انجام می‌دهند.
لایه خروجی
لایه خروجی ورودی را از لایه‌های پنهان قبلی می‌گیرد و بر اساس یادگیری مدل، پیش‌بینی نهایی را انجام می‌دهد. این مهم‌ترین لایه است که در آن نتیجه نهایی را دریافت می‌کنیم.
در مورد مدل‌های طبقه‌بندی/رگرسیون، لایه خروجی معمولاً دارای یک گره واحد است. با این حال، این کاملاً به مسئله خاص و نحوه ساخت مدل بستگی دارد.
شبکه‌های عصبی استاندارد
پرسپترون
پرسپترون ساده‌ترین معماری شبکه عصبی است.
این نوعی شبکه عصبی است که تعدادی ورودی می‌گیرد، عملیات ریاضی خاصی را روی این ورودی‌ها اعمال می‌کند و یک خروجی تولید می‌کند. این یک بردار از مقادیر واقعی ورودی می‌گیرد، ترکیبی خطی از هر ویژگی را با وزن مربوطه اختصاص داده شده به هر یک از آنها انجام می‌دهد.
ورودی وزن‌دار در یک مقدار واحد جمع می‌شود و از طریق یک تابع فعال‌سازی عبور می‌کند.
این واحدهای پرسپترون برای تشکیل یک معماری بزرگتر شبکه عصبی مصنوعی ترکیب می‌شوند.
شبکه‌های پیش‌خور
پرسپترون نشان می‌دهد که یک نورون منفرد چگونه کار می‌کند.
اما—
در مورد مجموعه‌ای از پرسپترون‌ها که به صورت ردیفی پشته شده و در لایه‌های مختلف قرار گرفته‌اند چه می‌شود؟ مدل چگونه یاد می‌گیرد؟
این یک شبکه عصبی چند لایه است و همانطور که از نام آن پیداست، اطلاعات در جهت رو به جلو - از چپ به راست - منتقل می‌شود.
در گذر رو به جلو، اطلاعات از طریق لایه ورودی وارد مدل می‌شوند، از طریق مجموعه‌ای از لایه‌های پنهان عبور می‌کنند و در نهایت به لایه خروجی می‌رسند. این معماری شبکه‌های عصبی رو به جلو است - اطلاعات بین دو لایه پنهان حلقه نمی‌شود.
لایه‌های بعدی هیچ بازخوردی به لایه‌های قبلی نمی‌دهند. فرآیند یادگیری اساسی شبکه‌های پیش‌خور مانند پرسپترون باقی می‌ماند.
شبکه‌های باقیمانده (ResNet)
اکنون که اطلاعات بیشتری در مورد شبکه‌های پیش‌خور دارید، ممکن است این سوال در ذهن شما ایجاد شود - چگونه تعداد لایه‌ها را در معماری شبکه عصبی خود تعیین کنیم؟
یک پاسخ ساده این است: هرچه تعداد لایه‌های پنهان بیشتر باشد، فرآیند یادگیری بهتر است.
لایه‌های بیشتر سطوح ویژگی‌ها را غنی می‌کنند. اما—
آیا واقعاً اینطور است؟
شبکه‌های عصبی بسیار عمیق به دلیل مشکلات گرادیان ناپدید شونده و منفجر شونده، آموزش بسیار دشواری دارند.
ResNet یک مسیر جایگزین برای جریان داده‌ها فراهم می‌کند تا فرآیند آموزش را بسیار سریع‌تر و آسان‌تر کند.
این با رویکرد پیش‌خور معماری‌های قبلی شبکه‌های عصبی متفاوت است.
ایده اصلی پشت ResNet این است که یک شبکه عمیق‌تر را می‌توان از یک شبکه کم‌عمق با کپی کردن وزن از همتایان کم‌عمق با استفاده از نگاشت هویتی ایجاد کرد.
داده‌ها از لایه‌های قبلی سریعاً به جلو منتقل می‌شوند و در شبکه‌های عصبی بسیار جلوتر کپی می‌شوند. این همان چیزی است که ما به عنوان اتصالات پرش معرفی شده برای اولین بار در شبکه‌های باقیمانده برای حل گرادیان‌های ناپدید شونده می‌نامیم.
شبکه‌های عصبی بازگشتی (RNN)
معماری عمیق اساسی دارای اندازه ورودی ثابت است و این به عنوان یک مانع در سناریوهایی عمل می‌کند که اندازه ورودی ثابت نیست. همچنین، تصمیمات گرفته شده توسط مدل بر اساس ورودی فعلی بدون حافظه از گذشته بود.
شبکه‌های عصبی بازگشتی به خوبی با دنباله‌های داده به عنوان ورودی کار می‌کنند. عملکرد آن را می‌توان در حل مسائل پردازش زبان طبیعی مانند تحلیل احساسات، فیلترهای اسپم، مسائل سری زمانی مانند پیش‌بینی فروش، پیش‌بینی بازار سهام و غیره مشاهده کرد.
شبکه‌های عصبی بازگشتی (RNN)
شبکه‌های عصبی بازگشتی قدرت به یاد آوردن آنچه را که در گذشته آموخته‌اند و اعمال آن در پیش‌بینی‌های آینده را دارند.

ورودی به صورت داده‌های ترتیبی است که به RNN داده می‌شود، که دارای یک حالت داخلی پنهان است که هر بار که دنباله داده بعدی را در ورودی می‌خواند، به‌روز می‌شود.
حالت پنهان داخلی به مدل بازخورد داده می‌شود. RNN در هر بازه زمانی خروجی را تولید می‌کند.
نمایش ریاضی در زیر آمده است:

💡 توجه: ما از یک تابع و پارامترهای یکسان در هر بازه زمانی استفاده می‌کنیم.
شبکه حافظه بلند مدت (LSTM)
در RNN هر یک از پیش‌بینی‌های ما فقط یک بازه زمانی به عقب نگاه می‌کرد و حافظه کوتاه‌مدتی داشت. از هیچ اطلاعاتی از گذشته استفاده نمی‌کرد.
برای اصلاح این موضوع، می‌توانیم ساختار شبکه‌های عصبی بازگشتی خود را گسترش دهیم و قطعات بیشتری به آن اضافه کنیم.
بخش مهمی که به این شبکه‌های عصبی بازگشتی اضافه می‌کنیم حافظه است. ما می‌خواهیم بتواند آنچه را که بسیاری از بازه‌های زمانی پیش اتفاق افتاده است به یاد داشته باشد. برای دستیابی به این هدف، باید ساختارهای اضافی به نام دروازه‌ها را به ساختار شبکه عصبی مصنوعی اضافه کنیم.

حالت سلول (c_t): این مربوط به محتوای حافظه بلند مدت شبکه است.
دروازه فراموشی: برخی از اطلاعات در حالت سلول دیگر مورد نیاز نیست و پاک می‌شود. دروازه دو ورودی، x_t (ورودی بازه زمانی فعلی) و h_t-1 (حالت سلول قبلی) را دریافت می‌کند که با ماتریس‌های وزن مربوطه ضرب می‌شوند قبل از اینکه بایاس اضافه شود. نتیجه به یک تابع فعال‌سازی ارسال می‌شود که یک مقدار باینری را خروجی می‌دهد که تصمیم می‌گیرد آیا اطلاعات حفظ شود یا فراموش شود.
دروازه ورودی: این تصمیم می‌گیرد که چه قطعه‌ای از اطلاعات جدید باید به حالت سلول اضافه شود. این شبیه به دروازه فراموشی با استفاده از ورودی بازه زمانی فعلی و حالت سلول قبلی با تنها تفاوت ضرب در مجموعه وزنهای متفاوت است.
دروازه خروجی: وظیفه دروازه خروجی استخراج اطلاعات معنادار از حالت سلول فعلی و ارائه آن به عنوان خروجی است. این کار با جمع ساده تمام ورودی‌ها به تابع انتقال انجام می‌شود.
شبکه‌های حالت اکو (ESN)
شبکه‌های حالت اکو یک RNN با لایه‌های پنهان پراکنده است که معمولاً 1٪ اتصال دارند.
اتصال و وزن نورون‌های پنهان ثابت و به طور تصادفی اختصاص داده می‌شوند. تنها وزنی که باید یاد گرفته شود وزن لایه خروجی است. می‌توان آن را به عنوان یک مدل خطی از ورودی وزن‌دار که از طریق تمام لایه‌های پنهان عبور می‌کند و خروجی هدف است، در نظر گرفت. ایده اصلی این است که لایه‌های اولیه را ثابت نگه داریم.
تنها وزن‌هایی که در طول آموزش اصلاح می‌شوند، وزن‌هایی هستند که لایه‌های پنهان را به لایه‌های خروجی متصل می‌کنند. این تابع زیان را ساده و مشتق‌پذیر می‌کند.
آموزش با فرض واحدهای خروجی خطی ساده می‌شود. تنها چیزی که باید در نظر داشت تنظیم اتصالات تصادفی با دقت است.
شبکه‌های عصبی کانولوشنال (CNN)
شبکه‌های عصبی کانولوشنال نوعی شبکه عصبی پیش‌خور است که در کارهایی مانند تجزیه و تحلیل تصویر، پردازش زبان طبیعی و سایر مسائل پیچیده طبقه‌بندی تصویر استفاده می‌شود.
یک CNN دارای لایه‌های پنهان لایه‌های کانولوشنال است که پایه ConvNets را تشکیل می‌دهند.
ویژگی‌ها به جزئیات دقیقی در داده‌های تصویر مانند لبه‌ها، مرزها، شکل‌ها، بافت‌ها، اشیاء، دایره‌ها و غیره اشاره دارند.
در سطح بالاتر، لایه‌های کانولوشنال این الگوها را در داده‌های تصویر با کمک فیلترها تشخیص می‌دهند. جزئیات سطح بالاتر توسط چند لایه کانولوشنال اول مراقبت می‌شود.
هرچه شبکه عمیق‌تر شود، جستجوی الگو پیچیده‌تر می‌شود.
به عنوان مثال، در لایه‌های بعدی، به جای لبه‌ها و اشکال ساده، فیلترها ممکن است اشیاء خاصی مانند چشم یا گوش و در نهایت یک گربه، یک سگ و غیره را تشخیص دهند.

استخراج ویژگی و طبقه‌بندی در شبکه‌های عصبی کانولوشنال
هنگام افزودن یک لایه کانولوشنال به یک شبکه، باید تعداد فیلترها را مشخص کنید.
یک فیلتر را می‌توان به عنوان یک ماتریس نسبتاً کوچک در نظر گرفت که تعداد سطرها و ستون‌های این ماتریس را تعیین می‌کنیم.
مقدار این ماتریس ویژگی با اعداد تصادفی مقداردهی اولیه می‌شود. هنگامی که این لایه کانولوشنال مقادیر پیکسل داده‌های ورودی را دریافت می‌کند، فیلتر بر روی هر تکه از ماتریس ورودی کانولوشن می‌شود.
خروجی لایه کانولوشنال معمولاً از طریق تابع فعال‌سازی ReLU عبور می‌کند تا غیرخطی بودن را به مدل بیاورد. این تابع نقشه ویژگی را می‌گیرد و تمام مقادیر منفی را با صفر جایگزین می‌کند.
Pooling یک مرحله بسیار مهم در ConvNets است زیرا محاسبات را کاهش می‌دهد و مدل را در برابر اعوجاج و تغییرات مقاوم می‌کند. یک شبکه عصبی متراکم کاملاً متصل از یک ماتریس ویژگی مسطح شده استفاده می‌کند و بر اساس مورد استفاده، پیش‌بینی می‌کند.
شبکه‌های عصبی دی‌کانولوشنال (DNN)
شبکه‌های عصبی دی‌کانولوشنال CNNهایی هستند که به صورت معکوس کار می‌کنند.
هنگامی که از لایه‌های کانولوشنال و max-pooling استفاده می‌کنیم، اندازه تصویر کاهش می‌یابد. برای بازگشت به اندازه اصلی، از upsampling و لایه‌های کانولوشنال ترانهاده استفاده می‌کنیم. Upsampling پارامترهای قابل آموزش ندارد - فقط سطرها و ستون‌های داده‌های تصویر را با اندازه‌های مربوطه تکرار می‌کند.

لایه کانولوشنال ترانهاده به معنای اعمال عملیات کانولوشنال و upsampling به طور همزمان است. این به صورت Conv2DTranspose (تعداد فیلترها، اندازه فیلتر، گام) نشان داده می‌شود. اگر stride=1 را تنظیم کنیم، هیچ upsampling نداریم و خروجی با اندازه ورودی یکسان را دریافت می‌کنیم.
AlexNet
AlexNet بر روی مجموعه داده Imagenet با 15 میلیون تصویر با وضوح بالا با 256*256*3 آموزش داده شد. دارای چندین لایه کانولوشنال است و عمیق‌تر از شبکه عصبی مصنوعی LeNet است.
در اینجا ویژگی‌های AlexNet آمده است:

Dropout برای جلوگیری از بیش‌برازش اضافه شده است.
افزایش داده به عنوان یک فرآیند پیش‌آموزش انجام شد.
برای اولین بار از تابع فعال‌سازی ReLU به جای سیگموئید، Softmax استفاده شد.
یادگیری GPU برای اولین بار انجام شد
برای جلوگیری از از دست دادن اطلاعات، pooling همپوشان انجام شد.

این شامل پنج بلوک لایه کانولوشنال-pooling و سه لایه متراکم کاملاً متصل برای طبقه‌بندی بود.
Overfeat
این معماری شبکه عصبی سه کار بینایی شناخته شده طبقه‌بندی، مکان‌یابی و تشخیص را با استفاده از یک چارچوب واحد بررسی می‌کند.
این مدل‌ها را به طور همزمان بر روی هر سه کار آموزش می‌دهد تا دقت را افزایش دهد.
این یک اصلاح از AlexNet است. این جعبه‌های محدود را در هر مکان و مقیاس فضایی پیش‌بینی می‌کند. برای مکان‌یابی، سر طبقه‌بندی با یک شبکه رگرسیون جایگزین می‌شود.
VGG
VGG مخفف Visual Geometry Group است.
ایده پشت VGG این بود که اگر AlexNet بهتر از LeNet با بزرگتر و عمیق‌تر بودن عمل کند، چرا به پیشروی ادامه ندهیم؟
یکی از مسیرهایی که می‌توانستیم انتخاب کنیم اضافه کردن لایه‌های متراکم بیشتر بود. این محاسبات بیشتری را به همراه داشت.
راه حل بعدی داشتن لایه‌های کانولوشنال بیشتر بود. اما این کار تعریف هر لایه کانولوشنال را به صورت جداگانه خسته کننده می‌کرد.
بنابراین—
بهترین راه حل از همه گروه‌بندی لایه‌های کانولوشنال در بلوک‌ها بود.
سوال این بود: آیا بهتر است از بلوک‌های کانولوشنال پهن‌تر کمتری استفاده کنیم یا بلوک‌های باریک‌تر بیشتری؟
در نهایت، محققان به این نتیجه رسیدند که لایه‌های کانولوشنال باریک‌تر بیشتر از لایه‌های کانولوشنال پهن‌تر کمتر قدرتمند هستند.
یک VGG-block دارای تعداد زیادی کانولوشن 3x3 با پدینگ 1 برای حفظ اندازه خروجی یکسان با ورودی است و پس از آن max-pooling برای نصف کردن وضوح است. معماری دارای n تعداد بلوک‌های VGG و سپس سه لایه متراکم کاملاً متصل بود.
شبکه در شبکه
لایه‌های کانولوشنال به پارامترهای کمتری نیاز دارند. لایه‌های کاملاً متصل آخر هستند که باعث افزایش قابل توجه تعداد پارامترها می‌شوند.
یک راه حل این است که لایه‌های کاملاً متصل را حذف کنیم. اما—
اگرچه این در تئوری آسان به نظر می‌رسد، اما پیاده‌سازی آن بسیار دشوار است.
کانولوشن‌ها و pooling وضوح را کاهش می‌دهند، اما در نهایت باید آن را به کلاس‌های مربوطه نگاشت کنیم. بنابراین، ایده این بود که وضوح را با پیشرفت عمیق‌تر کاهش دهیم و تعداد کانال‌ها را با استفاده از کانولوشن‌های 1x1 افزایش دهیم. این اطلاعات با کیفیت بالایی را در هر کانال ارائه می‌دهد.
در معماری شبکه در شبکه، لایه کاملاً متصل آخر با یک لایه max-pooling سراسری جایگزین می‌شود و مدل را سبک می‌کند.
GoogLeNet و Inception
معماری شبکه عصبی Inception دارای سه لایه کانولوشنال با فیلترهای با اندازه مختلف و max-pooling است. هر لایه دارای فیلترهای با اندازه مختلف برای یادگیری موازی است.
فیلترهای با اندازه مختلف برای مراقبت از تغییرات بزرگ در مکان اطلاعات وجود دارد که انتخاب اندازه فیلتر مناسب را دشوار می‌کند.
لایه کانولوشنال با اندازه فیلتر کوچک از یک ناحیه اطلاعات کوچک مراقبت می‌کند.
یک فیلتر با اندازه بزرگتر یک واحد بزرگتر از اطلاعات را ثبت می‌کند.
معماری GoogleNet از بلوک‌های inception تشکیل شده است که دارای لایه‌های کانولوشنال 1x1، 3x3، 5x5 و max pooling 3x3 با پدینگ (برای ایجاد شکل خروجی یکسان با ورودی) است و سپس با هم ترکیب می‌شوند.
SqueezeNet
هدف آن CNNهای کوچکتر است تا ارتباط بین سرورها در طول آموزش توزیع شده کمتر باشد.
تغییراتی که در معماری AlexNet ایجاد می‌کند به شرح زیر است:

فیلترهای 3*3 با فیلترهای 1*1 جایگزین می‌شوند تا تعداد پارامترها کاهش یابد.
Downsample در اواخر معماری انجام می‌شود تا لایه‌های کانولوشنال نقشه‌های فعال‌سازی بزرگی داشته باشند.
آنها ویژگی‌ها را با لایه‌های squeeze که از لایه‌های کانولوشنال 1*1 تشکیل شده‌اند، فشرده می‌کنند و سپس آنها را با ترکیبی از لایه‌های کانولوشنال 1*1 و 3*3 گسترش می‌دهند. هر بلوک squeeze-expand با هم قرار می‌گیرد و به عنوان یک ماژول آتش شناخته می‌شود.

Xception
لایه کانولوشنال که بلوک اساسی تمام CNNها است شامل یک عملیات کانولوشنال است. هر عملیات کانولوشنال شامل لغزش یک فیلتر در تمام تکه‌های آرایه پیکسل ورودی است.
هر بار تعداد ضرب‌هایی که انجام می‌شود برابر با تعداد عناصری است که در فیلتر وجود دارد.
در کانولوشن استاندارد، فیلترها در تمام کانال‌های ورودی و ترکیب این مقادیر در یک مرحله انجام می‌شود. کانولوشن‌های قابل تفکیک عمق که در معماری Xception پیشنهاد شده است، این عملیات را به دو قسمت تقسیم می‌کند:

کانولوشن عمق
کانولوشن نقطه‌ای

MobileNets
MobileNets از کانولوشن‌های قابل تفکیک عمق برای ساخت شبکه‌های عصبی عمیق سبک وزن استفاده می‌کند. آنها مدل‌های بسیار کوچک و با تأخیر کم را توسعه می‌دهند که برای برنامه‌هایی مانند ربات‌ها، خودروهای خودران و غیره استفاده می‌شوند. اینها به دلیل مناسب بودن برای دستگاه‌های تلفن همراه - MobileNets نامیده می‌شوند.
در یک ساختار CNN ساده، یک فیلتر یک بلوکی است که بر روی بلوک تصویر ورودی قرار می‌گیرد و حاصل ضرب نقطه‌ای بین دو جزء همپوشان محاسبه می‌شود. جزئیات داخل یک کانال همراه با رابطه بین کانال‌های مختلف محاسبه می‌شود.
به جای داشتن یک فیلتر بزرگ، MobileNets دو فیلتر دارد:

یکی از طریق یک کانال در یک زمان می‌رود تا تشخیص دهد که چگونه تمام پیکسل‌ها در یک کانال مرتبط هستند.
دیگری از طریق تمام کانال‌ها به طور همزمان می‌رود تا ببیند که چگونه یک پیکسل به هر پیکسل دیگری که پشت سر آن می‌آید مرتبط است.

💡 نکته حرفه‌ای: مدل از پیش آموزش‌دیده V7 (VoVNet) را برای تشخیص اشیا که از بسیاری از معماری‌های پیشرفته عملکرد بهتری دارد، بررسی کنید.
شبکه‌های عصبی کپسولی
برخی از مشکلات با شبکه‌های عصبی کانولوشنال وجود داشت—
آنها برای یادگیری روی تصاویر آموزش داده شدند: در لایه‌های پایین‌تر و یادگیری در مورد لبه‌ها و انحناها و با بالا رفتن در سلسله مراتب، ویژگی‌های پیچیده‌تری را یاد می‌گیرند.
زیر نمونه‌برداری یا pooling روابط فضایی را از دست می‌دهد.
برای اینکه بهتر درک کنید—
برای مدل کافی نیست که یاد بگیرد تصویر دارای بینی، چشم یا دهان است، بلکه باید بفهمد که چشم‌ها بالای بینی هستند و بینی بین چشم‌ها و بالای دهان است، درست است؟
می‌بینید، شبکه‌های عصبی کانولوشنال در تشخیص یک تصویر در موقعیت‌های مختلف، به عنوان مثال چرخیده، عملکرد ضعیفی دارند. باید در موقعیتی مشابه تصاویری باشد که روی آنها آموزش داده شده است.
و این یک مشکل است.
به جای تغییرناپذیری، شبکه باید به دنبال هم‌ارزی باشد. این بدان معناست که مهم نیست یک تصویر زیرنمونه شده در چه موقعیت یا چرخشی باشد، شبکه عصبی به همان شیوه پاسخ می‌دهد. همچنین باید برای سازگاری با چنین تصاویر فرعی تغییر کند.
به عبارت ساده: ما به یک شبکه نیاز داریم که تعمیم‌پذیری آسان‌تری داشته باشد.
ایده اصلی این است—
شبکه‌های عصبی مصنوعی باید به روشی بسیار کارآمدتر به ترجمه، چرخش و تغییرناپذیری دست یابند. این شبکه‌ها باید کپسول‌های محلی داشته باشند که محاسبات داخلی پیچیده‌ای را بر روی ورودی‌های خود انجام دهند و سپس نتایج را به یک بردار کوچک از خروجی‌های بسیار آموزنده کپسوله کنند.
اکنون، سعی کنید این را در ذهن داشته باشید و به فکر استفاده از یک کپسول به جای یک نورون باشید. جالب به نظر می‌رسد، درست است؟
شبکه‌های عصبی که به جای افزودن یک لایه، یک لایه جدید را در داخل یک لایه قرار می‌دهند. این لایه تو در تو یک کپسول نامیده می‌شود که گروهی از نورون‌ها است. به جای عمیق‌تر کردن ساختار از نظر لایه‌ها، یک شبکه عصبی کپسولی یک لایه دیگر را در داخل یک لایه تو در تو می‌کند.
این مدل را قوی‌تر می‌کند.
شبکه مولد تخاصمی (GAN)
مدل‌سازی مولد تحت چتر یادگیری بدون نظارت قرار می‌گیرد، که در آن داده‌های جدید/مصنوعی بر اساس الگوهای کشف شده از مجموعه داده ورودی تولید می‌شوند.
GAN یک مدل مولد است و برای تولید داده‌های مصنوعی کاملاً جدید با یادگیری الگو استفاده می‌شود و بنابراین یک حوزه فعال از تحقیقات هوش مصنوعی است.

آنها دو جزء دارند - یک مولد و یک متمایز کننده که به صورت رقابتی کار می‌کنند.
وظیفه مولد ایجاد داده‌های مصنوعی بر اساس ویژگی‌های مدل در طول فاز یادگیری آن است. این داده‌های تصادفی را به عنوان ورودی می‌گیرد و پس از انجام عملیات خاصی، یک تصویر تولید شده را برمی‌گرداند.
متمایز کننده به عنوان یک منتقد عمل می‌کند و ایده کلی از حوزه مسئله با درک روشنی از تصاویر تولید شده دارد.
این تصاویر تولید شده توسط متمایز کننده به عنوان تصاویر جعلی/اصلی طبقه‌بندی می‌شوند.
متمایز کننده یک پیش‌بینی احتمالی برای تصاویر برای نویز/بدون نویز با مقداری در محدوده 0 تا 1 برمی‌گرداند، که در آن 1 یک تصویر معتبر و 0 یک تصویر جعلی است.
شبکه مولد نمونه‌هایی بر اساس یادگیری خود تولید می‌کند.
حریف آن، متمایز کننده، تلاش می‌کند تا بین نمونه‌هایی از داده‌های آموزشی و نمونه‌هایی که توسط مولد تولید شده‌اند تمایز قائل شود. بازخورد از متمایز کننده به مولد داده می‌شود تا عملکرد آن بهبود یابد.
هنگامی که متمایز کننده با موفقیت بین نمونه‌های واقعی و جعلی تمایز قائل شود، این جزء به خوبی کار می‌کند و نیازی به اعمال تغییرات در پارامترهای آن نیست.
مولد جریمه می‌شود وقتی که نتواند تصویری را به عنوان واقعی تولید کند تا متمایز کننده را فریب دهد. با این حال، اگر در فریب دادن متمایز کننده برای طبقه‌بندی تصویر تولید شده به عنوان واقعی موفق شود، نشان می‌دهد که آموزش مولد در جهت درست پیش می‌رود. بنابراین هدف نهایی برای مولد فریب دادن متمایز کننده است در حالی که برای متمایز کننده پیشی گرفتن از دقت مولد است.
این در سناریوهایی مانند پیش‌بینی فریم بعدی در یک ویدئو، تولید تصویر از متن، انتقال تصویر به تصویر مانند انتقال سبک، حذف نویز تصویر و غیره استفاده می‌شود.
شبکه‌های عصبی ترانسفورمر
حقیقت این است—
RNNها کند هستند و آموزش آنها زمان زیادی می‌برد.
آنها برای داده‌های ترتیبی بزرگ خیلی خوب نیستند و منجر به ناپدید شدن گرادیان می‌شوند. LSTMها که برای آوردن حافظه در RNN معرفی شدند حتی کندتر شدند.
برای هر دو RNN و LSTM، ما باید داده‌ها را به صورت ترتیبی یا سری وارد کنیم. این از GPUها استفاده نمی‌کند.
چگونه آموزش را روی داده‌های ترتیبی موازی کنیم؟
پاسخ ترانسفورمرها است.
این شبکه‌ها از یک ساختار رمزگذار-رمزگشا با این تفاوت استفاده می‌کنند که داده‌های ورودی می‌توانند به صورت موازی منتقل شوند.
در ساختار RNN، یک کلمه در یک زمان از طریق لایه ورودی عبور می‌کرد. اما در ترانسفورمرها، مفهومی برای عبور ورودی وجود ندارد. ما کل جمله را با هم تغذیه می‌کنیم و امبدینگ‌ها را برای همه کلمات با هم دریافت می‌کنیم.
این شبکه‌های عصبی ترانسفورمر چگونه این کار را انجام می‌دهند؟
به عنوان مثال، ترجمه انگلیسی به فرانسوی را در نظر بگیرید.

امبدینگ‌های ورودی: کامپیوترها کلمات را درک نمی‌کنند. آنها اعداد، بردارها و غیره را درک می‌کنند. هر کلمه به یک نقطه در فضا به نام فضای امبدینگ نگاشت می‌شود. یک فضای امبدینگ از پیش آموزش‌دیده برای نگاشت یک کلمه به یک بردار استفاده می‌شود. همان کلمه در یک جمله متفاوت معانی متفاوتی خواهد داشت.
رمزگذار موقعیتی: بردار بر اساس موقعیت کلمه در جمله زمینه را ارائه می‌دهد.
بنابراین، امبدینگ‌های ورودی + رمزگذار موقعیتی = امبدینگ‌های ورودی با اطلاعات زمینه
ما این را به یک بلوک رمزگذار وارد می‌کنیم که به یک لایه توجه چند سر و یک لایه پیش‌خور می‌رود.
لایه توجه تعیین می‌کند که مدل باید روی چه بخشی از جمله ورودی تمرکز کند. در طول آموزش، امبدینگ‌های جمله فرانسوی مربوطه به رمزگشا تغذیه می‌شوند که دارای سه جزء اصلی است.
بلوک‌های توجه به خود بردار توجه را برای هر کلمه در جمله ایجاد می‌کنند تا نشان دهند که هر کلمه چقدر به هر کلمه دیگر در همان جمله مرتبط است. این بردارهای توجه و بردارهای رمزگذار به یک بلوک توجه دیگر به نام "بلوک توجه رمزگذار-رمزگشا" منتقل می‌شوند. این بلوک توجه تعیین می‌کند که هر بردار کلمه چقدر به یکدیگر مرتبط است و اینجاست که نگاشت انگلیسی به فرانسوی رخ می‌دهد.
یک تغییر بزرگ در معماری پیشنهاد شد -
RNNها دارای اشکالی مانند عدم استفاده از محاسبات موازی و از دست دادن اطلاعات مهم از طریق داده‌های مهر زمانی ترتیبی بودند. در مقابل، ترانسفورمرها بر اساس مکانیسم توجه هستند که به یک مرحله نیاز دارد تا تمام داده‌های ترتیبی را تغذیه کند و یک مکانیسم توجه به خود در معماری اصلی دارد تا اطلاعات مهم را حفظ کند.
BERT

BERT (نمایندگی‌های رمزگذار دو جهته از ترانسفورمرها) از LSTM بهتر عمل می‌کند.
این مدل‌ها سریع‌تر هستند زیرا کلمات می‌توانند به طور همزمان پردازش شوند. زمینه کلمات بهتر یاد گرفته می‌شود زیرا می‌توانند از هر دو جهت به طور همزمان یاد بگیرند. اگر رمزگذارها را پشته کنیم، مدل BERT را دریافت می‌کنیم.
استراتژی‌های یادگیری BERT:
مدل‌سازی زبان پوشیده: BERT جملات ورودی را می‌گیرد و برخی از کلمات تصادفی را با توکن‌های [MASK] جایگزین می‌کند. هدف مدل پیش‌بینی کلمه اصلی کلمات پوشیده بر اساس زمینه ارائه شده توسط کلمات دیگر غیر پوشیده در دنباله است.

مدل احتمال هر کلمه را در واژگان با استفاده از تابع فشردن Softmax محاسبه می‌کند. این به BERT کمک می‌کند تا زمینه دو جهته را در یک جمله درک کند.
پیش‌بینی جمله بعدی: در این مورد، BERT ورودی دو جمله را می‌گیرد و تعیین می‌کند که آیا جمله دوم از جمله اول پیروی می‌کند یا خیر.
این به BERT کمک می‌کند تا زمینه را در جملات مختلف درک کند.

برای کمک به مدل برای تمایز بین دو جمله در آموزش، ورودی به روش زیر پردازش می‌شود:

یک توکن [CLS] در ابتدای جمله اول درج می‌شود و یک توکن [SEP] در انتهای هر جمله درج می‌شود.
یک امبدینگ جمله نشان‌دهنده جمله A یا B به هر توکن اضافه می‌شود. این برای درک همبستگی بین جملات ایجاد شده است.
یک امبدینگ موقعیتی به هر توکن اضافه می‌شود تا موقعیت آن را در دنباله نشان دهد. این به مدل کمک می‌کند تا هنگام یادگیری از هر دو جهت موقعیت خود را درک کند.

هنگام آموزش مدل BERT، LM پوشیده و پیش‌بینی جمله بعدی به طور همزمان آموزش داده می‌شوند تا تابع زیان ترکیبی از هر دو استراتژی به حداقل برسد و درک خوبی از زبان به دست آید.
GPT; GPT2; GPT3
GPT (پیش‌آموزش مولد) یک مدل زبان است که برای پیش‌بینی احتمال دنباله کلمات استفاده می‌شود.
مدل‌های زبانی شامل آموزش مولد به داده‌های برچسب‌گذاری شده انسانی نیاز ندارند.
GPT-1 دارای دو مرحله آموزش است - پیش‌آموزش بدون نظارت با استفاده از داده‌های بدون برچسب با تابع هدف مدل زبان و سپس تنظیم دقیق نظارت شده مدل بدون مدل خاص وظیفه. GPT از معماری رمزگشا ترانسفورمر استفاده می‌کند.
با GPT2، هدف مدل بیشتر به سمت تولید متن تغییر کرد. این یک مدل زبان خودبازگشتی است. این بر روی یک دنباله ورودی آموزش داده می‌شود و هدف آن پیش‌بینی توکن بعدی در هر نقطه از دنباله است.
این شامل یک پشته واحد از بلوک‌های ترانسفورمر با یک مکانیسم توجه است. این دارای ابعاد کمی کمتر از BERT، با بلوک‌های ترانسفورمر بیشتر (48 بلوک) و طول دنباله بزرگتر است.
ساختار اساسی GPT3 مشابه GPT2 است، با تنها تفاوت بلوک‌های ترانسفورمر بیشتر (96 بلوک) و آموزش داده شده بر روی داده‌های بیشتر است. اندازه دنباله جملات ورودی نیز در مقایسه با GPT2 دو برابر شده است. این تا به امروز بزرگترین معماری شبکه عصبی است که حاوی بیشترین تعداد پارامترها است.
تضاد مومنتوم (MoCo)
ایده پشت این مدل این بود که پیش‌آموزش بدون نظارت می‌تواند از همتای نظارت شده در وظایف بینایی کامپیوتری مانند تشخیص یا تقسیم‌بندی پیشی بگیرد.
در گذشته، قبلاً دیده‌ایم که مدل‌هایی مانند BERT، GPT که بر اساس یادگیری بدون نظارت هستند، در حوزه NLP بسیار موفق بوده‌اند.
در وظایف مربوط به پردازش زبان طبیعی، یک مدل یک جمله ورودی را دریافت می‌کند و مدل باید کلمات بعدی را پیش‌بینی کند. فرض کنید یک فرهنگ لغت از تمام کلمات پیشنهادی داریم. استفاده از چنین فرهنگ لغتی به ما امکان می‌دهد زیان را به عنوان یک مشکل جستجوی فرهنگ لغت ساده تعریف کنیم.
فرض کنید یک تصویر از طریق یک رمزگذار عبور می‌کند، ویژگی رمزگذاری شده تصویر را می‌توان یک پرس و جو نامید.
فرهنگ لغت در این حالت مجموعه‌ای از ویژگی‌های مجموعه بزرگی از تصاویر است. ایجاد چنین فرهنگ لغتی دشوار است زیرا تصاویر و ویژگی‌های مربوطه به راحتی در دسترس نیستند. یک فرهنگ لغت پویا با اعمال مدل رمزگذار به مجموعه ای از تصاویر آماده می‌شود.
این روش به عنوان یادگیری تضادی شناخته می‌شود.

تصویر بالا یک دیدگاه دسته‌ای از دو مکانیسم بهینه‌سازی برای یادگیری تضادی را نشان می‌دهد. تصاویر به یک فضای نمایش رمزگذاری می‌شوند، که در آن شباهت‌های زوجی محاسبه می‌شود.
MoCo به دو چالش در یادگیری تضادی می‌پردازد:

چگونه فرهنگ لغت را به اندازه کافی بزرگ کنیم؟
چگونه اطمینان حاصل کنیم که فرهنگ لغت هنگام به‌روزرسانی رمزگذار سازگار است؟

برای ایجاد یک فرهنگ لغت بزرگ در چارچوب یادگیری تضادی، ما ویژگی‌های دسته قبلی تصاویر را به عنوان یک صف نگهداری می‌کنیم. فرهنگ لغت از دسته‌های فعلی و قبلی تشکیل شده است و توسط اندازه دسته محدود نمی‌شود.
ویژگی‌ها در این فرهنگ لغت توسط یک رمزگذار تولید می‌شوند که به طور مداوم به‌روزرسانی می‌شود، بنابراین سازگاری کلی فرهنگ لغت کاهش می‌یابد. برای حل این مشکل سازگاری، یک رمزگذار مومنتوم پیشنهاد شده است که به آرامی به‌روزرسانی می‌شود،
SimCLR
یادگیری تضادی با افزایش داده، اندازه دسته بزرگتر، دوره‌های آموزشی بیشتر و شبکه‌های گسترده‌تر ترکیب می‌شود.
SimCLR به شدت داده‌های آموزشی بدون برچسب را افزایش می‌دهد و آنها را به یک سری معماری‌های ResNet استاندارد و یک شبکه عصبی کوچک تغذیه می‌کند.
تصاویر به یک رمزگذار پایه منتقل می‌شوند تا امبدینگ‌ها دریافت شوند. این امبدینگ‌ها به دو لایه شبکه عصبی منتقل می‌شوند تا مجموعه دیگری از امبدینگ‌ها دریافت شود. یک نسخه اصلاح شده از آنتروپی متقاطع استفاده می‌شود که می‌گوید شباهت بین دو امبدینگ باید نزدیک باشد اگر جفت تصویر و تصویر افزایش یافته را تشکیل دهند.

به عبارت دیگر، امبدینگ‌ها باید جذب شوند. از طرف دیگر، شباهت بین تصاویری که به یک کلاس تعلق ندارند باید دفع شود.
خلاصه
هر معماری شبکه عصبی دارای مجموعه ای از مزایا و معایب خود است.
شبکه‌های عصبی استاندارد مانند شبکه‌های عصبی پیش‌خور بیشتر در حل مسائل طبقه‌بندی و رگرسیون مربوط به داده‌های ساختاریافته ساده استفاده می‌شوند.
شبکه‌های عصبی بازگشتی در به یاد آوردن اطلاعات برای مدت طولانی بسیار قدرتمندتر هستند و در داده‌های ترتیبی مانند متن، صدا، ویدئو و غیره استفاده می‌شوند.
تحقیقات اخیر نشان می‌دهد که ترانسفورمرها بر اساس مکانیسم توجه از RNNها پیشی می‌گیرند و تقریباً در هر زمینه‌ای جایگزین RNNها شده‌اند.
برای داده‌های پیچیده مانند تصاویر، می‌توانیم از ConvNets در وظایف طبقه‌بندی و برای تولید تصاویر یا وظایف مربوط به انتقال سبک از شبکه‌های مولد تخاصمی استفاده کنیم.
💡 بیشتر بخوانید:
راهنمای مبتدی برای یادگیری خود نظارتی
بیش‌برازش در مقابل کم‌برازش: تفاوت چیست؟
راهنمای مبتدی برای یادگیری تقویتی عمیق
راهنمای کامل برای یادگیری گروهی
راهنمای مبتدی برای یادگیری انتقال
راهنمای ضروری برای یادگیری صفر-شات
یادگیری نظارت شده در مقابل یادگیری بدون نظارت: تفاوت چیست؟
راهنمای کامل برای CVAT - مزایا و معایب
5 جایگزین برای Scale AI
YOLO: تشخیص اشیا در زمان واقعی توضیح داده شد
تقطیر دانش: اصول و الگوریتم‌ها [+کاربردها]


۲.۷.۱. اصول شبکه‌های عصبی
شبکه‌های عصبی (NN) سیستم‌های پردازش اطلاعات موازی هستند که از تعدادی نورون ساده (که به آن‌ها گره یا واحد نیز گفته می‌شود) تشکیل شده‌اند که در لایه‌ها سازماندهی شده و توسط پیوندها به هم متصل می‌شوند. شبکه‌های عصبی مصنوعی، ساختارهای به شدت به هم پیوسته مغز و سیستم عصبی حیوانات و انسان را تقلید می‌کنند، به طوری که نورون‌ها معادل سلول‌های بدن و پیوندها معادل آکسون‌ها در زیست‌شناسی هستند. انواع مختلفی از شبکه‌های عصبی وجود دارد که در این مطالعه فقط از شبکه‌های عصبی پیش‌خور چند لایه استفاده و مورد بحث قرار می‌گیرد. یک مثال از یک شبکه عصبی پیش‌خور چند لایه برای سه متغیر ورودی x1، x2، x3 و یک متغیر پاسخ y در شکل ۱ نشان داده شده است.

شکل ۱: عناصر شبکه یک شبکه پس‌انتشار پیش‌خور چند لایه.
متغیرهای ورودی به واحدهای ورودی شبکه عصبی ارائه می‌شوند که اطلاعات را از طریق پیوندهای اتصال توزیع می‌کنند. در این فرایند، متغیرهای ورودی در وزن‌های اتصال w'ij بین لایه ورودی و لایه پنهان ضرب می‌شوند. نورون‌های پنهان سیگنال‌های وزن‌دار را از نورون‌های ورودی جمع می‌کنند و سپس این مجموع را بر روی یک تابع فعال‌سازی fh تصویر می‌کنند. فعال‌سازی‌های حاصل از نورون‌های پنهان توسط اتصالات w''j بین نورون‌های پنهان و نورون‌های خروجی وزن‌دهی شده و به نورون(های) خروجی ارسال می‌شوند. نورون خروجی نیز یک جمع و تصویر بر روی تابع فعال‌سازی خود fo انجام می‌دهد. خروجی این نورون، پاسخ تخمین‌زده شده است. در مورد یک نورون خروجی واحد، محاسبه پاسخ تخمین‌زده شده را می‌توان به صورت زیر خلاصه کرد:
 (۱۱)
در این رابطه، nv و nh تعداد نورون‌های ورودی و نورون‌های پنهان هستند و  و  بایاس‌های نورون‌های پنهان و خروجی هستند که توابع انتقال را به صورت افقی جابجا می‌کنند. وزن‌ها  و  و بایاس‌ها  و  پارامترهای قابل تنظیم هستند که توسط یک الگوریتم یادگیری در طول کالیبراسیون (که اغلب به آن آموزش یا یادگیری گفته می‌شود) تعیین می‌شوند و قبل از کالیبراسیون مقادیر تصادفی به آن‌ها اختصاص داده می‌شوند. در طول آموزش، نمونه‌های کالیبراسیون با متغیرهای پاسخ شناخته شده y (غلظت‌ها) از طریق شبکه عبور می‌کنند. سپس، خطا بین پاسخ‌های پیش‌بینی شده و پاسخ‌های تجربی شناخته شده محاسبه شده و برای تنظیم پارامترهای شبکه در یک مرحله پس‌انتشار به منظور به حداقل رساندن خطا استفاده می‌شود. این دو مرحله یک دوره (که به آن چرخه یادگیری یا گام یادگیری نیز گفته می‌شود) را تشکیل می‌دهند و تا زمانی که به خطای پایین قابل قبولی دست یابد، تکرار می‌شوند. الگوریتم یادگیری سعی می‌کند یک حداقل قابل قبول را روی سطح خطا پیدا کند، در حالی که در بیشتر موارد حداقل مطلق سطح خطا یافت نمی‌شود.


سرگیوش پروکرات
سرگیوش پروکرات
مدیر آگاه به فناوری اطلاعات و اقتصاددان دارای دکترای تخصصی
منتشر شده در ۳ آوریل ۲۰۲۳
توسعه هوش مصنوعی (AI) چیزی شبیه احضار یک شیطان است. برای همه افراد درگیر سرگرم‌کننده است، کنجکاوی زیادی در مورد اینکه چه اتفاقی خواهد افتاد وجود دارد و همه انتظار دارند که کسی پیامدهای آن را درک کند. تنها چیزی که برای تحقق آن نیاز است، قربانی مناسب است، یعنی بودجه کافی. بنابراین سوال این است که اگر، در نهایت، علی‌رغم همه موانع، یک روز این شیطان واقعاً ظهور کند چه می‌شود؟
مسابقه برای ایجاد دستگاه‌ها و نرم‌افزارهای خودفکر در جریان است. تا به امروز، چنین چیزهایی وجود ندارد. در اواخر سال ۲۰۲۲، OpenAI، ChatGPT، یک ربات چت را منتشر کرد که به سوالات به زبان ساده و مختصر پاسخ می‌دهد. با این حال، این هوش مصنوعی نیست، بلکه الگوریتم‌های یادگیری ماشینی خودکار است که بر روی مجموعه عظیمی از متن اعمال شده تا به درخواست‌های کاربران پاسخ دهد. ChatGPT می‌تواند در امتحان نهایی دبیرستان یا امتحان دانشگاه قبول شود و حتی یک مقاله علمی بنویسد که بتوان آن را در یک مجله منتشر کرد. Midjourney، Dall-E2 می‌تواند یک تصویر اصلی ایجاد کند. SynthesiaIO می‌تواند یک ویدیو تولید کند. اثر محبوب‌سازی چنین ابزارهایی، تغییر در عملکرد بخش آموزش و رویکرد به محتوا خواهد بود. فناوری تولید تصاویر و محتوا امکان ایجاد عکس‌های اصلی از عکس‌های واقعی در شبکه‌های اجتماعی را فراهم می‌کند و فرصت‌ها و تهدیدهای متعددی را به وجود می‌آورد. همه امروز می‌خواهند هوش مصنوعی داشته باشند - حتی اگر بداهه باشد. در نتیجه، سهام شرکت‌هایی که راه حل‌های هوش مصنوعی ایجاد می‌کنند، به طور چشمگیری در حال افزایش است.
توصیه شده توسط LinkedIn
در همین حال، هوش مصنوعی صرفاً بازتابی ساده از هوش انسانی است. به ما خواهد گفت آنچه می‌خواهیم بشنویم یا ببینیم - زیرا قرار است برای ما کار کند، درست است؟ یکی از جاه‌طلبانه‌ترین پروژه‌های دولتی در تاریخ در شیلی در سال ۱۹۷۰، با آغاز ریاست جمهوری سالوادور آلنده آغاز شد. او می‌خواست از کامپیوترهای هوشمند برای ساخت یک آرمانشهر سوسیالیستی استفاده کند. دولت شیلی در آن زمان می‌خواست بخش‌های اساسی اقتصاد را ملی کند، قیمت کالاها را کنترل کند و سیستم رفاه اجتماعی را گسترش دهد. Cybersyn، یک ماشین مدرن با رابط کاربری آینده‌نگر در یک اتاق کنترل مرکزی که یادآور فضای داخلی سریال تلویزیونی Star Trek بود، قرار بود از طریق تل‌فاکس‌هایی که توسط مقامات ارسال می‌شد، ارتباط برقرار کند. داده‌ها بلافاصله صدها کیلومتر دورتر به دست تحلیلگرانی منتقل می‌شدند که قیمت‌ها را تعیین می‌کردند. کامپیوترهای Cyberfolk قرار بود حال و هوای اجتماعی را تجزیه و تحلیل کنند و اقدامات بی‌درنگ را به سیاستمداران پیشنهاد دهند. با این حال، شکست این پروژه و فاجعه اقتصادی و سیاسی بعدی در شیلی، سیاستمداران را از راه حل‌های مشابه منصرف نکرده است.
جذابیت نوآوری‌های مخرب که ممکن است برای همیشه جهان را تغییر دهند، هرگز از بین نرفته است. به طور خاص، پتانسیل هوش مصنوعی برای سرویس‌های امنیتی بسیار جذاب است. نظارت موثر و استراق سمع هوشمندانه از هر مکالمه تلفنی، بدترین سناریویی است که تنها در نوع دیستوپیایی که از فیلم‌های علمی تخیلی می‌شناسیم به پایان می‌رسد. این اشتیاق افسارگسیخته دلیل نیاز به ابتکاراتی برای تنظیم استفاده از هوش مصنوعی - در سطح ملی و بین‌المللی است.
در حال حاضر یک مسابقه هوش مصنوعی در جهان در جریان است. رقابت‌پذیری اقتصادهایی که در مسابقه ساخت راه حل‌های پیشرفته فناوری، از جمله هوش مصنوعی، پیشرو هستند، ارتباط نزدیکی با سطح نوآوری آنها دارد. لهستان استراتژی خود را با اهداف کوتاه مدت، میان مدت و بلند مدت دارد. طبق گزارش دولتی "سیاست توسعه هوش مصنوعی در لهستان از سال ۲۰۲۰"، به دلیل تعداد کم شرکت‌های خصوصی بزرگ، لازم است بخش دولتی و بزرگترین شرکت‌های دولتی را در تامین مالی پروژه‌های هوش مصنوعی مشارکت داد. اعتقاد به قدرت علّی دولت در لهستان بسیار قوی است. آیا نهادهای لهستانی با پول دولت هوش مصنوعی اختراع خواهند کرد؟ یا مانند برنامه مدیریت اقتصادی دولت شیلی به پایان می‌رسند؟
لهستانی‌ها به طور فزاینده‌ای به موضوعات فناوری اطلاعات و در نتیجه هوش مصنوعی علاقه‌مند می‌شوند. از نظر تعداد متخصصانی که در حال توسعه یا پیاده‌سازی هوش مصنوعی هستند، لهستان در رتبه اول اروپای مرکزی و شرقی قرار دارد. طبق پیش‌بینی‌های PARP، ارزش بازار جهانی هوش مصنوعی تا سال ۲۰۲۵ به بیش از ۱۹۰ میلیارد دلار افزایش خواهد یافت. متأسفانه، داده‌های دیگر در مورد اکوسیستم هوش مصنوعی چندان خوش‌بینانه نیستند - گزارش "وضعیت هوش مصنوعی لهستان ۲۰۲۱" (یک نشریه جامع در مورد اکوسیستم هوش مصنوعی لهستان) نشان می‌دهد که شرکت‌های لهستانی هنوز پتانسیل توسعه هوش مصنوعی و یادگیری ماشینی را در نظر نمی‌گیرند. تنها ۶ درصد از بزرگترین شرکت‌های لهستانی از یادگیری ماشینی استفاده می‌کنند. متأسفانه، این یکی از پایین‌ترین نرخ‌ها در اتحادیه اروپا است. همکاری بین شرکت‌ها و واحدهای علمی نیز ضعیف است. COVID-19 و پیامدهای آن، و همچنین تورم بالای فعلی، بر اجرای فناوری‌های جدید در اقتصاد لهستان تأثیر منفی گذاشته است.
هوش مصنوعی پتانسیل بهبود کیفیت زندگی ما را دارد. به عنوان مثال، با ترکیب تصویربرداری پویای پارامتری با هوش مصنوعی و تله‌مدیسین، تشخیص زودهنگام سرطان سینه و تخمین احتمال ابتلا به سرطان امکان‌پذیر است. دستگاهی به نام Ailis، ۲۵۰ اندازه‌گیری انجام می‌دهد و تجزیه و تحلیل پیشرفته داده‌ها (با استفاده از هوش مصنوعی) را انجام می‌دهد، پس از آن زنان بلافاصله اطلاعاتی در مورد سلامت سینه‌های خود دریافت می‌کنند. پزشکان به زودی از هوش مصنوعی برای درمان استفاده خواهند کرد و برنامه‌های تشخیص گفتار ارتباطات را در سراسر جهان تسهیل می‌کنند. الگوریتم‌های هوش مصنوعی به زودی قادر خواهند بود مانند انسان صحبت کنند.
البته، فناوری‌های جدید همیشه سوالات اخلاقی دشواری را ایجاد می‌کنند که جهان برای آنها آماده نیست. البته، احضار یک شیطان واقعی هنوز سال‌ها دور است. در حال حاضر، برای دریافت یک مدل هوش مصنوعی که اسب را تشخیص دهد، باید هزاران تصویر از اسب به آن نشان داد. با این حال، اگر یک روز احضار شود، مکانی که قدرت‌های جهنمی آن نتوانند به آن دسترسی پیدا کنند، احتمالاً امن‌ترین مکان خواهد بود.
(منتشر شده در WBJ، شماره ۷۶/۲۰۲۳، ص. ۱۶-۱۷)
کمک به بهبود مشارکت‌ها
اگر مشارکت‌ها را نامربوط یا برای مقاله بی‌ارزش یافتید، آنها را به‌عنوان غیرمفید علامت‌گذاری کنید. این بازخورد برای شما خصوصی است و به صورت عمومی به اشتراک گذاشته نمی‌شود.
بازخورد پنهان شده برای شما
این بازخورد هرگز به صورت عمومی به اشتراک گذاشته نمی‌شود، ما از آن برای نشان دادن مشارکت‌های بهتر به همه استفاده خواهیم کرد.
بینش‌هایی از جامعه
دیگران نیز مشاهده کردند
موضوعات را کاوش کنید