**پردازش زبان طبیعی مبتنی بر اتصال‌گرایی:
یک گزارش وضعیت**
**مایکل جی. دییر
دپارتمان علوم کامپیوتر
UCLA، لس آنجلس، کالیفرنیا 90024**

**چکیده**
پردازش زبان طبیعی به قابلیت‌های نمادین سطح بالا نیاز دارد، از جمله: (الف) ایجاد و انتشار پیوندهای پویا، (ب) دستکاری ساختارهای بازگشتی و ترکیبی، (ج) به‌دست‌آوردن و دسترسی به حافظه‌های لغوی، معنایی و رویدادی، (د) کنترل چندین ماژول یادگیری/پردازش و مسیردهی اطلاعات بین ماژول‌ها، (ه) «پایه‌گذاری» ساختارهای زبانی سطح پایه (مانند اشیاء، اعمال) در تجارب حسی/حرکتی، و (و) نمایش مفاهیم انتزاعی. در این مقاله تکنیک‌های پیشرفته مدل‌سازی اتصال‌گرایی را برای پشتیبانی از چنین قابلیت‌هایی در پردازش زبان طبیعی بررسی می‌کنیم و نقاط قوت و ضعف فعلی آن‌ها را مورد بحث قرار می‌دهیم.

**۱. مقدمه**
شبکه‌های اتصال‌گرای (CNها) ویژگی‌های مفیدی دارند. فرآیندهای انتشار فعال‌سازی آن‌ها ذاتاً موازی هستند و بازیابی تداعی‌وار حافظه‌ها را پشتیبانی می‌کنند. جمع و آستانه‌گذاری فعال‌سازی امکان ادغام نرم‌افزاری چندین منبع دانش را فراهم می‌آورد. CNهای با نمایش‌های توزیعی (Rumelhart و McClelland 1986) در برابر نویز/آسیب مقاوم‌اند و می‌توانند تنها از طریق مثال‌ها وظایف نگاشت پیچیده را یاد بگیرند. شبکه‌های اتصال‌گرای همچنین می‌توانند به‌صورت پویا وضعیت‌ها را بازتفسیر کنند هنگامی که ورودی‌های جدید دریافت می‌شوند. این ویژگی‌ها برای پردازش زبان طبیعی (NLP) بسیار مفید‌اند و امید می‌دهند که رویکردهای اتصال‌گرای به NLP بتوانند رویکردهای نمادین سنتی را جایگزین کنند.

به عنوان مثال، وظیفه رفع ابهام لغوی را در نظر بگیرید. کلمات ممکن است معانی متعددی داشته باشند؛ برای مثال «pot» می‌تواند به یک قابلمه آشپزی، گلدان گل یا ماریجوانا اشاره داشته باشد. رویکردهای نمادین سنتی برای رفع ابهام یکی از استراتژی‌های زیر را به کار می‌برند: (الف) به یک تفسیر خاص متعهد شدن و سپس بازگشت به عقب در صورت نشان‌دادن نادرست بودن آن، (ب) به‌تاخیر انداختن فرآیند رفع ابهام تا جمع‌آوری اطلاعات کافی برای جلوگیری از بازگشت به عقب، (ج) نگهداری تمام معانی ممکن، یا (د) متعهد شدن به یک تفسیر و سپس اعمال هورستیک‌های اصلاح خطا در صورت نشان‌دادن نادرست بودن آن. هیچ‌یک از این استراتژی‌ها به‌تنهایی کافی نیست. استراتژی متعهد‑و‑بازگشت به عقب بسیار ناکارآمد است، زیرا بازگشت به عقب معمولاً کارهای مفید انجام‑شده را از دست می‌دهد. به‌عنوان مثال، فرض کنید معنی «قابلمه آشپزی» ابتدا در هنگام خواندن جمله S1 انتخاب شود و سپس اطلاعات بعدی در جمله منجر به تفسیر ماریجوانا از «pot» شود.

S1: The pot, which Mary bought from John, made her cough.

در اینجا، بازگشت به عقب برای بازتفسیر «pot» (پس از مواجهه با «cough») باعث از دست رفتن تحلیل کاملاً مناسب جملهٔ وابسته می‌شود و سپس باید دوباره انجام شود.

استراتژی به‌تاخیر انداختن مشکلات کلی زیر را دارد: (الف) تحلیل بقیهٔ جمله ممکن است نتواند پیش برود در حالی که تعهد به معنی به‌تاخیر افتاده است و (ب) هرچند تاخیر چقدر هم باشد، ورودی‌های بعدی ممکن است بازتفسیر کلمه‌ای را اجبار کنند؛ مثلاً اگر S2 پس از S1 بیاید:

S2: Mary was allergic to the flower in it.

استراتژی نگهداری تمام معانی ممکن با انفجار ترکیبی احتمالی تفسیرها مواجه می‌شود. اگر n کلمهٔ k‑راهه‌دار در یک بخش متن وجود داشته باشد، تعداد ممکن تفسیرهای متن برابر با kⁿ خواهد بود. استراتژی اصلاح خطای هوشمند نیاز به تعریف قواعدی دارد که به‌صورت انتخابی آسیب ناشی از تعهدات قبلی را برگردانند. همان‌طور که این قواعد اجرا می‌شوند، استنتاج‌های دیگر نیز برگردانده می‌شوند و این امر باعث اجرای قواعد اصلاح خطای دیگر می‌شود و به این ترتیب یا باید هورستیک‌های اصلاح خطای پیشرفته‌ای طراحی شود یا مکانیزمی کلی برای نگهداری حقیقت ایجاد گردد.

در مقابل، بازتفسیر پویا به‌عنوان اثر جانبی طبیعی نحوهٔ کار شبکه‌های اتصال‌گرای حاصل می‌شود. فعال‌سازی به‌صورت موازی پخش می‌شود و گره‌هایی که بیشترین فعال‌سازی را دارند، تفسیر جاری را نشان می‌دهند. با دریافت ورودی‌های جدید، گره‌های با بیشترین فعال‌سازی ممکن است فعال‌سازی خود را از دست بدهند و این منجر به بازتفسیر ورودی‌های قبلی می‌شود. در ابتدا گرهٔ «قابلمه آشپزی» بیشترین فعال‌سازی را دارد، اما «cough» باعث می‌شود گرهٔ ماریجوانا فعال‌تر شود (از طریق مسیر فعال‌سازی «smoking» و غیره). ذکر بعدی حساسیت آلرژی، فعال‌سازی بیشتری به گره‌های نمایانگر دلیل دیگر سرفه می‌فرستد و همراه با «flower» باعث می‌شود تفسیر «قابلمه گل» ترجیح داده شود. بنابراین، انتشار فعال‌سازی جنبه‌های تمام استراتژی‌های سنتی را نشان می‌دهد، اما با یک مکانیزم یکتا، یکنواخت، موازی و کارآمد پیاده‌سازی می‌شود.

هدف بلندمدت پژوهشگران اتصال‌گرای، جایگزینی کامل مدل‌های پردازش نمادین با مدل‌های اتصال‌گرای است که عملکرد کارآمد، مقاوم داشته باشند و بتوانند به‌صورت خودکار تمام وظایفی را که در حال حاضر به‌صورت مستقیم توسط مهندسان دانش در حوزه هوش مصنوعی برنامه‌ریزی می‌شوند، یاد بگیرند. با وجود ویژگی‌های جذاب شناخته‌شدهٔ شبکه‌های اتصال‌گرای، چرا هنوز پارادایم اتصال‌گرایی نتوانسته است رویکرد نمادین سنتی را کنار بگذارد؟ پاسخ این است که پردازش نمادین ویژگی‌های نمایشی و پردازشی جذاب خود را حفظ کرده است. مدل‌های اتصال‌گرای، هرچند روز به روز قدرتمندتر و پیشرفته‌تر می‌شوند، هنوز نتوانسته‌اند توانایی‌های معادل (چه بهتر) را که سیستم‌های نمادین ارائه می‌دهند، فراهم کنند. بقیهٔ این مقاله شامل فهرستی از این قابلیت‌های نمادین، توصیفی از چگونگی تلاش شبکه‌های اتصال‌گرای فعلی (هم محلی و هم توزیعی) برای شبیه‌سازی این قابلیت‌ها و ارزیابی موفقیت (یا عدم موفقیت) آن‌ها است.

**۲. پیوندهای پویا**
سیستم‌های نمادین قادرند متغیرها را به مقادیر در زمان اجرا بپیوندند. در سیستم‌های نمادین، مقادیر می‌توانند از موجودیت‌های ساده تا ساختارهای بازگشتی پیچیده با عمق دلخواه متغیر باشند. ابتدا به پیوندهای به مقادیر ساده (یعنی بدون ساختار) می‌پردازیم. برای مثال، دانشی که ما مال آنچه می‌خریم را داریم می‌تواند با قاعده‌ای شبیه R1 نمایش داده شود:

R1: BUYS(person1, object, person2) ⟹ OWNS(person2, object)

این قاعده برای هر شیء یا شخصی کار می‌کند، زیرا متغیرهای (نوعی) person1، object و person2 در زمان اجرا به مقادیر مناسب خود متصل می‌شوند.

**۲.۱. پیوندها در CNهای محلی**
در CNهای محلی، هر گره نمایانگر یک موجودیت نحوی یا معنایی خاص (مثلاً یک پیش‌فرض مانند OWNS یا یک نقش مانند BUYER) است و مقدار فعال‌سازی گره نشان می‌دهد که شبکه تا چه حد به آن گره (یا مسیر گره‌ها) به‌عنوان تفسیر صحیح ورودی متعهد است. اما بدون مکانیزم متغیر+پیوند، CNهای محلی مجبور می‌شدند پیش از اجرا تمام ترکیب‌های ممکن پیوند را نمایان کنند که منجر به انفجار ترکیبی می‌شد. برای مثال، برای اینکه شبکه نتیجه‌گیری کند «ماری یک تلویزیون (یا رادیو) دارد چون آن را از شخص دیگری (مثلاً فِرد یا جو) خریداری کرده است»، باید گره‌های CN برای موارد زیر از پیش وجود داشته باشند: MARY‑OWNS‑TV، FRED‑OWNS‑TV، MARY‑OWNS‑RADIO و غیره. برای n شخصیت و m شیء قابل خرید، تنها گره‌های OWNS به تعداد n×m وجود دارد و تعداد نمایی از نگاشت‌ها از BUYS به ساختارهای OWNS می‌شود. برای اجتناب از این مشکل، CNهای محلی امروزی از دو روش استفاده می‌کنند: امضاها یا همگام‌سازی فاز.

(۱) **امضاها**: امضا مقدار فعال‌سازی منحصر به‌فردی است که به یک موجودیت اختصاص داده می‌شود و به‌عنوان مقدار در یک پیوند عمل می‌کند. برای مثال، گره CN نمایانگر FRED ممکن است امضای ۲۳ داشته باشد، ماری امضای ۱۳ و تلویزیون امضای ۷. امضای فعال‌سازی سپس در شبکه از مسیرهای جداگانه‌ای نسبت به مسیرهای معمولی انتشار فعال‌سازی گسترش می‌یابد. برای نمایش قاعده R1، گره‌ها به هر پیش‌فرض (OWNS، BUYS) و به هر نقش (مثلاً BUYS:BUYER، BUYS:SELLER، BUYS:OBJECT، OWNS:OWNER و OWNS:OBJECT) اختصاص داده می‌شوند و اتصالاتی بین نقش‌ها (مثلاً از BUYS:BUYER به OWNS:OWNER) تنظیم می‌شود تا نحوهٔ انتشار پیوندها بین پیش‌فرض‌ها مشخص شود. فعال‌سازی معمولی از BUYS به OWNS برای نشان دادن تعهد به این‌که OWNS به‌عنوان نتیجهٔ BUYS رخ داده است، گسترش می‌یابد. همزمان، امضاها از طریق مسیرهای نقش‑به‑نقش گسترش می‌یابند. وزن این مسیرها معمولاً برابر ۱ تنظیم می‌شود تا مقدار امضاها تغییر نکند. اگر امضای ۲۳ از BUYS:BUYER به OWNS:OWNER و امضای ۱۳ از BUYS:OBJECT به OWNS:OBJECT گسترش یابد، شبکه می‌تواند به‌عنوان استنتاج این‌که خرید تلویزیون توسط فِرد منجر به مالکیت تلویزیون توسط فِرد شده است، تفسیر شود. Lange و Dyer (1989) و Sun (1989, 1992, 1993) هر دو سیستم‌هایی طراحی کرده‌اند که از فعال‌سازی به‑سبک امضا برای انتشار پیوندهای ساده نقش استفاده می‌کنند.

(۲) **همگام‌سازی فاز**: در این روش، زمان واحد برای هر گام پایهٔ انتشار فعال‌سازی به چند زیرواحد کوچکتر به نام فازها تقسیم می‌شود. برای مثال، اگر هفت فاز متمایز در هر گام انتشار فعال‌سازی وجود داشته باشد، می‌توان هفت پیوند متمایز را از طریق یک شبکهٔ محلی گسترش داد. در مثال بالا، فِرد، ماری و تلویزیون می‌توانند به ترتیب فازهای ۱، ۴ و ۷ اختصاص یابند. گره‌های چنین شبکه‌هایی به‌گونه‌ای طراحی می‌شوند که وقتی در یک فاز خاص فعال می‌شوند، آن فعال‌سازی را در همان فاز از چرخهٔ بعدی انتشار فعال‌سازی به اتصال‌های خود منتقل کنند. قفل‌گذاری فاز (یا همگام‌سازی) ابتدا توسط عصب‌شناسان (von der Malsburg 1981؛ von der Malsburg و Singer 1987) پیشنهاد شد و توسط پژوهشگران بینایی برای پیوند ویژگی‌های متمایز (مثلاً رنگ و شکل) هنگام حضور بیش از یک شیء در میدان دید به کار گرفته شد (Strong و Whitehead 1989). Shastri و Ajjanagadde (1990, 1993) (Ajjanagadde و Shastri 1989) از قفل‌گذاری فاز برای انتشار پیوندها در یک CN محلی استفاده می‌کنند که برای بازیابی استنتاجی اطلاعات به کار می‌رود.

روش امضا این مزیت را دارد که تعداد نامحدودی از امضاها می‌توانند به‌صورت همزمان از طریق مسیرهای متعدد گسترش یابند، در حالی که روش قفل‌گذاری فاز به تعداد محدودی از پیوندها محدود می‌شود. محدودیت به چند فاز برای وظایف بازیابی مشکل‌ساز نیست، زیرا در این وظایف معمولاً بیش از ۷ متغیر آزاد در یک پرس‌وجو مشخص نمی‌شود. اما در درک زبان طبیعی، پیوندهای جدید به‌صورت پویا می‌توانند به‌سرعت ایجاد شوند؛ برای مثال، در جملهٔ S3 بیش از ۱۰ پیوند به‌صورت پویا ظاهر می‌شود.

S3: The tall, thin woman bought an expensive, red sports car from the bald salesman.

همچنین برای n فاز، هر چرخهٔ انتشار فعال‌سازی به n زیرچرخه نیاز دارد که سرعت انتشار را به‌صورت n‑برابر کاهش می‌دهد. با این حال، هر دو روش امضا و قفل‌گذاری فاز با این محدودیت مواجه‌اند که تنها مقادیر ساده می‌توانند گسترش یابند. به عنوان مثال، قاعدهٔ رایج زیر را در نظر بگیرید—قاعده‌ای که در سیستم‌های درک داستان به‌طور فراوانی استفاده می‌شود:

R2: TELLS(person1, message, person2) ⟹ KNOWS(person2, message)

تفاوت بین R1 و R2 این است که پیام می‌تواند به هر ساختار دلخواهی که به‌صورت بازگشتی پیچیده باشد، پیوند داده شود. برای مثال، اگر جان به ماری بگوید «یک موجود فضایی بنفش، کاپ‌پوش‌های ماشین او را دزدیده است»، سیستم درک داستان باید دانش ماری را به‌روزرسانی کند تا این واقعیت/رویداد پیچیده را بداند. در سیستم‌های نمادین، این به‌روزرسانی ساده است؛ زیرا تنها کافی است یک اشاره‌گر به ساختار نمونه‌سازی شدهٔ STOLE (مثلاً STOLE3) بین TELLS و KNOWS منتقل شود. نمونهٔ STOLE3 نقش‌های خود (مثلاً STOLE:STEALER = alien و STOLE:OBJECTS = hubcaps) را بر‑اساس تجزیه/تحلیل بخش مربوط به دزدی متن بگیرد. اما امضا یا فاز برای چنین موجودیت پیچیده‌ای چه خواهد بود؟ اگر گرهٔ STOLE3 پیشاپیش در شبکه وجود داشته باشد و امضای منحصر به‌فردی به آن اختصاص داده شده باشد، می‌توان این امضا را از TELLS به KNOWS منتقل کرد. اما در اکثر موارد پیام برای اولین بار توسط یک شخصیت داستانی ذکر می‌شود؛ بنابراین سیستم درک داستان باید KNOWS را از TELLS تقریباً همزمان با درک و ادغام رویداد دزدی در حافظه استنتاج کند. بنابراین، هر سیستم NLP اتصال‌گرای باید هم مسألهٔ ایجاد پویا نمونه‌های ساختار یافته را حل کند و هم آن‌ها را برای استنتاج (مثلاً برای استنتاج اینکه ماری ناراحت خواهد شد) گسترش دهد.

«راه‌حل» اجازهٔ ایجاد پویا گره‌ها و لینک‌های جدید در زمان اجرا در پارادایم اتصال‌گرایی قابل قبول نیست، زیرا با محدودیت‌های شناخته‌شدهٔ عصب‌شناسی در تضاد است. نورون‌ها، آکسون‌ها یا دندریت‌ها نمی‌توانند در لحظاتی که یک جمله درک می‌شود، رشد کنند. همچنین اشاره‌گرهای نمادین قابل قبول نیستند، زیرا به مکان یک رجیستر حافظه اشاره می‌کنند و شواهدی وجود ندارد که الگوی فعال‌سازی در یک ناحیهٔ مغز مستقیماً مکان (آدرس) ناحیهٔ دیگری را رمزگذاری کند (مانند اشاره‌گرهای سبک von Neumann).

**۲.۲. پیوندها در CNهای توزیعی**
از آنجا که گره‌ها و اتصالات جدید نمی‌توانند «در حین اجرا» در CNها ایجاد شوند، پیوندهای ساختاری باید به‌صورت پویا یا با تغییر وزن‌های سریع سیناپسی (که به‌عنوان وزن‌های اتصال در CNها مدل می‌شوند) یا با تغییر الگوها (یعنی کل‌وبکتورهای فعال‌سازی) بر روی مجموعه‌ای از واحدهای اتصال‌گرای ایجاد شوند. CNهای توزیعی این پتانسیل را دارند، زیرا الگوهای فعال‌سازی را بر روی بانک‌های واحدهای پردازشی اتصال‌گرای دستکاری می‌کنند. استفاده از الگوهای توزیعی امکان ایجاد پویا تعداد نمایی از مقادیر ممکن را فراهم می‌کند. در حال حاضر دو روش اصلی برای نمایش و انتشار الگوهای توزیعی به‌عنوان پیوندهای نقش توسعه یافته‌اند: حاصلضرب تنسور و بردارهای ID+Content.

(۱) **حاصلضرب تنسور**: نظریهٔ تنسور توسط Smolensky (1990) برای استفاده در CNها پیشنهاد شد و در (Dolan 1989؛ Dolan و Dyer 1989؛ Dolan و Smolensky 1989) پیاده‌سازی شد. تنسورها زمانی به‌وجود می‌آیند که بردارها به رتبه‌های بالاتر تعمیم یابند (یعنی یک تنسور رتبه‑یک یک بردار است؛ تنسور رتبه‑دو یک ماتریس؛ تنسور رتبه‑سه یک مکعب از واحدها و غیره). فرض کنید یک بردار m‑بعدی V نقش R را نشان دهد و یک بردار n‑بعدی W پرکنندهٔ نقش F را نشان دهد. سپس R و F می‌توانند با تولید حاصلضرب خارجی بردار VW که یک تنسور T (در این مورد یک ماتریس) با mxn عنصر (یعنی حاصلضرب عنصر‑به‑عنصر هر Vi×Wj = Tij) است، به‌یکدیگر پیوند شوند. برای استخراج، مثلاً، پیوند از نقش، عملی معکوس مانند محاسبهٔ حاصلضرب نقطه‌ای (یا داخلی) T·W انجام می‌شود. این روش به‌سادگی که به نظر می‌رسد نیست، زیرا یک نمایش حاصلضرب تنسور واحد شامل چندین پیوند است که روی هم پوشیده‌اند. برای مثال، برای نمایش BUYS(JOHN, TV, FRED) و OWNS(FRED, TV) باید یک تنسور رتبه‑سه (یعنی یک مکعب از واحدهای CN) تنظیم کنیم و سه‌تایی‌های پیوند زیر را روی آن بگذاریم:

[BUYS, ACTOR, JOHN]
[BUYS, OBJECT, TV]
[BUYS, FROM, FRED]
[OWNS, ACTOR, FRED]
[OWNS, OBJECT, TV]

در اینجا هر بُعد مکعب (یعنی موقعیت در یک سه‌تایی) نمایانگر یک پیش‌فرض، یک نقش یا یک پرکننده نقش است. به‌دلیل همپوشانی این حاصلضرب‌های خارجی (مثلاً از طریق جمع عنصر‑به‑عنصر) در همان تنسور، تداخل (cross‑talk) رخ می‌دهد. Dolan (1989) روش‌های مختلفی برای استخراج پیوندها از شبکه‌های تنسوری در حضور چنین تداخل‌هایی توسعه داده است. برای مثال، یکی از روش‌ها استفاده از «مدارهای پاک‌سازی» (clean‑up circuits) است. یک نوع مدار پاک‌سازی شامل شبکه‌ای از پیوندهای پیش‌دانسته است که از طریق مهار (inhibition) سازماندهی می‌شود. بنابراین خروجی پر سر و صدا از حاصلضرب تنسور به نزدیک‌ترین بردار مطابق (از مجموعهٔ ثابت گزینه‌های ممکن) از طریق فرآیند winner‑take‑all نگاشت می‌شود. روش دیگر «مدارهای عبور» (pass‑through circuits) نام دارد. یک مدار عبور در واقع حاصلضرب‌های نقطه‌ای اضافی (نمایانگر قیود اضافی بر آنچه خروجی باید باشد) اعمال می‌کند. برای مثال، اگر به دنبال OBJECT خریداری‌شده باشیم و بدانیم که آن نیز مالک است، می‌توانیم مدارهای عبور تنظیم کنیم که در اصل تقاطع دو پرس‌وجوی مرتبط، مانند [BUYS1, OBJECT, ?] و [OWNS, OBJECT, ?]، را پیدا کنند.

تنسورها از نظر ریاضی زیبا هستند و می‌توانند در یک شبکهٔ CN از طریق کدگذاری ترکیبی (conjunctive coding) یعنی اتصالات ضربی (Hinton et al. 1986) پیاده‌سازی شوند. اما مشکلات مقیاس‌پذیری و تداخل می‌توانند مشکل‌ساز باشند. برای بردارهای n‑بعدی برای نگهداری پیوندها به صورت [predicate, role‑name, role‑filler] به n³ واحد نیاز است. اگر تعداد زیادی رویداد BUYS وجود داشته باشد، تداخل عظیمی رخ می‌دهد یا باید سه‌تایی‌هایی رمزگذاری شوند که نمونه‌ها را متمایز می‌کند:

[BUYS1, ACTOR, JOHN] …
[BUYS2, ACTOR, JOE]
[BUYS1, ISA, BUYS]
[BUYS2, ISA, BUYS]

مشکل این رویکرد این است که به‌طرز عجیبی شبکهٔ تنسور شبیه یک سیستم نمادین عمل می‌کند و ویژگی‌های خوب CNهای توزیعی (مانند تعمیم) ممکن است از دست بروند. همچنین، ذخیره‌سازی و دسترسی به‌صورت یک‌تایی (یک سه‌تایی در هر زمان) سیستمی را ایجاد می‌کند که در سطح زیرنمادین موازی است اما در سطح دانش عملاً ترتیبی است (Sumida و Dyer 1989؛ Feldman 1989) زیرا تنها می‌توان یک سه‌تایی را همزمان دسترسی یا دستکاری کرد. در مقابل، در یک CN محلی تعداد زیادی از سه‌تایی‌ها به‌صورت همزمان فعال می‌شوند، زیرا پیش‌فرض‌ها و نقش‌های هر رویداد به‌صورت جداگانه نمایش داده می‌شوند.

(۲) **بردارهای ID+Content**: در CNهای محلی، هر نمونه (مثلاً BUY3) توسط یک گره جداگانه نمایش داده می‌شود که به نوع کلی (مثلاً BUY) متصل است. در CNهای توزیعی، BUY3 شامل یک الگوی (یعنی بردار) فعال‌سازی است که بخش‌هایی از الگو مقادیر فعال‌سازی مشابهی با بردار فعال‌سازی نمایانگر نوع دارند. در رویکرد ID+Content (Miikkulainen و Dyer 1991)، بردار به دو بخش تقسیم می‌شود: (الف) بخش Content که اطلاعات مربوط به نوع کلی شیء/عمل را نگه می‌دارد و (ب) بخش ID که اطلاعات مربوط به نمونهٔ خاص را نگه می‌دارد. یک CN توزیعی، مانند یک شبکهٔ PDP (Rumelhart و McClelland 1986)، می‌تواند آموزش ببیند تا بخش ID را از یک لایه به لایهٔ دیگر منتقل کند بدون اینکه بخش Content را تغییر دهد. این کار با آموزش شبکه بر روی زیرمجموعه‌ای تصادفی از الگوهای ID انجام می‌شود. Miikkulainen و Dyer (1991) نشان دادند که شبکه‌های PDP می‌توانند به‌طور کارآمد الگوهای ID جدید را زمانی که فقط بر روی زیرمجموعه‌ای کوچک از الگوهای تصادفی آموزش دیده‌اند، منتقل کنند. این شبکه‌ها عملاً نگاشت هویت برای بخش‌های ID را می‌آموزند. Miikkulainen و Dyer از این تکنیک برای انتشار پیوندهای نقش استفاده می‌کنند. سیستم آن‌ها، DISPAR، شامل ۴ شبکهٔ PDP بازگشتی (مانند آنچه Elman 1990 توسعه داد) است که به یک حافظهٔ لغوی متصل‌اند. DISPAR وظیفهٔ یادگیری تولید پارافرِزهای کامل از ورودی‌های جزئی داستان‌های مبتنی بر اسکریپت (Schank و Abelson 1977؛ Dyer et al. 1987) را دارد. برای مثال، با ورودی «Mary ordered steak at Leone's.» DISPAR توالی کامل رویدادها را تولید می‌کند؛ یعنی «Mary ate steak.» بنابراین، تولید پارافرِزها مستلزم انتشار پیوندهاست، زیرا DISPAR باید (از داده‌های آموزشی) استنتاج معادل زیر را انجام دهد:

ORDER(diner, food) ⟹ EATS(diner, food)

مشکل آن‌ها این بود که دانش طولانی‌مدت (نهفته در مجموعهٔ آموزشی اسکریپت‑محور) در وزن‌های اتصال کدگذاری می‌شود و منجر می‌شود که اطلاعات کوتاه‌مدت (از داستان ورودی) بازنویسی شود. برای مثال، اگر هر داستان آموزشی ماری را نشان دهد که استیک می‌خورد، حتی اگر (در حین اجرا) داستان ورودی جملهٔ «Mary ordered a hamburger.» را داشته باشد، DISPAR همچنان «Mary ate a steak» را به‌عنوان بخشی از پارافرِز خود تولید می‌کند. این اثر همچنین در (St. John و McClelland 1990) مشاهده شد. این مشکل در DISPAR با نمایش «steak» و «hamburger» هر کدام به‌صورت بردارهای ID+Content حل شد. بخش Content هر نوع غذا الگوی مشابهی برای تمام غذاهای استفاده‑شده در داده‌های آموزشی داشت، در حالی که بخش‌های ID برای هر نمونهٔ متمایز غذا (مثلاً hamburger در مقابل steak) الگوهای منحصر به‌فردی اختصاص یافت. بنابراین، وقتی «Mary ordered hamburger.» در حین اجرا وارد شد، DISPAR بخش ID را بدون تغییر به بانک‌های بعدی منتقل کرد. DISPAR از الگوی موجود در بخش Content (یعنی نوع FOOD) برای کمک به پردازش استفاده کرد در حالی که نمونه (بخش ID) را بدون تغییر منتقل کرد. در نتیجه، DISPAR می‌توانست نتیجهٔ «Mary ate hamburger.» را زمانی که «Mary ordered hamburger.» گفته شد، استنتاج کند، حتی اگر تمام نمونه‌های آموزشی شامل ماری که همیشه استیک می‌خورد، بوده باشند.

**۳. پیوندهای عملکردی و تطبیق الگوهای ساختاری**
اگرچه تکنیک‌های فوق (مانند امضاها، بردارهای ID+Content و غیره) قابلیت‌های نمادین CNهای محلی و توزیعی را به‌طور چشمگیری گسترش داده‌اند، هنوز در مقایسه با توانایی‌های پیوند نمادین ضعیف هستند. استفاده از یک heap، آدرس‌دهی و اشاره‌گرها به سیستم‌های نمادین اجازه می‌دهد ساختارهایی مانند STOLE3 را «در حین اجرا» ایجاد کنند. سیستم‌های نمادین همچنین انتشار پیوندهای پیچیده‌تر را پشتیبانی می‌کنند؛ برای مثال، آن‌ها اجازه می‌دهند ماژول‌ها کل توابع یا رویه‌ها را به‌عنوان داده دریافت کنند. این منجر به سبک‌های برنامه‌نویسی «مبتنی بر داده» و «شیء‑محور» می‌شود. یک مثال ساده از این قابلیت، تابع APPLY در LISP است که در آن یک تابع F1 هر تابعی F2 را که به‌عنوان پارامتر به F1 پاس داده می‌شود، اعمال می‌کند. این قابلیت پیوند کد و انتشار آن اجازه می‌دهد یک ماژول در یک سیستم نمادین هر عملیاتی را که ماژول دیگری قادر به انجام آن است، انجام دهد.

علاوه بر این، سیستم‌های نمادین معمولاً توانایی‌های قدرتمند تطبیق الگو دارند. مثال بارز، unification است، همان‌طور که در Prolog دیده می‌شود. Holldobler (1990) و Stolcke (1989) CNهای محلی برای انجام این فرایند unification ساخته‌اند. Holldobler به‌عنوان مثال چند لایهٔ واحدهای آستانه‌ای تنظیم می‌کند. لایهٔ term یک ماتریس از واحدهاست که یک طرف آن عبارات دو عبارت برای یکسان‌سازی را نشان می‌دهد و طرف دیگر موقعیت‌های ممکن عبارات را نشان می‌دهد. لایهٔ unification واحدهایی دارد که به‌گونه‌ای متصل‌اند که قیود unification را اعمال کنند، برای مثال اینکه آیا دو رخداد یک متغیر مشترک دارند یا نه. لایهٔ occur‑check اطمینان می‌دهد که چرخه‌ها رخ ندهند، مانند این‌که x به f(x) متصل شود.

مشکلات اصلی این رویکرد CN محلی برای unification عبارتند از: (الف) تمام واحدها و اتصالات آن‌ها باید پیشاپیش برای عبارات مورد نظر که باید یکسان‌سازی شوند، سیم‌کشی شوند؛ بنابراین محدود و غیرعمومی هستند، و (ب) تنها یک راه‌حل تولید می‌شود. در مقابل، unification در زبان‌های برنامه‌نویسی منطقی مانند Prolog بر روی تعداد نامحدودی از عبارات ممکن کار می‌کند و می‌تواند چندین راه‌حل را در صورت وجود بازگرداند. بنابراین، یک CN محلی با هر عمومی‌سازی نیاز به روشی برای جذب و سیم‌کشی دینامیک واحدها دارد. در حوزهٔ CNهای توزیعی، تا به‌حال هیچ معماری‌ای (به‌نظر من) برای تلاش به‌سوی unification طراحی نشده است.

**۴. کدگذاری و دسترسی به ساختارهای بازگشتی**
ساختار بازگشتی برای استدلال سطح بالا، به‌ویژه پردازش زبان طبیعی، ضروری است. شبکه‌های محلی می‌توانند ساختارهای بازگشتی را با اتصال گره‌های مناسب به‌صورت درخت‑مانند نمایش دهند. اما شبکه‌های محلی که فازها یا امضاها را منتشر می‌کنند، در انتشار چندین نمونه از یک نوع مشکل دارند. جملهٔ S4 را در نظر بگیرید:

S4: John told Mary that Betty told Fred that Jim went home.

در اینجا دو ساختار TELL وجود دارد. در CNهای محلی، معمولاً برای هر نوع پیش‌فرض تنها یک گره وجود دارد. بنابراین بخش «John told Mary» می‌تواند با عبور امضاها (یا فازها) از گره‌های TELL:TELLER و TELL:RECEIVER نمایش داده شود. اما «Betty told Fred» که تو در تو است باید توسط یک نمونهٔ دیگر TELL که به‌صورت پویا به گرهٔ TELL:MESSAGE سطح بالای TELL متصل می‌شود، نمایش داده شود. یک راه‌حل برای مشکل (چندین نمونه از یک نوع) داشتن n نسخه برای هر پیش‌فرض (و نقش‌های مربوطه) است. اگر n = 2 باشد، شبکه می‌تواند یک نمونهٔ TELL تو در تو را تجزیه و نمایش دهد. برای مثال، اگر هر گرهٔ TELL امضای پیش‌اختصاصی داشته باشد، امضای TELL تو در تو می‌تواند به TELL:MESSAGE TELL سطح بالایی منتقل شود. این رویکرد برای جملاتی با عمق تو در تو بیش از n همیشه شکست می‌خورد. این محدودیت در عمق بازگشت ممکن است برای پردازش انسان‌ها نیز مشکل‌ساز باشد؛ به‌عنوان مثال، S5 را در نظر بگیرید:

S5: John told Mary that Betty told Fred that Sally told Frank that Jim went home.

اکثر افراد هنگام شنیدن چنین جمله‌ای، نمی‌توانند به‌دقت بگویند چه کسی به چه کسی چه می‌گوید و بلافاصله آن را به‌صورت «چندین نفر به دیگران می‌گویند که جیم به خانه رفت» خلاصه می‌کنند.

در حوزهٔ CNهای توزیعی، شبکه‌های PDP اولیه لایهٔ بازگشتی نداشتند؛ بنابراین کدگذاری ساختارهای بازگشتی مشکل‌ساز بود. اگر یک شبکهٔ PDP سه‑لایه، برای مثال، چهار بانک (مثلاً نمایانگر ACT، ACTOR، RECIPIENT، OBJECT) داشته باشد، جمله‌ای مانند S4 نمی‌تواند کدگذاری شود، زیرا TELL تو در تو به ACT، ACTOR و غیره خود نیاز دارد. این مشکل با استفاده از CNهای توزیعی با لایهٔ بازگشتی حل شد. چندین معماری بازگشتی متمایز برای کدگذاری ساختارهای بازگشتی و مؤلفه‌های آن‌ها به کار رفته‌اند. دو رویکرد رایج، Simple Recurrent Network (SRN) از Elman (1990) و Recursive Autoassociative Memory (RAAM) از Pollack (1988, 1989, 1990) هستند. در SRNها، لایهٔ مخفی به یک بانک اضافه شده در لایهٔ ورودی (به نام «context» bank) کپی می‌شود و سپس در چرخهٔ بعدی به لایهٔ مخفی بازخورد می‌دهد. در مقابل، RAAMها از یک شبکهٔ خود‑انطباقی (یا رمزگذار) استفاده می‌کنند که در آن یک شبکهٔ PDP آموزش می‌بیند تا الگوی خروجی را همانند الگوی ورودی تولید کند (Rumelhart و McClelland 1986). در RAAMهای Pollack، الگوی فعال‌سازی تولید‑شده در لایهٔ مخفی به‌صورت بازگشتی به یک بانک در هر دو لایهٔ ورودی و خروجی کپی می‌شود. شکل 1 نشان می‌دهد چگونه S4 می‌تواند در یک RAAM کدگذاری شود.

**شکل 1. کدگذاری یک ساختار تو در تو درون یک RAAM.**
ابتدا «Jim went home» در لایه‌های ورودی/خروجی RAAM خود‑انطباقی می‌شود. الگوی فعال‌سازی حاصل (PAV1) در لایهٔ مخفی سپس در بانک‌های MESSAGE قرار می‌گیرد. سپس «Betty told Fred PAV1» خود‑انطباقی می‌شود. الگوی حاصل در لایهٔ مخفی (PAV2) در بانک MESSAGE قرار می‌گیرد. اکنون «John told Mary PAV2» خود‑انطباقی می‌شود. بردار فعال‌سازی نهایی لایهٔ مخفی (PAV3) کل ساختار بازگشتی را کدگذاری می‌کند. برای بازیابی این ساختار بازگشتی می‌توان PAV3 را بر لایهٔ مخفی همان RAAM قرار داد و [JOHN TOLD MARY PAV2] بر چهار بانک لایهٔ خروجی بازسازی می‌شود. سپس PAV2 بر لایهٔ مخفی قرار می‌گیرد و [BETTY TOLD FRED PAV1] بازسازی می‌شود. در نهایت PAV1 بر لایهٔ مخفی قرار می‌گیرد و الگوی [JIM WENT HOME NIL] در بانک‌های لایهٔ خروجی ظاهر می‌شود. بنابراین یک RAAM می‌تواند به‌صورت اساسی به‌عنوان یک پشته عمل کند و هم لیست‌های ساده و هم درخت‌ها را در یک بردار ثابت‑عرض کدگذاری کند. برای مثال، Miikkulainen (در چاپ) از یک RAAM به‌عنوان پشته در یک CN توزیعی استفاده می‌کند که یاد می‌گیرد جملات نسبی تو در تو را تجزیه کند.

اگر یک حافظهٔ طولانی‌مدت برای ذخیرهٔ این الگوهای لایهٔ مخفی (مثلاً PAV1، PAV2) افزوده شود، شبکه‌های خود‑انطباقی می‌توانند گراف‌ها (یعنی ساختارهای بازگشتی با چرخه‌ها) را ذخیره کنند. برای مثال، Dyer et al. (1992) از معماری‌ای به نام DUAL استفاده کردند که شامل یک شبکهٔ PDP سه‑لایه (برچسب‌دار STM) و یک شبکهٔ رمزگذار خود‑انطباقی (برچسب‌دار LTM) است؛ لایهٔ مخفی LTM به همان طول لایه‌های ورودی/خروجی STM است و لایه‌های ورودی/خروجی LTM به طول تعداد وزن‌های تمام لایه‌های STM برابرند. DUAL برای کدگذاری یک شبکهٔ معنایی ساده (یعنی گرافی از گره‌ها و لینک‌های برچسب‌دار، با چرخه‌ها) به کار رفته است. برای مثال، هر گره به‌صورت چند جفت arc‑to‑node برچسب‌دار تعریف می‌شود:

JOHN: --LOVES--> MARY
--GENDER--> MALE
--JOB--> PROFESSOR
... ...

وزن‌های STM (از طریق یادگیری back‑propagation) تنظیم می‌شوند تا نقش‌ها را با مقادیر (مثلاً LOVES در لایهٔ ورودی و MARY در لایهٔ خروجی) مرتبط کنند. پس از یادگیری، تمام وزن‌های شبکهٔ STM به‌صورت یک بردار بزرگتر (مثلاً V‑JOHN) به لایه‌های ورودی/خروجی LTM منتقل می‌شوند که LTM آموزش می‌بیند تا آن را خود‑انطباقی کند. بنابراین LTM تمام شبکه‌های STM را ذخیره می‌کند. برای بازیابی وزن‌های STM مربوط به V‑JOHN، V‑JOHN را بر لایهٔ مخفی LTM قرار می‌دهیم؛ وزن‌های خروجی LTM سپس می‌توانند وزن‌های STM را بازنشانی کنند. برای بازیابی هر قطعه اطلاعاتی دربارهٔ JOHN، نقش مناسب (مثلاً JOB) را بر لایهٔ ورودی STM می‌گذاریم و مقدار (مثلاً PROFESSOR) بر لایهٔ خروجی ظاهر می‌شود.

حالا به کدگذاری چرخه‌ها می‌پردازیم. فرض کنید MARY دارای آرک‌های زیر باشد:

MARY: --LOVES--> JOHN
--GENDER--> FEMALE
--JOB--> DEAN

در اینجا یک چرخه وجود دارد زیرا هم [JOHN --LOVES--> MARY] و هم [MARY --LOVES--> JOHN] وجود دارند. برای آموزش STM به کدگذاری MARY، نقش‌های MARY را با مقادیر مناسب (مثلاً LOVES بر ورودی و V‑JOHN بر خروجی) مرتبط می‌کنیم. پس از آموزش، وزن‌های STM (مثلاً V‑MARY) تمام اطلاعات دربارهٔ MARY را کدگذاری می‌کند. اما وقتی شبکهٔ JOHN کدگذاری شد، V‑MARY هنوز به‌عنوان نمایندهٔ MARY وجود نداشت (فقط یک نمایندهٔ اولیه تصادفی وجود داشت). بنابراین باید شبکهٔ STM مربوط به JOHN را دوباره آموزش دهیم تا LOVES را به V‑MARY متصل کند. این چرخهٔ کدگذاری وزن‌های STM (که تمام ویژگی‌های JOHN را کدگذاری می‌کند) منجر به به‌روزرسانی وزن‌های STM (که حالا V‑JOHN1 نام دارد) می‌شود. در نتیجه کدگذاری MARY نیز باید تغییر کند (چون MARY اکنون به V‑JOHN1 متصل است، نه V‑JOHN). MARY نیز اکنون با یک بردار جدید (مثلاً V‑MARY1) بهتر نمایش داده می‌شود و این روند ادامه می‌یابد. با گذشت زمان، شبکه یک کدگذاری برای هر دو JOHN و MARY پیدا می‌کند زیرا نمایش‌های توزیعی آن‌ها در معماری DUAL به‌صورت مکرر بازگردانده می‌شوند. اگر دو گره N1 و N2 آرک‌های مشابهی داشته باشند، آن‌ها به‌صورت بردارهای بسیار مشابهی نمایش داده می‌شوند؛ این شباهت به تعمیم کمک می‌کند. برای مثال، اگر یک کشور C1 دارای n ویژگی باشد (مثلاً یکی از ویژگی‌ها [C1: --PRODUCES--> RICE] باشد) و کشور C2 n‑1 ویژگی مشابه داشته باشد (اما مشخص نیست آیا C2 برنج تولید می‌کند یا نه)، شباهت بردارهای ساخته‌شده برای C1 و C2 باعث می‌شود DUAL نتیجه بگیرد که C2 نیز برنج تولید می‌کند.

**۵. تشکیل حافظه‌های لغوی**
پردازش زبان طبیعی به یک حافظهٔ لغوی نیاز دارد. در سیستم‌های نمادین، هر کلمه به‌صورت یک نماد (مثلاً در ASCII) کدگذاری می‌شود که به ساختاری شبیه‑فریم (Minsky 1985) با قوانین پیوست شده نگاشت می‌شود. برای مثال، در سیستم درک داستان و پاسخ به سؤال BORIS (Dyer 1983)، کلمهٔ «eats» به یک فریم INGEST با تعدادی قانون (که به‌صورت «دیمون» test/action پیاده‌سازی شده‌اند) نگاشت می‌شود. یک دیمون به‌دنبال فریم FOOD پس از فریم INGEST می‌گردد و اگر پیدا شود، فریم FOOD را به نقش OBJECT فریم INGEST پیوند می‌دهد. دیمون دیگر به‌دنبال عامل زنده پیش از فریم INGEST می‌گردد و آن را به نقش ACTOR پیوند می‌دهد و غیره.

در چنین سیستمی، نمایش داخلی (ASCII) برای کلمه «eats» دلخواه و ثابت است. در CNهای محلی، گرهٔ «eats» نیز ثابت است و اتصالات آن (به گره‌های دیگر نمایانگر کلمات یا فریم‌ها) توسط مهندس دانش مشخص می‌شود. در مقابل، در برخی معماری‌های توزیعی اخیر، روش‌هایی برای تشکیل خودکار نمایش‌های توزیعی (یعنی بردارهای فعال‌سازی) برای ورودی‌های لغوی توسعه یافته‌اند. مهم‌ترین نتیجهٔ این روش‌ها این است که کلماتی با معناهای مشابه نمایش‌های بسیار مشابهی به‌دست می‌آورند (مثلاً در روش recirculation در DUAL) — که این امر از تعمیم به متون جدید اما مرتبط پشتیبانی می‌کند. برای مثال، اگر «pasta» نمایش مشابهی با «spaghetti» داشته باشد، یک شبکهٔ اتصال‌گرای توزیعی که بر «John ate the spaghetti» آموزش دیده است، به‌طور خودکار «John ate the pasta» را به‌درستی پردازش می‌کند حتی اگر هرگز بر این ورودی خاص آموزش ندیده باشد.

دو روش برای تشکیل خودکار نمایش‌های لغوی توسعه یافته‌اند: روش FGREP میکولاینن (Miikkulainen و Dyer 1991؛ Miikkulainen 1993) و روش xRAAM لی (Lee 1991؛ Lee et al. 1990؛ Lee و Dyer در چاپ). در روش FGREP، یک شبکهٔ PDP (به نام M1) آموزش می‌بیند تا کلمات (نمایش داده شده به‌صورت بردارهای فعال‌سازی) یا توالی‌های کلمه (اگر شبکه بازگشتی باشد) را از بانک‌های لایهٔ ورودی به بانک‌های لایهٔ خروجی نگاشت کند. برای مثال، «chicken» ممکن است از بانک SUBJECT ورودی به بانک ACTOR خروجی در جمله «The chicken ate the worm.» نگاشت شود، در حالی که ممکن است از بانک DIRECT‑OBJECT ورودی به بانک RECIPIENT خروجی در جمله «The man ate the chicken.» نگاشت شود. در حالی که وزن‌های شبکه M با back‑propagation برای یادگیری نگاشت صحیح به‌روزرسانی می‌شوند، همزمان بردار (نمایانگر «chicken») نیز تغییر می‌کند. این تغییر با گسترش یادگیری back‑propagation به مجموعه‌ای از وزن‌های نمایانگر «chicken» در یک حافظهٔ لغوی انجام می‌شود؛ تمام وزن‌های دیگر (نمایانگر کلمات دیگر) تغییر نمی‌کنند. در نتیجه، نمایش هر کلمه W به‌مرور زمان با آموزش شبکه M برای نگاشت آن کلمه از ورودی به خروجی تغییر می‌کند. یک حافظهٔ لغوی می‌تواند سپس به چندین شبکهٔ PDP متصل شود. همان‌طور که هر شبکه بر داده‌های لغوی آموزش می‌بیند، آن کلمات تغییر می‌کنند و بردارهای وزن‌شدهٔ تغییر یافته به حافظهٔ لغوی بازگردانده می‌شوند. بنابراین، همان‌طور که هر شبکه بر داده‌های لغوی آموزش می‌بیند، نمایش‌های داده‌های آموزشی نیز در حال تغییر هستند. شکل 2 فرآیند FGREP را بر یک شبکهٔ بازگشتی نشان می‌دهد.

**شکل 2. فرآیند FGREP.** نمایش‌های کلمه از حافظهٔ لغوی گرفته می‌شوند و برای آموزش لایه‌های ورودی/خروجی یک شبکهٔ بازگشتی استفاده می‌شوند. در طول یادگیری، back‑propagation به‌صورت بازگشتی به همان بخش حافظهٔ لغوی که کلمهٔ ورودی فعلی را نمایان می‌کند، گسترش می‌یابد و فقط وزن‌های آن بخش به‌روزرسانی می‌شوند. نمایش‌های تغییر یافته در حافظهٔ لغوی می‌توانند برای آموزش شبکه‌های دیگر نیز استفاده شوند که این باعث می‌شود این کلمات دوباره تغییر کنند.

جالب است که همگرایی به الگوهای ثابت زمان زیادی بیشتر از آموزش با داده‌های ثابت نمی‌گیرد؛ زیرا تغییرات در نمایش‌های داده‌های لغوی کار یادگیری نگاشت را آسان‌تر می‌کند — یعنی برای شبکه‌هایی که در حال یادگیری این داده‌ها از ورودی به خروجی هستند، کار یادگیری ساده‌تر می‌شود. با استفاده از FGREP و بردارهای ID+Content، میکولاینن و دییر (1991) سیستم DISPAR را طراحی کردند؛ یک سیستم پارافرِز داستانی که شامل ۴ ماژول SRN و یک حافظهٔ لغوی است. هر ماژول وظیفهٔ متمایزی دارد: (الف) نگاشت توالی کلمات به نمایش رویداد نقش‑قضیه، (ب) نگاشت توالی رویدادها به نمایش اسکریپت، (ج) نگاشت اسکریپت به توالی رویدادها، (د) نگاشت رویداد به توالی کلمات. در طول آموزش، هر ماژول با نمایش‌های کلمه‌ای گرفته شده از حافظهٔ لغوی و تغییر یافته توسط روش FGREP آموزش می‌بیند. در حین اجرا، DISPAR ورودی‌ای از یک قطعهٔ داستان مبتنی بر اسکریپت می‌گیرد و خروجی‌ای کامل (یعنی تمام اقدامات و نقش‌های میانی) تولید می‌کند.

در یک مشکل، دانش طولانی‌مدت (نهفته در مجموعهٔ آموزشی اسکریپت‑محور) در وزن‌های اتصال کدگذاری می‌شود و باعث می‌شود اطلاعات کوتاه‌مدت (از داستان ورودی) بازنویسی شود. برای مثال، اگر هر داستان آموزشی ماری را نشان دهد که استیک می‌خورد، حتی اگر (در حین اجرا) داستان ورودی جملهٔ «Mary ordered a hamburger.» را داشته باشد، DISPAR همچنان «Mary ate a steak» را به‌عنوان بخشی از پارافرِز خود تولید می‌کند. این اثر همچنین در (St. John و McClelland 1990) مشاهده شد. این مشکل در DISPAR با نمایش «steak» و «hamburger» هر کدام به‌صورت بردارهای ID+Content حل شد. بخش Content هر نوع غذا الگوی مشابهی برای تمام غذاهای استفاده‑شده در داده‌های آموزشی داشت، در حالی که بخش‌های ID برای هر نمونهٔ متمایز غذا (مثلاً hamburger در مقابل steak) الگوهای منحصر به‌فردی اختصاص یافت. بنابراین، وقتی «Mary ordered hamburger.» در حین اجرا وارد شد، DISPAR بخش ID را بدون تغییر به بانک‌های بعدی منتقل کرد. DISPAR از الگوی موجود در بخش Content (یعنی نوع FOOD) برای کمک به پردازش استفاده کرد در حالی که نمونه (بخش ID) را بدون تغییر منتقل کرد. در نتیجه، DISPAR می‌توانست نتیجهٔ «Mary ate hamburger.» را زمانی که «Mary ordered hamburger.» گفته شد، استنتاج کند، حتی اگر تمام نمونه‌های آموزشی شامل ماری که همیشه استیک می‌خورد، بوده باشند.

**۶. پیوندهای عملکردی و تطبیق الگوهای ساختاری**
اگرچه تکنیک‌های فوق (مانند امضاها، بردارهای ID+Content و غیره) قابلیت‌های نمادین CNهای محلی و توزیعی را به‌طور چشمگیری گسترش داده‌اند، هنوز در مقایسه با توانایی‌های پیوند نمادین ضعیف هستند. استفاده از یک heap، آدرس‌دهی و اشاره‌گرها به سیستم‌های نمادین اجازه می‌دهد ساختارهایی مانند STOLE3 را «در حین اجرا» ایجاد کنند. سیستم‌های نمادین همچنین انتشار پیوندهای پیچیده‌تر را پشتیبانی می‌کنند؛ برای مثال، آن‌ها اجازه می‌دهند ماژول‌ها کل توابع یا رویه‌ها را به‌عنوان داده دریافت کنند. این منجر به سبک‌های برنامه‌نویسی «مبتنی بر داده» و «شیء‑محور» می‌شود. یک مثال ساده از این قابلیت، تابع APPLY در LISP است که در آن یک تابع F1 هر تابعی F2 را که به‌عنوان پارامتر به F1 پاس داده می‌شود، اعمال می‌کند. این قابلیت پیوند کد و انتشار آن اجازه می‌دهد یک ماژول در یک سیستم نمادین هر عملیاتی را که ماژول دیگری قادر به انجام آن است، انجام دهد.

علاوه بر این، سیستم‌های نمادین معمولاً توانایی‌های قدرتمند تطبیق الگو دارند. مثال بارز، unification است، همان‌طور که در Prolog دیده می‌شود. Holldobler (1990) و Stolcke (1989) CNهای محلی برای انجام این فرایند unification ساخته‌اند. Holldobler به‌عنوان مثال چند لایهٔ واحدهای آستانه‌ای تنظیم می‌کند. لایهٔ term یک ماتریس از واحدهاست که یک طرف آن عبارات دو عبارت برای یکسان‌سازی را نشان می‌دهد و طرف دیگر موقعیت‌های ممکن عبارات را نشان می‌دهد. لایهٔ unification واحدهایی دارد که به‌گونه‌ای متصل‌اند که قیود unification را اعمال کنند، برای مثال اینکه آیا دو رخداد یک متغیر مشترک دارند یا نه. لایهٔ occur‑check اطمینان می‌دهد که چرخه‌ها رخ ندهند، مانند این‌که x به f(x) متصل شود.

مشکلات اصلی این رویکرد CN محلی برای unification عبارتند از: (الف) تمام واحدها و اتصالات آن‌ها باید پیشاپیش برای عبارات مورد نظر که باید یکسان‌سازی شوند، سیم‌کشی شوند؛ بنابراین محدود و غیرعمومی هستند، و (ب) تنها یک راه‌حل تولید می‌شود. در مقابل، unification در زبان‌های برنامه‌نویسی منطقی مانند Prolog بر روی تعداد نامحدودی از عبارات ممکن کار می‌کند و می‌تواند چندین راه‌حل را در صورت وجود بازگرداند. بنابراین، یک CN محلی با هر عمومی‌سازی نیاز به روشی برای جذب و سیم‌کشی دینامیک واحدها دارد. در حوزهٔ CNهای توزیعی، تا به‌حال هیچ معماری‌ای (به‌نظر من) برای تلاش به‌سوی unification طراحی نشده است.

**۷. کدگذاری و دسترسی به ساختارهای بازگشتی**
ساختار بازگشتی برای استدلال سطح بالا، به‌ویژه پردازش زبان طبیعی، ضروری است. شبکه‌های محلی می‌توانند ساختارهای بازگشتی را با اتصال گره‌های مناسب به‌صورت درخت‑مانند نمایش دهند. اما شبکه‌های محلی که فازها یا امضاها را منتشر می‌کنند، در انتشار چندین نمونه از یک نوع مشکل دارند. جملهٔ S4 را در نظر بگیرید:

S4: John told Mary that Betty told Fred that Jim went home.

در اینجا دو ساختار TELL وجود دارد. در CNهای محلی، معمولاً برای هر نوع پیش‌فرض تنها یک گره وجود دارد. بنابراین بخش «John told Mary» می‌تواند با عبور امضاها (یا فازها) از گره‌های TELL:TELLER و TELL:RECEIVER نمایش داده شود. اما «Betty told Fred» که تو در تو است باید توسط یک نمونهٔ دیگر TELL که به‌صورت پویا به گرهٔ TELL:MESSAGE سطح بالای TELL متصل می‌شود، نمایش داده شود. یک راه‌حل برای مشکل (چندین نمونه از یک نوع) داشتن n نسخه برای هر پیش‌فرض (و نقش‌های مربوطه) است. اگر n = 2 باشد، شبکه می‌تواند یک نمونهٔ TELL تو در تو را تجزیه و نمایش دهد. برای مثال، اگر هر گرهٔ TELL امضای پیش‌اختصاصی داشته باشد، امضای TELL تو در تو می‌تواند به TELL:MESSAGE TELL سطح بالایی منتقل شود. این رویکرد برای جملاتی با عمق تو در تو بیش از n همیشه شکست می‌خورد. این محدودیت در عمق بازگشت ممکن است برای پردازش انسان‌ها نیز مشکل‌ساز باشد؛ به‌عنوان مثال، S5 را در نظر بگیرید:

S5: John told Mary that Betty told Fred that Sally told Frank that Jim went home.

اکثر افراد هنگام شنیدن چنین جمله‌ای، نمی‌توانند به‌دقت بگویند چه کسی به چه کسی چه می‌گوید و بلافاصله آن را به‌صورت «چندین نفر به دیگران می‌گویند که جیم به خانه رفت» خلاصه می‌کنند.

در حوزهٔ CNهای توزیعی، شبکه‌های PDP اولیه لایهٔ بازگشتی نداشتند؛ بنابراین کدگذاری ساختارهای بازگشتی مشکل‌ساز بود. اگر یک شبکهٔ PDP سه‑لایه، برای مثال، چهار بانک (مثلاً نمایانگر ACT، ACTOR، RECIPIENT، OBJECT) داشته باشد، جمله‌ای مانند S4 نمی‌تواند کدگذاری شود، زیرا TELL تو در تو به ACT، ACTOR و غیره خود نیاز دارد. این مشکل با استفاده از CNهای توزیعی با لایهٔ بازگشتی حل شد. چندین معماری بازگشتی متمایز برای کدگذاری ساختارهای بازگشتی و مؤلفه‌های آن‌ها به کار رفته‌اند. دو رویکرد رایج، Simple Recurrent Network (SRN) از Elman (1990) و Recursive Autoassociative Memory (RAAM) از Pollack (1988, 1989, 1990) هستند. در SRNها، لایهٔ مخفی به یک بانک اضافه شده در لایهٔ ورودی (به نام «context» bank) کپی می‌شود و سپس در چرخهٔ بعدی به لایهٔ مخفی بازخورد می‌دهد. در مقابل، RAAMها از یک شبکهٔ خود‑انطباقی (یا رمزگذار) استفاده می‌کنند که در آن یک شبکهٔ PDP آموزش می‌بیند تا الگوی خروجی را همانند الگوی ورودی تولید کند (Rumelhart و McClelland 1986). در RAAMهای Pollack، الگوی فعال‌سازی تولید‑شده در لایهٔ مخفی به‌صورت بازگشتی به یک بانک در هر دو لایهٔ ورودی و خروجی کپی می‌شود. شکل 1 نشان می‌دهد چگونه S4 می‌تواند در یک RAAM کدگذاری شود.

**شکل 1. کدگذاری یک ساختار تو در تو درون یک RAAM.** ابتدا «Jim went home» در لایه‌های ورودی/خروجی RAAM خود‑انطباقی می‌شود. الگوی فعال‌سازی حاصل (PAV1) در لایهٔ مخفی سپس در بانک‌های MESSAGE قرار می‌گیرد. سپس «Betty told Fred PAV1» خود‑انطباقی می‌شود. الگوی حاصل در لایهٔ مخفی (PAV2) در بانک MESSAGE قرار می‌گیرد. اکنون «John told Mary PAV2» خود‑انطباقی می‌شود. بردار فعال‌سازی نهایی لایهٔ مخفی (PAV3) کل ساختار بازگشتی را کدگذاری می‌کند. برای بازیابی این ساختار بازگشتی می‌توان PAV3 را بر لایهٔ مخفی همان RAAM قرار داد و [JOHN TOLD MARY PAV2] بر چهار بانک لایهٔ خروجی بازسازی می‌شود. سپس PAV2 بر لایهٔ مخفی قرار می‌گیرد و [BETTY TOLD FRED PAV1] بازسازی می‌شود. در نهایت PAV1 بر لایهٔ مخفی قرار می‌گیرد و الگوی [JIM WENT HOME NIL] در بانک‌های لایهٔ خروجی ظاهر می‌شود. بنابراین یک RAAM می‌تواند به‌صورت اساسی به‌عنوان یک پشته عمل کند و هم لیست‌های ساده و هم درخت‌ها را در یک بردار ثابت‑عرض کدگذاری کند. برای مثال، Miikkulainen (در چاپ) از یک RAAM به‌عنوان پشته در یک CN توزیعی استفاده می‌کند که یاد می‌گیرد جملات نسبی تو در تو را تجزیه کند.

اگر یک حافظهٔ طولانی‌مدت برای ذخیرهٔ این الگوهای لایهٔ مخفی (مثلاً PAV1، PAV2) افزوده شود، شبکه‌های خود‑انطباقی می‌توانند گراف‌ها (یعنی ساختارهای بازگشتی با چرخه‌ها) را ذخیره کنند. برای مثال، Dyer et al. (1992) از معماری‌ای به نام DUAL استفاده کردند که شامل یک شبکهٔ PDP سه‑لایه (برچسب‌دار STM) و یک شبکهٔ رمزگذار خود‑انطباقی (برچسب‌دار LTM) است؛ لایهٔ مخفی LTM به همان طول لایه‌های ورودی/خروجی STM است و لایه‌های ورودی/خروجی LTM به طول تعداد وزن‌های تمام لایه‌های STM برابرند. DUAL برای کدگذاری یک شبکهٔ معنایی ساده (یعنی گرافی از گره‌ها و لینک‌های برچسب‌دار، با چرخه‌ها) به کار رفته است. برای مثال، هر گره به‌صورت چند جفت arc‑to‑node برچسب‌دار تعریف می‌شود:

JOHN: --LOVES--> MARY
--GENDER--> MALE
--JOB--> PROFESSOR
... ...

وزن‌های STM (از طریق یادگیری back‑propagation) تنظیم می‌شوند تا نقش‌ها را با مقادیر (مثلاً LOVES در لایهٔ ورودی و MARY در لایهٔ خروجی) مرتبط کنند. پس از یادگیری، تمام وزن‌های شبکهٔ STM به‌صورت یک بردار بزرگتر (مثلاً V‑JOHN) به لایه‌های ورودی/خروجی LTM منتقل می‌شوند که LTM آموزش می‌بیند تا آن را خود‑انطباقی کند. بنابراین LTM تمام شبکه‌های STM را ذخیره می‌کند. برای بازیابی وزن‌های STM مربوط به V‑JOHN، V‑JOHN را بر لایهٔ مخفی LTM قرار می‌دهیم؛ وزن‌های خروجی LTM سپس می‌توانند وزن‌های STM را بازنشانی کنند. برای بازیابی هر قطعه اطلاعاتی دربارهٔ JOHN، نقش مناسب (مثلاً JOB) را بر لایهٔ ورودی STM می‌گذاریم و مقدار (مثلاً PROFESSOR) بر لایهٔ خروجی ظاهر می‌شود.

حالا به کدگذاری چرخه‌ها می‌پردازیم. فرض کنید MARY دارای آرک‌های زیر باشد:

MARY: --LOVES--> JOHN
--GENDER--> FEMALE
--JOB--> DEAN

در اینجا یک چرخه وجود دارد زیرا هم [JOHN --LOVES--> MARY] و هم [MARY --LOVES--> JOHN] وجود دارند. برای آموزش STM به کدگذاری MARY، نقش‌های MARY را با مقادیر مناسب (مثلاً LOVES بر ورودی و V‑JOHN بر خروجی) مرتبط می‌کنیم. پس از آموزش، وزن‌های STM (مثلاً V‑MARY) تمام اطلاعات دربارهٔ MARY را کدگذاری می‌کند. اما وقتی شبکهٔ JOHN کدگذاری شد، V‑MARY هنوز به‌عنوان نمایندهٔ MARY وجود نداشت (فقط یک نمایندهٔ اولیه تصادفی وجود داشت). بنابراین باید شبکهٔ STM مربوط به JOHN را دوباره آموزش دهیم تا LOVES را به V‑MARY متصل کند. این چرخهٔ کدگذاری وزن‌های STM (که تمام ویژگی‌های JOHN را کدگذاری می‌کند) منجر به به‌روزرسانی وزن‌های STM (که حالا V‑JOHN1 نام دارد) می‌شود. در نتیجه کدگذاری MARY نیز باید تغییر کند (چون MARY اکنون به V‑JOHN1 متصل است، نه V‑JOHN). MARY نیز اکنون با یک بردار جدید (مثلاً V‑MARY1) بهتر نمایش داده می‌شود و این روند ادامه می‌یابد. با گذشت زمان، شبکه یک کدگذاری برای هر دو JOHN و MARY پیدا می‌کند زیرا نمایش‌های توزیعی آن‌ها در معماری DUAL به‌صورت مکرر بازگردانده می‌شوند. اگر دو گره N1 و N2 آرک‌های مشابهی داشته باشند، آن‌ها به‌صورت بردارهای بسیار مشابهی نمایش داده می‌شوند؛ این شباهت به تعمیم کمک می‌کند. برای مثال، اگر یک کشور C1 دارای n ویژگی باشد (مثلاً یکی از ویژگی‌ها [C1: --PRODUCES--> RICE] باشد) و کشور C2 n‑1 ویژگی مشابه داشته باشد (اما مشخص نیست آیا C2 برنج تولید می‌کند یا نه)، شباهت بردارهای ساخته‌شده برای C1 و C2 باعث می‌شود DUAL نتیجه بگیرد که C2 نیز برنج تولید می‌کند.

**۸. تشکیل حافظه‌های معنایی و رویدادی**
حافظهٔ رویدادی (Tulving 1972) شامل حوادث یا رویدادهای شخصی است و از حافظهٔ معنایی که شامل دانش عمومی جهان است متمایز می‌شود. در سیستم‌های نمادین، هر دو حافظهٔ معنایی و رویدادی از نمادها ساخته می‌شوند. مهندس دانش مجموعهٔ پایه‌ای نمادها را انتخاب می‌کند. حافظهٔ رویدادی سپس شامل نمونه‌سازی‌های نمادهای حافظهٔ معنایی می‌شود. برای مثال، حافظهٔ معنایی در سیستم BORIS (Dyer 1983) شامل یک ساختار INGEST در حافظهٔ معنایی بود. نمونه‌های خاص INGEST در حافظهٔ رویدادی به‌عنوان نتیجهٔ خواندن داستانی که شخصیت خاصی غذا یا مکان خاصی را می‌خورد یا می‌نوشد، فهرست می‌شد.

در CNهای محلی، حافظهٔ معنایی شامل یک شبکهٔ متصل از گره‌ها است که توسط مهندس دانش نیز مشخص می‌شود. شکل‌گیری حافظه‌های رویدادی در CNهای محلی مشکل‌ساز است، زیرا هر نمونهٔ پویا به‌صورت موقت توسط گره‌های معنایی با فعال‌سازی امضا (یا قفل فاز) نمایش داده می‌شود. این فعال‌سازی باید پیش از خواندن جملهٔ بعدی پاک شود. اما پس از آن، چگونه می‌توان نمونه‌های رویداد را برای بازیابی طولانی‌مدت ذخیره کرد؟ یک راه این است که گره‌ها و لینک‌های جدید ایجاد شوند، اما همان‌طور که پیشتر گفتیم، این رویکرد با محدودیت‌های پارادایم اتصال‌گرایی در تضاد است. بنابراین، هر نظریهٔ حافظهٔ رویدادی در CNهای محلی باید نظریه‌ای برای «جذب» گره‌ها و اتصالات پیش‌وجود داشته را برای تشکیل حافظه‌های جدید طولانی‌مدت ارائه دهد.

در CNهای توزیعی، شکل‌گیری حافظه‌های معنایی به‌صورت مستقیم انجام می‌شود. حافظهٔ معنایی در وزن‌های شبکه نمایان می‌شود. این وزن‌ها (مثلاً از طریق back‑propagation) برای بازتاب ویژگی‌های آماری ذاتی در داده‌های آموزشی تغییر می‌کنند. اما ذخیره‌سازی و بازیابی حوادث خاص مشکل‌ساز است، زیرا رویدادها بر روی یکدیگر در یک شبکهٔ اتصال‌گرای توزیعی قرار می‌گیرند (چون همان شبکه چندین نگاشت را انجام می‌دهد). این رویکرد تعمیم را پشتیبانی می‌کند اما بازیابی حوادث فردی را دشوار می‌سازد. تا به امروز، موفق‌ترین رویکرد برای مدل‌سازی حافظهٔ رویدادی استفاده از گسترش‌های Kohonen از نقشه‌های ویژگی خود‑سازمانده (Kohonen 1988) بوده است. یک نقشهٔ ویژگی شامل یک صفحهٔ دو‑بعدی از واحدهاست که هر واحد به‌صورت موازی همان بردار n‑بعدی را به‌عنوان ورودی بر وزن‌های خود دریافت می‌کند. واحدی که بیشترین فعال‌سازی را دارد، واحدهای همسایه‌اش را وادار می‌کند تا وزن‌های خود را طوری تغییر دهند که در آینده به آن ورودی بیشتر واکنش نشان دهند. نتیجهٔ این نوع یادگیری این است که ورودی‌های مشابه نواحی پیوسته‌ای را فعال می‌کنند. بنابراین، یک نقشهٔ ویژگی Kohonen داده‌های ورودی را در فضای ۲‑بعدی بدون نیاز به آموزش صریح (مانند back‑propagation) خوشه‌بندی یا خودسازمانده می‌کند. نقشه‌های ویژگی چند ویژگی مفید دارند، از جمله: (الف) رویدادهای مشابه در نواحی مشابه ذخیره می‌شوند و تعمیم را پشتیبانی می‌کنند؛ (ب) بردارهای متمایز به نواحی مختلف نگاشت می‌شوند و بنابراین بدون تداخل از حافظه‌های دیگر بازیابی می‌شوند؛ (ج) حافظه‌های اخیر بر روی دیگران قرار می‌گیرند و بنابراین به‌صورت اثر تازگی (recency) بهتر به یاد می‌آیند. انسان‌ها نیز این نوع اثر تازگی را نشان می‌دهند.

سیستم DISCERN (Miikkulainen 1993) یک گسترش برای DISPAR است که شامل یک ماژول پرسش‑و‑پاسخ است که یاد می‌گیرد رویدادهای منحصربه‌فرد را از یک حافظهٔ رویدادی بازیابی کند. حافظهٔ رویدادی شامل نقشه‌های ویژگی Kohonen است که در یک سلسله‌مراتب سه‑سطحی سازماندهی شده‌اند. در سطح بالایی، اسکریپت‌های مختلف (مثلاً رستوران، سفر، خرید) به‌صورت خودسازمانده بر روی نقشه قرار می‌گیرند. در سطح میانی، نقشه‌ها مسیرهای متمایزی را درون یک اسکریپت خاص (مثلاً برای رستوران‌ها مسیرهای fast‑food، cafeteria، رستوران شیک) خودسازمانده می‌کنند. در سطح پایین، پیوندهای منحصربه‌فرد (مثلاً در مسیر fast‑food، مشتری Joe و غذا steak) ذخیره می‌شوند. نقشه‌های سلسله‌مراتبی برای تسریع یادگیری به کار رفته‌اند، زیرا در حوزهٔ کاری Miikkulainen داده‌ها خود به‌صورت سلسله‌مراتبی هستند. گسترش دیگری که Miikkulainen اعمال کرد، تغییر نقشه‌های ویژگی به‌گونه‌ای بود که بتوانند پیوندها را ذخیره کنند. نقشه‌های Kohonen استاندارد صرفاً داده‌ها را دسته‌بندی می‌کنند. Miikkulainen نقشه‌های ویژگی سطح پایین را طوری تغییر داد که پیوندهای نقش در اتصالات جانبی (یعنی بین واحدهای نزدیک بر روی نقشه) رمزگذاری شوند.

این رویکرد چگونه با سیستم‌های نمادین مقایسه می‌شود؟ Kolodner (1984) یک مدل نمادین محاسباتی از حافظهٔ رویدادی انسان توسعه داد. سیستم او، CYRUS، جنبه‌های حافظهٔ رویدادی Cyrus Vance (زمانی که وزیر امور خارجه بود) را مدل‌سازی کرد؛ شامل سفرهای خارجی، نشست‌های سرنوشت‌ساز، مذاکرات پیمان و غیره. برخلاف نقشه‌های Kohonen که اندازهٔ ثابت برای هر نقشه و عمق سلسله‌مراتب ثابت دارند، حافظه‌های Kolodner شامل ساختارهای نمادین چند‑شاخصی با عمق دلخواه بودند. با این حال، نقشه‌های Kohonen توانایی رمزگذاری نواحی دقیق‌تر درون همان نقشه را دارند و می‌توانند ساختارهای سلسله‌مراتبی را رمزگذاری کنند.

Kolodner همچنین مجموعه‌ای پیچیده از هورستیک‌ها برای تولید خودکار سرنخ‌های بازیابی را مدل‌سازی کرد — یعنی برای جستجوی حافظه در مواردی که شاخص‌ها به‌صورت مستقیم وجود ندارند. برای مثال، CYRUS شاخصی برای «همسر‑ملاقات‑همسر» نداشت، اما هنوز می‌توانست زمان‌هایی را که همسر Vance با همسر Menachim Begin ملاقات کرده بود، به‌دست آورد با تولید سرنخ‌های ممکن (مثلاً سفرهای به اسرائیل که همسرها همراه بودند و مهمان‌خانه‌ها). چنین دانش متا‑سطحی (یعنی دربارهٔ چگونگی ایندکس‌گذاری حافظه) هنوز در مدل‌های اتصال‌گرای موجود نیست. این کمبود احتمالاً به دلیل نوپایی حوزهٔ NLP اتصال‌گرای است که تنها از اواخر دههٔ ۱۹۸۰ شروع به توسعه کرد. تا جایی که می‌دانم، مدل Miikkulainen اولین مدلی است که حتی سعی می‌کند حافظهٔ رویدادی را مدل‌سازی کند. مزیت رویکرد اتصال‌گرای این است که حافظهٔ حاصل ویژگی‌های شناخته‌شدهٔ اتصال‌گرایی را نشان می‌دهد؛ یعنی در برابر نویز/آسیب مقاوم است و بازیابی تداعی‌وار از نشانه‌های زیرنمادین فراهم می‌کند.

**۹. نقش حافظهٔ کاری**
علاوه بر حافظه‌های لغوی، معنایی و رویدادی، نیاز به حافظه‌ای با ظرفیت محدود اما سریع وجود دارد — جایی که ساختارهای میانی می‌توانند ساخته و دستکاری شوند. برای مثال، در سیستم تولیدی (DCPS) توزیعی توتوِرتسکی و هینتون (1988)، یک حافظهٔ کاری کدگذاری‑درشت (Rumelhart و McClelland 1986) برای ذخیره‌سازی مجموعه‌ای از سه‌تایی‌ها استفاده می‌شود. سپس قوانین تولید «متطابق» (از طریق انتشار فعال‌سازی) می‌شوند تا تعیین کنند کدام قانون بعدی باید اجرا شود. در پیاده‌سازی اتصال‌گرای بارندن از مدل استدلال سیلوژستیک Johnson‑Laird (Barnden 1991; در چاپ; Barnden و Srinivas 1991; Johnson‑Laird 1983) یک مؤلفهٔ مرکزی حافظهٔ کاری اتصال‌گرای (به نام Conpost) است که نمونه‌های پیش‌فرض (نمایانگر اشیاء، رویدادها و غیره) می‌توانند به‌سرعت نمایش داده شوند و به‌یکدیگر پیوند داده شوند. روش انجام این پیوند سریع منحصربه‌فرد است. بارندن از رویکردی منحصربه‌فرد برای نمایش پیوندهای گذرا به نام Relative‑Position Encoding استفاده می‌کند. حافظهٔ کاری Conpost شامل یک ماتریس دو‑بعدی است که هر سلول آن شامل یک زیرشبکهٔ پیچیده با تعدادی عملیات است. یکی از این عملیات‌ها تشخیص پیکربندی‌های الگوهای فعال‌سازی در سلول‌های همسایه است. چنین عملیاتی به نمادها (نمایانده شده به‌صورت الگوهای فعال‌سازی در یک سلول) اجازه می‌دهد تنها با قرارگیری در یکی از ۸ سلول مجاور به‌صورت پیوند شوند. این ناحیهٔ ۸‑سلولی حداکثر تعداد نمادهایی را که می‌توان در یک ساختار واحد پیوند داد محدود می‌کند، بنابراین بارندن از یک مکانیزم پیوند دیگر به نام Pattern Similarity Association استفاده می‌کند؛ یعنی ساختارها اگر نمادهای مشترکی داشته باشند، به‌یکدیگر پیوند می‌شوند. هر سلول ماتریس بسیار پیچیده است و می‌تواند عملیات‌های متعددی انجام دهد. بارندن استدلال می‌کند که چنین پیچیدگی‌ای برای مدل‌سازی استدلال سیلوژستیک انسانی لازم است.

یک وضعیت دیگر که به حافظهٔ کاری نیاز دارد، پیوند دینامیک ساختارهای بازگشتی است. برای مثال، در تجزیه مؤثر جملات نسبی تو در تو، Miikkulainen (این جلد) از یک RAAM به‌عنوان پشته استفاده می‌کند تا به‌درستی جملات را به‌عنوان بردارهای نقش‑قضیه فشار‑آورده (push/pop) کند.

**۱۰. مسیردهی و کنترل**
هر دو CNهای محلی و چند‑ماژولی توزیعی به روش‌هایی برای کنترل توالی عملیات و مسیردهی اطلاعات بین ماژول‌های مختلف نیاز دارند. شبکه‌های محلی باید کنترل کنند که امضاها از چه مسیرهایی عبور کنند. برای مثال، در سیستم ROBIN (Lange و Dyer 1989; Lange در چاپ) گره‌هایی وجود دارند که اتصالاتشان برای کنترل یا گیت کردن اتصالات بین گره‌های دیگر عمل می‌کند. اگر ROBIN ورودی «John inhaled the pot» را دریافت کند، فعال‌سازی به معنای «flower‑pot» کلمهٔ «pot» به‌طور کلی پخش نمی‌شود، زیرا گره‌های گیت فقط امضاهای داخل یک مجموعهٔ خاص (در این مورد، انواع مختلف گازها) را عبور می‌دهند. بنابراین، گیتینگ مقدار انتشار فعال‌سازی را به‌طور قابل‌توجهی کاهش می‌دهد و محدودیت‌های نحوی و معنایی را بر انتشار استنتاج اعمال می‌کند.

در اکثر CNهای توزیعی، فرآیندهای کنترل به‌صورت رویه‌ای مشخص می‌شوند. برای مثال، در DISCERN تمام مسیردهی الگوها بین ماژول‌ها و کنترل زمان اجرای ماژول‌ها (در هر دو مرحلهٔ یادگیری و اجرا) توسط رویه‌های تعریف‌شده توسط طراح مشخص می‌شود.

Miikkulainen (در چاپ) نشان داده است که کنترل می‌تواند به‌صورت خودکار یاد گرفته شود. مدل SPEC او، که برای تجزیه جملات نسبی تو در تو طراحی شده است، شامل ۳ ماژول است: (الف) یک SRN که جمله‌ای با جملات تو در تو را به‌عنوان ورودی می‌گیرد، (ب) یک RAAM (که به‌عنوان پشته عمل می‌کند) و (ج) یک شبکهٔ PDP سه‑لایه که Segmenter نام دارد. وظیفهٔ Segmenter تعیین زمان فشار یا کشیدن پشته است، بر پایهٔ وضعیت فعلی تجزیه (یعنی مواجهه با مرزهای جمله برای شاخه‑راست، شاخه‑چپ یا جملات تو در تو میانی). کار Miikkulainen نشان می‌دهد که معماری‌های اتصال‌گرای توزیعی می‌توانند برای کنترل عملیات خود آموزش ببینند به‌جای این‌که یک رویهٔ سطح‑بالا، غیر‑اتصال‌گرایانه به کار گرفته شود.

در رابطه با تمام CNها می‌توان «طیف دانه‌بندی» (granularity spectrum) را تصور کرد. در یک سرِ این طیف، CNهای محلی خالص هستند که ممکن است هزاران/میلیون‌ها گره داشته باشند که هر کدام یک نوع یا نمونهٔ خاص را نمایان می‌کنند. در اینجا هر گره منفرد یک ماژول است؛ اندازهٔ دانه بسیار کوچک است و تعداد ماژول‌ها بسیار زیاد است. در سرِ دیگر این طیف، یک SRN واحد وجود دارد که هر لایهٔ آن یک بردار بسیار عریض است. در اینجا دانه‌بندی بسیار درشت است؛ تنها یک ماژول (شامل ۳ لایه با یک مجموعهٔ اتصالات بازگشتی) وجود دارد. مشکلات سرِ محلی عبارتند از: (الف) انفجار ترکیبی گره‌ها برای نمایش دانش جهان (مثلاً مشکل نمایش تمام زوایای بصری ممکن و سایر اطلاعات مربوط به مادربزرگ شما توسط «نورون‌های مادربزرگ» جداگانه)؛ (ب) دشواری ادغام یادگیری؛ (ج) جذب نورون‌ها/اتصالات برای تشکیل حافظه‌های طولانی‌مدت به‌صورت پویا. مشکلات سرِ دیگر (یعنی SRN واحد) عبارتند از: (الف) یادگیری تنظیم وزن‌ها (به‌ویژه برای انجام وظایف پیچیده شامل زبان و استدلال سطح بالا) زمان‌بر خواهد بود؛ (ب) تمام مغزها نشان می‌دهند که مدارهای تخصصی و ماژولار دارند (حتی اگر ماژول‌ها به‌صورت شدیداً همپوشانی باشند). Miikkulainen و Dyer (1990) نشان دادند که تقسیم کار داستان پارافرِز به ۴ ماژول (هر کدام به‌صورت مستقل آموزش می‌بینند اما از طریق یک واژگان مشترک ارتباط برقرار می‌کنند) زمان کلی آموزش را به‌طور چشمگیری کاهش می‌دهد. این رویکرد واضحاً یک تقسیم و تسخیر است. اما ماژول‌های DISPAR و DISCERN هنوز بسیار نزدیک به سرِ تک‑ماژول هستند، زیرا کمتر از یک‌دوجین ماژول نسبتا بزرگ دارند. آیا می‌توانیم معماری‌هایی را تصور کنیم که ماژول‌های آن‌ها از DISCERN ریزتر باشند، شاید صدها یا چند هزار، اما هنوز کمتر از تعداد گره‌های سرِ محلی؟ این سطح دانه‌بندی بیشتر با نحوهٔ سازماندهی مغز همخوانی دارد.

سیستم DCAIN (Sumida 1991; Sumida و Dyer 1989, 1992) در این ناحیهٔ طیف قرار دارد. این یک CN توزیعی است که شامل (احتمالاً صدها) انسامبل‌های واحدهاست. سازماندهی کلی بین انسامبل‌ها شبیه یک شبکهٔ معنایی است؛ بنابراین این شبکه‌ها به‌عنوان Parallel Distributed Semantic (PDS) networks نامیده می‌شوند. هر انسامبل به انسامبل‌های دیگر از طریق اتصالات تطبیقی متعدد متصل می‌شود که خود تحت کنترل انسامبل‌های مسیردهی قابل یادگیری به نام propagation filters (شکل 3) هستند.

**شکل 3. ترتیب فیلترهای انتشار.** یک الگو (خطوط نامنظم) بر روی انسامبل selector باعث می‌شود یک انسامبل filter بالای آستانه برود و اجازه دهد الگو از source1 به destination1 مسیردهی شود در حالی که انتشار الگوهای دیگر مسدود می‌شود. پیکان‌ها نشان‌دهندهٔ اتصال کامل هستند.

یک propagation filter شامل یک انسامبل selector از واحدها و یک انسامبل filter است. وقتی یک الگوی فعال‌سازی خاص بر روی انسامبل selector رخ می‌دهد، تمام واحدهای گروه filter بالای آستانه رانده می‌شوند، که این امکان را می‌دهد یک بردار فعال‌سازی از یک انسامبل منبع به یک انسامبل مقصد (از طریق چندین اتصال) مسیردهی شود.

در DCAIN، هر نوع اطلاعات معنایی یا نحوی به‌صورت یک انسامبل از واحدهای اتصال‌گرای نمایش داده می‌شود. هر انسامبل به انسامبل‌های دیگر بر پایهٔ روابط معنایی/نحوی بین انواع متصل است. برای مثال، پیش‌فرض‌های BUYS و OWN و نقش‌هایشان هر کدام به‌صورت یک انسامبل متمایز نمایش داده می‌شوند. برای نمایش این استنتاج که [x BUYS y ⟹ x OWNS y]، نقش‌های انسامبل BUYS به نقش‌های مناسب انسامبل OWNS متصل می‌شوند. بنابراین، در سطح انسامبل، شبکه‌های PDS اصول سازماندهی مشابه شبکه‌های محلی دارند. اما گره‌های نمونه جداگانه‌ای وجود ندارند. به‌جای آن، هر نمونهٔ یک نوع (مثلاً BUYS1 — مثلاً «John bought a TV from Sears») به‌صورت یک الگوی فعال‌سازی خاص درون انسامبل BUYS نمایش داده می‌شود. بنابراین، تعداد نمایی از نمونه‌ها می‌توانند ذخیره شوند و مشکل جذب گره (حداقل برای نمایش نمونه‌ها) پیش نمی‌آید. رابطه بین یک انسامبل پیش‌فرض و انسامبل‌های نقش آن شبیه یک شبکهٔ رمزگذار خود‑انطباقی است؛ یعنی اتصالاتی از انسامبل نقش به انسامبل پیش‌فرض و بالعکس وجود دارد که به‌صورت دینامیک (در طول یادگیری) تغییر می‌کند تا الگوی فعال‌سازی بر روی انسامبل پیش‌فرض باعث بازسازی انسامبل‌های نقش صحیح شود و بالعکس. برای مثال، اگر الگوی BUYS1 در انسامبل BUYS قرار گیرد، آن الگو باعث می‌شود انسامبل‌های نقش با تکمیل الگو مقادیر زیر را بازسازی کنند: BUYER = John و FROM = Sears. بنابراین، برخلاف CNهای محلی (که روابط بین مقادیر نقش و نمونه‌های پیش‌فرض به‌صورت دستی مشخص می‌شود)، شبکه‌های PDS این رابطه را می‌آموزند. همچنین، شبکه‌های PDS می‌توانند بیش از یک نوع را در یک انسامبل ذخیره کنند. برای مثال، BUYS می‌تواند یک الگوی فعال‌سازی در یک انسامبل ACT باشد، در حالی که OWNS ممکن است یک الگوی فعال‌سازی در یک انسامبل STATE کلی‌تر باشد. بنابراین، انسامبل ACT می‌تواند سایر اعمال (به‌جز خرید) را نیز نگه دارد و انسامبل STATE می‌تواند سایر حالات (به‌جز حالت OWN) را نیز نگه دارد. دسته‌بندی‌های نحوی (مثلاً SUBJECT، DIRECT‑OBJECT) نیز به‌صورت انسامبل‌ها نمایش داده می‌شوند و تجزیهٔ تحلیلی که مثلاً John موضوع یک جمله است، با انتشار الگوی John به انسامبل SUBJECT نمایش داده می‌شود. روابط بین قطعات دانش نحوی و معنایی به‌صورت propagation filters نمایش داده می‌شوند که تعیین می‌کنند الگوها چگونه بین انسامبل‌ها مسیردهی شوند. شکل 4 تجزیهٔ نحوی/معنایی یک جملهٔ ساده (به‌صورت [SUBJECT, VERB, D‑OBJECT]) را نشان می‌دهد.

در شکل 4، الگوی «boy» خود مسیردهی خود را کنترل می‌کند؛ یعنی باعث می‌شود به انسامبل humans (در مقابل animals) مسیردهی شود. الگوی در انسامبل humans فقط پس از این که الگوی مناسب عبارت اسمی در انسامبل NP ظاهر شود، می‌تواند به انسامبل subj مسیردهی شود. الگوی صحیح در انسامبل NP باعث می‌شود الگوهای «the» و «boy» در انسامبل‌های DET و N بازسازی شوند. الگوی صحیح در انسامبل Basic‑S باعث می‌شود نقش‌های مناسب آن (در این مورد، subj = boy، verb = hit، dir‑obj = dog) در انسامبل‌های نقش خود بازسازی شوند. وقتی «the cat» ورودی می‌شود، الگوهای موجود در انسامبل‌های NP و verb باعث می‌شود «cat» به dir‑obj (نه به subj) مسیردهی شود؛ این بخش از تجزیه در شکل نشان داده نشده است. توجه داشته باشید که هر شبکهٔ پیش‌فرض/نقش یک encoder network و گروه selector/filter آموزش دیده‌اند تا کار بازسازی (یا مسیردهی) خود را انجام دهند.

**شکل 4. بخشی از یک شبکهٔ PDS ساده‌شده که برخی از تعاملات بین عناصر نحوی و معنایی را هنگام تجزیهٔ عبارت «the boy» از جمله «The boy hit the cat» نشان می‌دهد. فیلترهای مسیردهی دایره‌های کوچک با رنگ سیاه هستند که فیلترهایی را نشان می‌دهند که اجازه می‌دهند الگوها مسیردهی شوند. پیکان‌های دو‑طرفه بین انسامبل‌های پیش‌فرض و نقش (بیضی‌ها) نشان‌دهندهٔ شبکه‌های رمزگذار خود‑انطباقی هستند، به‌طوری که یک پیش‌فرض به‌عنوان لایهٔ مخفی عمل می‌کند و نقش‌ها به‌عنوان لایه‌های ورودی و خروجی (یعنی لایهٔ خروجی «تا» لایهٔ ورودی تا می‌شود). خطوط نقطه‌دار از انسامبل‌هایی (که به‌عنوان selector عمل می‌کنند) به فیلترها هستند.**

کلمهٔ «hit» بسته به زمینه معانی متفاوتی دارد. برای مثال، می‌تواند به معنای «نواختن» باشد، همان‌طور که در «The boy hit the note.» می‌شود. شکل 5 نشان می‌دهد چگونه فیلترها پیوندهای نقش را بر پایهٔ زمینه‌ای که «hit» در آن ظاهر می‌شود، مسیردهی می‌کنند.

**شکل 5. مسیردهی مبتنی بر الگو برای انجام رفع ابهام کلمه. الگوی boy‑hit‑cat که بر انسامبل basic‑s ظاهر می‌شود، یک فیلتر را باز می‌کند و موضوع جمله را به نقش actor انسامبل hit مسیردهی می‌کند.**

شبکه‌های PDS بسیاری از مزایای هر دو CNهای محلی و توزیعی را حفظ می‌کنند. آموزش شبکه‌های PDS سریع‌تر از آموزش معماری‌های توزیعی با تنها یک (یا چند) ماژول است، زیرا هر زیرشبکهٔ PDS کوچک است و می‌تواند به‌صورت مستقل آموزش ببیند. به‌طور کلی، ماژول‌های بیشتر با اندازهٔ کوچکتر منجر به آموزش کلی سریع‌تر می‌شوند وقتی بر روی یک معماری موازی پیاده‌سازی شوند. چون ماژول‌های زیادی در مکان‌های جداگانه وجود دارند، می‌توان مسیرهای استنتاج متفاوت را به‌صورت موازی در سطح دانش دنبال کرد. نمونه‌های جدید می‌توانند به‌صورت پویا با تشکیل الگوهای جدید بر روی انسامبل‌های موجود ایجاد شوند. چون انسامبل‌های نقش به انسامبل‌های پیش‌فرض (نوع) به‌صورت شبکه‌های رمزگذار متصل هستند، توانایی تکمیل الگو (یعنی نقش‌ها بازسازی پیش‌فرض نمونه یا پیش‌فرض نمونه بازسازی نقش‌ها) و تعمیم به الگوهای مرتبط را دارند. به‌دلیل تکمیل الگو، شبکه‌های PDS می‌توانند پیوندهای ساختاری را گسترش دهند — یعنی یک الگو که بر یک انسامبل نوع قرار می‌گیرد، بازسازی تمام پیوندهای نقش آن را در انسامبل‌های نقش مرتبط ایجاد می‌کند. این نقش‌ها سپس می‌توانند به انسامبل‌های پیش‌فرض دیگر مسیردهی شوند، که به نوبهٔ خود نقش‌های آن‌ها را بازسازی می‌کند و به همین ترتیب. اگر تنها یک انسامبل برای یک پیش‌فرض خاص وجود داشته باشد، تنها یک نمونه (مثلاً تنها TELL1 یا TELL2، نه هر دو) می‌تواند همزمان فعال باشد. اما می‌توان این نمونه‌ها را در طول زمان توالی‌بندی کرد (مثلاً ابتدا انسامبل N را با «boy» پر می‌کنیم و سپس بعداً با «cat» در جمله «The boy hit the cat»). این توالی‌بندی توسط propagation filters کنترل می‌شود. در نهایت، چون گروه‌های پیش‌فرض/نقش از طریق مثال آموزش می‌بینند تا به‌عنوان encoder networks عمل کنند، آن‌ها قواعد آماری را از داده‌های آموزشی استخراج می‌کنند. نمایش‌های توزیعی آن‌ها همچنین اجازه می‌دهد در برابر نویز و/یا آسیب مقاوم باشند؛ زیرا از دست رفتن یک واحد در یک انسامبل فقط عملکرد آن را کاهش می‌دهد، نه از بین می‌برد. علاوه بر این، شبکه‌های PDS در ناحیه‌ای از «طیف دانه‌بندی» قرار دارند که به‌نظر نزدیک‌تر به ساختار مغز است (یعنی نه کاملاً محلی و نه فقط چند ماژول توزیعی).

**۱۱. پایه‌گذاری زبان در ادراک**
اگرچه زبان به مفاهیم بسیار انتزاعی و سایر اشکال دانش متکی است و آن‌ها را دستکاری می‌کند، به‌نظر می‌رسد که کودکان معنای زبانی اولیه را با ارتباط عبارات گفتاری (مثلاً از مراقبان بزرگسال) با تجارب حسی/حرکتی جاری به‌دست می‌آورند. به‌عنوان مثال، یک معنی از کلمهٔ «passing» را در نظر بگیرید. پس از این‌که کودک اشیاء ساده را از طریق ارتباط گفتاری/بصری (مثلاً «ball»، «car»، «dog») یاد گرفت، می‌تواند معنی «passes» (مثلاً در «the car passes the dog») را با همزمان مشاهدهٔ یک ماشین که از پشت سگ در حال دویدن می‌آید، پیشی می‌گیرد و هر دو در همان جهت حرکت می‌کنند، یاد بگیرد. همزمان کودک عبارت «car passes dog» (یا در مورد کودکان ناشنوا، یک توالی حرکتی به‌عنوان ورودی بصری) می‌شنود. با مشاهدهٔ اشیاء با اندازه/شکل/رنگ مختلف که یکدیگر را می‌گذرانند، کودک می‌تواند یک نمایش مبتنی بر ادراک از کلمهٔ «passes» شکل دهد. واضح نیست که یک نمایش نمادین پیشنهادی چه باشد. به‌نظر می‌رسد بخش عمده‌ای از معنی «passes» شامل یک تجربهٔ بصری-زمانی کلی است. این نمایش مبتنی بر ادراک می‌تواند سپس به‌عنوان پایه‌ای برای نمایش‌های انتزاعی‌تر (مانند «passes» به معنای برتری در مهارت شناختی مانند شطرنج یا «passes» یک آزمون) عمل کند.

کار نگاشت نمادهای انتزاعی زبان به/از تجارب حسی/حرکتی به‌صورت مختلفی نامیده شده است: «مسئلهٔ پایه‌گذاری نماد» (Harnad 1990)، «کارآیی یادگیری زبان L0» (Feldman et al. 1990) یا «کارآیی یادگیری زبان مبتنی بر ادراک» (Nenov 1991; Dyer و Nenov 1993). این کار توسط چندین پژوهشگر اتصال‌گرای مورد بررسی قرار گرفته است.

Regier (1992) یک شبکهٔ اتصال‌گرای توسعه داد که معانی عبارات را با ارتباط آن‌ها با دو شیء ساده (یکی یک نشانه ثابت و دیگری یک شیء متحرک نسبت به آن در یک میکرو‑دنیای ۲‑بعدی) می‌آموزد. این پژوهش بخشی از پروژهٔ L0 است که توسط Feldman (Feldman et al., 1990) در مؤسسهٔ بین‌المللی علوم کامپیوتر در برکلی، کالیفرنیا رهبری می‌شود. هدف بلندمدت پروژه L0 کسب زبان از طریق ارتباط با ادراک است. معماری برای استخراج ویژگی‌های شیء (مثلاً مرکز جرم و جهت محور اصلی) و ویژگی‌های فضایی (مثلاً زاویهٔ نسبی، جهت و فاصلهٔ شیء متحرک نسبت به نشانه) طراحی شده است. این ویژگی‌های فضایی توسط ماژول‌های غیر‑عصبی (پروسیجرال) استخراج می‌شوند. نمایش‌های حاصل شامل هر دو بردار ویژگی و نقشه‌های ویژگی ۲‑بعدی هستند. نقشه‌های ویژگی برای تولید توصیف‌های توالی حرکتی بر لایهٔ خروجی آموزش می‌بینند. روش یادگیری یک نوعی از back‑propagation است که در آن هر نمونهٔ مثبت (در طول آموزش) برای یک مفهوم فضایی خاص، شواهد منفی ضعیفی برای تمام روابط فضایی دیگر که در حال یادگیری هستند، فراهم می‌کند. Regier استدلال می‌کند که این اصلاح به سیستم اجازه می‌دهد تنها از مثال‌های مثبت یاد بگیرد. او اشاره می‌کند که در داده‌های اکتسابی کودک، کودکان ظاهراً بدون شواهد منفی زبان را می‌آموزند (Pinker 1989). سیستم Regier شامل ماژول‌های مستقل و جداگانه‌ای است که هر کدام اتصال و پارامترهای یادگیری/فعال‌سازی متفاوتی دارند.

سیستم DETE (Dyer و Nenov 1993; Nenov و Dyer در چاپ‑a, b, c) نیز معانی توالی‌های کلمه‌ای را از طریق ارتباط با اشیاء متحرک ساده می‌آموزد. میکرو‑دنیای DETE (به نام Blobs World) شامل یک صفحهٔ بصری شبیه‌سازی‌شده (64×64 «پیکسل») با حداکثر پنج «blob» دو‑بعدی، همگن، تک‌رنگ (و ممکن است پر‑نویز) با اشکال مختلف (مثلاً مستطیل، دایره، مثلث) است. در طول یادگیری، DETE همچنین یک توالی کلامی شبیه‌سازی‌شده که توالی بصری را توصیف می‌کند، دریافت می‌کند. توالی‌های حرکتی نیز می‌توانند ورودی شوند که به DETE می‌گویند چگونه حرکت کند یا زوم‑این/آوت کند چشمِ تک‑یِ خود را. DETE همچنین یک «FINGER» دارد که می‌تواند به blobها لمس یا فشار دهد. پس از یادگیری، DETE دو وظیفه انجام می‌دهد: (الف) ارتباط کلامی‑به‑بصری/حرکتی — با دریافت یک توالی کلامی، DETE توالی بصری/حرکتی توصیف‌شده را تولید می‌کند؛ (ب) ارتباط بصری/حرکتی‑به‑کلامی — با دریافت یک توالی بصری/حرکتی، DETE توصیف کلامی آن را تولید می‌کند.

نسخهٔ فعلی DETE یک مدل موازی‑بسیار‑بزرگ است که شامل بیش از یک میلیون پردازشگر مجازی است و بر روی یک Connection Machine CM‑2 با ۱۶ هزار پردازشگر اجرا می‌شود. ماژول‌های رابط (یعنی آن‌که ورودی بصری/کلامی شبیه‌سازی‌شده را به زیرسیستم‌های یادگیری/حافظه نگاشت می‌کنند) به‌صورت موازی، پردازش‑آری (غیر‑عصبی) هستند، در حالی که ماژول‌های پردازش/حافظه داخلی به‌صورت شبکه‌های عصبی ساختار‑پیدا (به نام katamic memory) مدل‌سازی می‌شوند که هر کدام از عناصر عصبی نوآورانه‌ای تشکیل شده‌اند.

مانند یک کودک، DETE باید به‌صورت تدریجی آموزش ببیند. در یک سری آزمایش‌های یادگیری، ابتدا به DETE نام‌های blobها را با ارائهٔ صحنه‌های blob با شکل واحد، اما با رنگ‌ها، اندازه‌ها، مکان‌ها و حرکات مختلف آموزش دادند. در نتیجه DETE آنچه ثابت است (یعنی شکل) را استخراج کرد و قوی‌ترین ارتباط‌ها بین ورودی کلامی (مثلاً «circle») و نمایش‌های داخلی برای اندازه، شکل و غیره را شکل داد. سپس DETE معانی کلمات مربوط به رنگ، اندازه و مکان نسبت به مرکز صفحهٔ بصری (مثلاً «above»، «right»، «in_center»، «far») را یاد گرفت. سپس DETE کلمات تک برای اعمال/رویدادها را یاد گرفت؛ این کلمات شامل: «moves»، «accelerates»، «turns»، «bounces» و «shrinks» (یعنی تغییر در اندازهٔ blob) بودند. پس از یادگیری این کلمات، DETE با ارائهٔ ورودی کلامی فقط، توانست با تولید نمایش‌های داخلی این رفتار بصری را نشان دهد. توانایی نحوی DETE در حال حاضر به استخراج ترتیب ترجیحی کلمات (مثلاً اینکه عبارات اندازه قبل از عبارات رنگ می‌آیند) محدود است و پیچیده‌ترین جملاتی که یاد گرفته‌اند، از نوع: «big red ball moves diagonally down … bounces … moves diagonally up.» هستند.

در DETE تمام ورودی بصری/حرکتی توسط روتین‌های رابط غیر‑عصبی به نواحی فعال نورون‌ها در یک مجموعهٔ Feature Planes (FPها) نگاشت می‌شود. ۵ FP بصری عبارتند از: Shape (SFP)، siZe (ZFP)، Color (CFP)، Location (LFP) و Motion (MFP). هر FP از یک آرایهٔ ۲‑بعدی ۱۶×۱۶ (۲۵۶) نورون تشکیل شده است. نواحی فعال مختلف در یک FP مقادیر مختلفی برای آن ویژگی را نشان می‌دهند. یک نورون فعال، به‌صورت دوره‌ای (با خروجی ۱) می‌سوزد و بقیه زمان ساکت است (خروجی ۰). FPها یا یک چیدمان رستری‑خطی یا توپوگرافیک دارند. برای مثال، LFP و MFP توپوگرافیک هستند. اگر یک blob در گوشهٔ پایین‑راست صفحهٔ بصری باشد، موقعیت آن توسط ناحیه‌ای از نورون‌های فعال در گوشهٔ پایین‑راست LFP نمایش داده می‌شود. در MFP، سرعت یک blob توسط فاصلهٔ آن از مرکز نمایش داده می‌شود؛ اشیاء ساکن در مرکز و اشیاء سریع‌تر به سمت حاشیه. همچنین FPهایی برای دینامیک‌های FINGER و EYE وجود دارد. شکل 6 یک توالی ساده از تصاویر بر روی VS و نمایش‌های بصری که بر روی زیرمجموعه‌ای از FPها تولید می‌شوند را نشان می‌دهد.

**شکل 6. صفحهٔ بصری (VS) و مکان (LFP)، حرکت (MFP)، اندازه (ZFP) و شکل (SFP) Feature Planes (رنگ، FPهای FINGER و EYE نشان داده نشده‌اند). سه blob در حال حرکت بر روی VS هستند. blob بیضی شکل به‌سمت چپ حرکت می‌کند؛ مربع در حال بزرگ شدن است و مثلث به‌صورت مورب به سمت راست حرکت می‌کند. همان‌طور که blobها بر روی VS حرکت/تغییر می‌کنند، نواحی فعال آن‌ها بر روی FPها به‌روز می‌شود. بافت مشابه نواحی فعال (مربعات کوچک) نشان می‌دهد که این نواحی در فاز هم‌زمان می‌سوزند.**

DETE از قفل فاز برای حل «مسئلهٔ پیوند ویژگی» استفاده می‌کند. برای مثال، اگر هم‌زمان یک ناحیهٔ بزرگ‑اندازه و یک ناحیهٔ کوچک‑اندازه در FP اندازه فعال باشند و همچنین هم‌زمان یک ناحیهٔ مربع‑شکل و یک ناحیهٔ دایره‑شکل در FP شکل فعال باشند، چگونه DETE تشخیص می‌دهد که چه چیزی نمایش داده می‌شود: (الف) یک دایرهٔ کوچک و یک مربع بزرگ یا (ب) یک مربع کوچک و یک دایره بزرگ؟ DETE این مسئلهٔ پیوند ویژگی را با تقسیم چرخهٔ پایهٔ پردازش به فازها و اختصاص فاز متمایز به هر blob حل می‌کند. بنابراین، اگر یک دایرهٔ کوچک و یک مربع بزرگ در VS باشد، ناحیهٔ کوچک فعال و ناحیهٔ دایره‌ای فعال هر دو با همان فاز می‌سوزند. این تفاوت فازی به‌صورت تصویری در شکل 6 به‌عنوان بافت‌های متمایز نشان داده شده است (با نواحی فعال برای همان blob که همان بافت را در تمام FPها دارند). هر زمان DETE به یک blob خاص با EYE نگاه می‌کند، همان فاز را به EYE اختصاص می‌دهد. این پیوند موقتی مبتنی بر زمان اطمینان می‌دهد که DETE فقط یاد می‌گیرد ورودی‌های کلامی را با توالی‌های بصری آن blobهایی که به آن توجه می‌کند، ارتباط دهد. استفاده از چندین شیء نیازمند این است که DETE مسئلهٔ توجه را حل کند. در مقابل، مدل Regier تنها یک شیء متحرک دارد، بنابراین نیازی به حل این مشکل پیوند ویژگی ندارد.

Feature Planes به‌عنوان سازه‌های نمایشی به‌دلیل سه دلیل زیر به کار رفته‌اند: (۱) پشتیبانی نوروفیزیولوژیکی و نوروسایکولوژیکی: FPها تقریباً با مطالعات شناخته‌شدهٔ نوروفیزیولوژیکی و نوروسایکولوژیکی (Kandel 1985) که نشان می‌دهند نقشه‌های توپوگرافیک وجود دارند و شکل، موقعیت و غیره در نواحی مختلف مغز پردازش می‌شوند و سپس بازیکن می‌شوند، هم‌راستا هستند. (۲) نمایهٔ فضایی مشابه: چیدمان‌های توپوگرافیک یک آنالوگ ساده اما مستقیم برای ویژگی‌های فضایی فراهم می‌کنند و بنابراین نمایش فضا و حرکت را آسان می‌سازند. برای مثال، یک کلمه مانند «up» می‌تواند توسط فعالیت در هر نقطه‌ای از ناحیهٔ بالایی Feature Plane مکان نمایش داده شود. یک کلمه مانند «moves» می‌تواند توسط فعالیت در هر نقطه‌ای دور از مرکز MFP نمایش داده شود و جهت‌های حرکتی مانند «diagonal» می‌توانند به‌سادگی توسط فعالیت در هر نقطه‌ای از نواحی مورب MFP نمایش داده شوند. FPها همچنین از تعمیم نرم پشتیبانی می‌کنند. اگر یک شیء نزدیک به مرکز MFP به‌صورت آهسته حرکت کند، اشیائی که نزدیک به آن قرار دارند تمایل دارند با سرعت/جهت مشابهی حرکت کنند. (۳) قابلیت یادگیری ترکیبی و تعمیم: روابط و حرکات blobها می‌توانند به‌صورت یک الگوی فعالیت توزیعی بر روی تمام FPها که به‌صورت متوالی در زمان تغییر می‌کند، نمایش داده شوند. برای مثال، کلمهٔ «accelerate» می‌تواند به‌صورت یک توالی از نواحی فعال در حال تغییر از مرکز MFP به سمت حاشیه نمایش داده و یاد گرفته شود. استفاده از FPهای جداگانه/مستقل همچنین تعمیم فوری به ترکیب‌های جدید کلمات شناخته‌شده را پشتیبانی می‌کند. برای مثال، اگر «pasta» نمایش مشابهی با «spaghetti» داشته باشد، یک شبکهٔ اتصال‌گرای توزیعی که بر «John ate the spaghetti» آموزش دیده است، به‌طور خودکار «John ate the pasta» را به‌درستی پردازش می‌کند حتی اگر هرگز بر این ورودی خاص آموزش ندیده باشد.

هر توالی الگو (یعنی چندین ناحیهٔ فعال، تغییر‌کننده بر یک FP دو‑بعدی خاص) به‌عنوان ورودی به یک Feature Memory (FM) مربوطه تغذیه می‌شود. هر FM شامل یک حافظهٔ katamic است که از یک آرایهٔ دو‑بعدی از عناصر عصبی نوآورانه به نام predictrons و recognitrons تشکیل شده است. Predictrons یاد می‌گیرند تا ورودی بعدی را پیش‌بینی کنند و recognitrons خروجی همسایگان خود را نمونه‌برداری می‌کنند. برای هر سلول یک FP خاص، یک predictron/recognitron متناظر در FM مربوطه وجود دارد. هر predictron شامل یک دنبالهٔ خطی از بخش‌های دندری (DCها) است که اطلاعات را به‌صورت خط لوله‌ای به سمت بدنه (سومای) predictron منتقل می‌کند. بنابراین، هر predictron به‌عنوان یک خط تأخیر زمانی عمل می‌کند. این ویژگی جابه‌جایی تا حدودی مشابه شبکه‌های عصبی تأخیر‑زمانی (TDNN) (Waibel 1989) است. علاوه بر این، هر predictron اطلاعات را به‌صورت فضایی (یعنی از predictronهای همسایه) و زمانی (یعنی از مراحل قبلی در خط لولهٔ DCهای predictronهای دیگر) نمونه‌برداری می‌کند. حافظهٔ katamic هر دو قابلیت پردازش و یادگیری نوآورانه دارد. شکل 7 یک تصویر ساده‌شده از حافظهٔ katamic را نشان می‌دهد.

**شکل 7. حافظهٔ katamic (ساده‌شده) با تنها سه predictron (P)، recognitron (R) و سوئیچ‌های دو‑پایدار (BSS). هر BSS تعیین می‌کند که آیا ورودی‌های DCهای یک predictron از محیط خارجی یا خروجی‌های داخلی دریافت شوند. بنابراین، BSSها برای کنترل زمان انجام تکمیل توالی در DETE استفاده می‌شوند. در اینجا هر predictron تنها ۴ DC دارد که به‌صورت یک ردیف از مربع‌ها بالای هر predictron نشان داده شده‌اند. اطلاعات ورودی در یک ناحیهٔ خاص از یک FP به‌صورت خط لوله‌ای در DCها منتقل می‌شود و به‌صورت زمان‑پذیر (پیکان‌های با ضخامت متفاوت در هر DC) کاهش می‌یابد. هر recognitron دو بخش دندری (RDC) دارد که به‌صورت مستطیل‌های نازک نشان داده شده‌اند. این RDCها برای نمونه‌برداری خروجی predictron مرتبط و همسایگانش (نمونه‌برداری از یک همسایه به‑راست در اینجا نشان داده شده) استفاده می‌شوند. دایره‌های عمودی کوچک نشان‌دهندهٔ شدت ورودی (از طریق سایه) به DCهای predictron است که از پیش‌بینی‌های predictronهای همسایه می‌آید. در DETE، یک ماژول حافظهٔ katamic معمولاً ۲۵۶ predictron با ۶۴ DC برای هر predictron دارد.**

ویژگی‌های اصلی حافظهٔ katamic که در کارهای Nenov (1991) و Nenov و Dyer (در چاپ‑a, c) گزارش شده‌اند عبارتند از: (۱) یادگیری سریع: به‌طور متوسط تنها ۴‑۶ بار نمایش یک توالی الگو برای یادگیری یک توالی جدید کافی است؛ این ۳‑۴ مرتبه بهتر از شبکه‌های PDP بازگشتی (Elman 1990) است. (۲) ظرفیت حافظهٔ انعطاف‌پذیر: توالی‌های مختلف با طول‌های متفاوت می‌توانند ذخیره شوند و مدل به‌راحتی به‌سوی الگوهای بزرگ‌تر یا توالی‌های طولانی‌تر مقیاس‌پذیر می‌شود. (۳) تکمیل/بازیابی توالی: یک توالی کوتاه (یعنی یک سرنخ) برای تشخیص و بازیابی یک توالی قبلاً ثبت‌شده کافی است. (۴) تحمل خطا و نویز: بیت‌های گمشده می‌توانند تحمل شوند و حافظه می‌تواند از داده‌های موجود استنتاج/تعمیم یا گسترش دهد. (۵) یادگیری و عملکرد یکپارچه: predictron می‌تواند به‌صورت خودکار از حالت یادگیری به حالت عملکرد سوئیچ کند؛ بنابراین، یک ماژول katamic می‌تواند به‌صورت بیتی‑به‑بیت یا الگو‑به‑الگو از یادگیری به عملکرد تغییر حالت دهد. همچنین، هر بار که هر predictron یاد می‌گیرد، شواهد مثبت به‌عنوان شواهد منفی ضعیف برای تمام الگوهای دیگر عمل می‌کند؛ این به DETE اجازه می‌دهد همان‌طور که مدل Regier، تنها از مثال‌های مثبت یاد بگیرد.

**۸. جهت‌گیری‌های آینده**
سیستم‌های Regier و DETE تنها گام‌های اولیه در پایه‌گذاری زبان بر تجارب حسی/حرکتی هستند. جهت‌گیری‌های آینده در حوزهٔ نمایش تجارب حسی شامل: (الف) گسترش نمایش‌ها به اشیاء سه‑بعدی، (ب) نمایش اشیاء ترکیبی با حرکات متعدد — مثلاً مجموعه‌ای از blobهای مفصلی می‌توانند یک پسر یا یک سگ را نشان دهند، یا اعمال پیچیده‌تری مانند خوردن (مثلاً با حرکات لب‌ها و یک blob کوچک که در جلوی آن کوچک می‌شود) و (ج) نمایش مفاهیم انتزاعی. در این مرحله، حتی اگر DETE هزاران blob را ببیند که به‌هم متصل شوند، واقعاً مفهوم انتزاعی OWNERSHIP را یاد نمی‌گیرد (چون فقط اتصال فیزیکی می‌بیند). تقریباً به‌صورت تعریف، انتزاعات هرگز به‌صورت مستقیم مشاهده نمی‌شوند و به‌نظر می‌رسد پایه‌ای ذاتی در مغز انسان داشته باشند (در غیر این صورت حیوانات می‌توانستند مفاهیمی مانند RESPONSIBILITY را تنها با مشاهدهٔ اعمال غیرمسئولانه یاد بگیرند). بنابراین نیاز به ساختن سیستم‌های اتصال‌گرای است که یادگیری زبان مبتنی بر ادراک را با وجود حالات ذهنی مانند برنامه‌ها، اهداف، تم‌ها و احساسات (Dyer 1983) ترکیب کنند. در این لحظه، تنها سیستم‌های نمادین (مثلاً Dyer 1983؛ Wilensky 1983) می‌توانند چنین ساختارهایی را دست‌کاری کنند و در چنین سیستم‌هایی این ساختارها به‌صورت دستی مهندسی می‌شوند. تنها سیستم NLP توزیعی که حتی سعی می‌کند تجزیهٔ هدف/طرح یک متن روایتی را انجام دهد، سیستم DYNASTY است (Lee 1991؛ Lee و Dyer در چاپ). قابلیت‌های تجزیهٔ هدف/طرح DYNASTY بسیار محدود هستند و یک مؤلفهٔ حیاتی (یعنی حافظهٔ کاری) توسط دست‌کاری نمادین پیاده‌سازی شده است.

به‌طور کلی، کافی است به مدل‌های نمادین NLP اخیر نگاه کنیم تا مجموعه‌ای از سیستم‌ها را ببینیم که جنبه‌های مختلف استدلال سطح بالا را نشان می‌دهند — جنبه‌هایی که هنوز توسط هیچ مدل اتصال‌گرای به‌دست نیامده‌اند. برای مثال، سیستم نمادین OCCAM (Pazzani و Dyer 1989؛ Pazzani 1990) یادگیری مبتنی بر توضیح (EBL) را انجام می‌دهد و می‌تواند با یک مثال تنها یاد بگیرد. EBL هنوز در مدل‌های اتصال‌گرای ممکن نیست و Pazzani و Dyer (1987) نشان داده‌اند که یادگیری back‑propagation مفهوم‌سازی را به‌گونه‌ای انجام می‌دهد که با افراد متفاوت است (افراد پیش‌از‑دانش جهان دارند). سیستم داستان‌سازی نمادین MINSTREL (Turner 1992) نه تنها شخصیت‌ها و رویدادهای جدیدی می‌سازد که طرح آن‌ها یک تم را برآورده می‌کند، بلکه (الف) قوانین تشبیهی اختراع دارد که رویدادها را از یک حوزه به حوزهٔ دیگر منتقل و سازگار می‌کند، و (ب) رویه‌هایی دارد که مناسب بودن زنجیرهٔ رویدادهای ساخته‌شده توسط یک قاعدهٔ هورستیک خاص را بررسی می‌کند. در پارادایم اتصال‌گرای، این قابلیت بررسی زنجیره می‌تواند شبیه این باشد که یک شبکه «بررسی» می‌کند که چقدر (یا کم) فعال‌سازی در مسیرهای یک شبکه دیگر پخش شده است. سیستم نمادین OpEd (Alvarado 1990؛ Alvarado et al. 1990a, b, c) یک بخش از متن اداری را می‌خواند و یک «گراف استدلال» از باورها (دربارهٔ کارایی طرح‌ها) می‌سازد که با روابط حمله/پشتیبانی به‌هم متصل هستند. سپس گراف استدلال برای پاسخ به سؤال‌ها پیمایش می‌شود.

Barnden (1992a, b) نیاز به سیستم‌های NLP اتصال‌گرای را که بتوانند نمایش صریحی از قواعد بسازند، مطرح می‌کند؛ برای مثال وقتی از یک قاعدهٔ «Any town that's been declared a disaster area [...] gets federal aid.» و سپس «Rotville has been declared a disaster area.» سؤال می‌شود. نقطهٔ بارندن این است که نمی‌توانیم به‌سوی سیستم‌های اتصال‌گرای که فقط طوری رفتار می‌کنند که گویی قواعد دارند (بدون دسترسی صریح به قواعد) تکیه کنیم؛ در غیر این صورت نمی‌توانیم قاعده را «در حین اجرا» بسازیم و اعمال کنیم تا نتیجهٔ «Rotville will get disaster aid» را استنتاج کنیم.

یک جهت‌گیری عمده دیگر برای پژوهش، درک چگونگی خودسازماندهی ساختار کلی CN است — مثلاً از طریق تکامل (Werner و Dyer 1991) یا خودسازماندهی توسعه‌ای (Kohonen 1988). در حال حاضر، مهندس دانش اتصال‌گرای باید پیشاپیش تمام ماژول‌ها و انسامبل‌های اصلی و مسیرهای اتصال بین ماژول‌ها را مشخص کند. در مورد یک SRN واحد، ساختار کلی تقریباً وجود ندارد. متأسفانه، SRNها نتوانسته‌اند وظایفی که توسط CNهای چند‑ماژولی مانند DISCERN یا DYNASTY انجام می‌شود، یاد بگیرند. اینکه ساختار کلی یک شبکهٔ اتصال‌گرای چه باید باشد و چگونه می‌تواند به‌صورت خودکار شکل بگیرد، هنوز یک مسألهٔ باز پژوهشی است.

**۹. نتیجه‌گیری**
چه اصول کلی می‌توانیم از این مرور به‌دست آوریم؟ چند نکته: (الف) هیچ‌چیز رایگان نیست — واضح است که معماری‌های پیچیدهٔ سطح‑دانش لازم است؛ یعنی وجود تکنیک‌های اتصال‌گرای به‌تنهایی کافی نیست تا نیاز به طراحی چنین معماری‌هایی را از بین ببرد. یادگیری عمومی وظایف شناختی پیچیده بدون ساختار پیش‌وجود شبکه همیشه غیرقابل حل خواهد بود؛ بنابراین نوعی «تمایل» (bias) لازم است. NLP به‌قدر پردازش بینایی پیچیده است، بنابراین ساختارهای مورد نیاز ممکن است به‌اندازهٔ پردازش بینایی یا حتی پیچیده‌تر باشند. (ب) تعادل زمان/فضا همیشه وجود خواهد داشت — مثلاً تعادل بین تعداد ماژول‌های ریز و تعداد ماژول‌های درشت. به‌طور کلی، ماژول‌های بیشتر اجازه می‌دهند تا قطعات بیشتری از دانش به‌صورت موازی دستکاری شوند. معماری‌های با ماژول‌های کمتر آسان‌تر برای آموزش هستند اما زمان بیشتری می‌برد و در سطح دانش بیشتر ترتیبی می‌شوند. (ج) پردازش محدود شناختی قابل قبول است اگر از نظر روان‌شناختی معقول باشد — مثلاً محدودیت‌های عمق یک حافظهٔ شبیه‑پشته یا تعداد نمونه‌های یک پیش‌فرض یکسان، منطقی است اگر انسان‌ها در پردازش متون مشابه دشواری نشان دهند. (د) مشکلات کلاسیک هوش مصنوعی برای آینده نزدیک باقی خواهند ماند — مثلاً انسان‌ها می‌توانند همزمان قواعد را بسازند و به‌صورت «در حین اجرا» اعمال کنند. (ه) حل مسألهٔ «یادگیری زبان مبتنی بر ادراک» به‌تنهایی سیستم‌های NLP اتصال‌گرای پیشرفته‌ای نخواهد داد — انتزاعات نیز باید به‌نحوی رمزگذاری یا به‌دست آیند.

با وجود دشواری‌های پیش‌رو، پیشرفت‌های چشمگیری حاصل شده است. در دههٔ ۱۹۷۰، پژوهشگران NLP سیستم‌های نمادینی ساختند که می‌توانستند داستان‌های مبتنی بر اسکریپت را بخوانند و به سؤالات پاسخ دهند؛ اما این سیستم‌ها کاملاً مهندسی‌شده بودند و هیچ‌یک از دانش یا مهارت‌های پردازشی خود را یاد نگرفتند. اوایل دههٔ ۱۹۹۰، به‌عنوان مثال، سیستم DISCERN (Miikkulainen 1993) می‌تواند سؤالات (ساده) دربارهٔ داستان‌های اسکریپتی محدود (یعنی یک اسکریپت) را بخواند و پاسخ دهد. مهم است که درک کنیم DISCERN تمام دانش و مهارت‌های پردازشی خود را از طریق یادگیری — به‌ویژه یادگیری از مثال — به‌دست می‌آورد. DISCERN معنی کلمات را می‌آموزد؛ نحوهٔ تجزیهٔ توالی کلمات به بردارهای نقش‑قضیه را می‌آموزد؛ نحوهٔ تبدیل توالی رویدادها به نمایش اسکریپت را می‌آموزد؛ نحوهٔ بازگرداندن اسکریپت به توالی رویدادها را می‌آموزد؛ نحوهٔ تولید توالی کلمات برای توصیف رویدادها را می‌آموزد؛ نحوهٔ تجزیهٔ سؤالات و تولید بازیابی‌های مناسب را می‌آموزد؛ و حافظهٔ رویدادی را از طریق یک فرآیند خودسازماندهی می‌سازد. تنها چیزهایی که مهندسی شده‌اند: (الف) شکل کلی ماژول‌ها، (ب) چگونگی مسیردهی اطلاعات از ماژول به ماژول در طول یادگیری/اجرا، (ج) الگوریتم یادگیری خود، (د) تنظیم و ارائهٔ داده‌های آموزشی. واضح است که DISCERN یک دستاورد بزرگ است و بینش‌های مهمی دربارهٔ اشکال جدید نمایش و پردازش به ما ارائه داده است.

در یک سر، پژوهشگران اتصال‌گرای معتقدند که مدل‌های اتصال‌گرای تمام اشکال دستکاری نمادین را از بین می‌برند (Churchland 1986؛ Churchland و Sejnowski 1989). در سر دیگر، پژوهشگران نمادین ادعا می‌کنند که اتصال‌گرایی هرگز بیش از یک «پیاده‌سازی ساده» خواهد بود (Pinker و Mehler 1988) و «تمام عمل» در سطح نمادین است. تا کنون نتایج مخلوط هستند. اتصال‌گرایی هنوز به اندازهٔ کافی پیشرفت نکرده تا جایگزینی برای راحتی‌های پردازش نمادین ارائه دهد و بنابراین اکثریت پژوهشگران سنتی AI را جذب نکرده است. اگر/زمانی این اتفاق بیفتد، پردازش اتصال‌گرای به‌دلیل ویژگی‌های خوب و ارتباطات بالقوه با پژوهش‌های مغزی ترجیح داده می‌شود. با این حال، وجود فناوری‌ها و نظریه‌های اتصال‌گرای به‌تنهایی مسألهٔ نمایش دانش، کاربرد دانش و استدلال را به‌صورت جادویی حل نمی‌کند. امیدواریم که فناوری و نظریهٔ اتصال‌گرای ادامه یابد و در نهایت مقیاس‌ها به نفع پیاده‌سازی‌های اتصال‌گرای برای تمام اشکال استدلال سطح‑بالا متمایل شوند، اما نیاز به درک پردازش در سطح دانش/نمادین همچنان باقی خواهد ماند.

**تشکر و قدردانی**
از برخی از دانشجویان دورهٔ کارشناسی ارشد و دکتری‌ام (S. Alvarado, C. Dolan, T. Lange, G. Lee, R. Miikkulainen, V. Nenov, M. Pazzani, R. Sumida, S. Turner, Y. Wang, و G. Werner) برای مشارکت‌های پیاده‌سازی و پژوهشی در حوزه‌های NLP که در اینجا مورد بحث قرار گرفته‌اند — حوزه‌هایی که از اختراع داستان نمادین تا یادگیری زبان مبتنی بر ادراک و حس — تشکر می‌کنم.

**منابع**
Ajjanagadde, V. and Shastri, L. (1989). Efficient Inference with Multi‑Place Predicates and Variables in a Connectionist System. Proceedings of the 11th Annual Conference of the Cognitive Science Society. LEA Press, Hillsdale NJ. pp.396‑403.
Alvarado, S. J. (1990). Understanding Editorial Text. Kluwer, Norwell, MA.
Alvarado, S., Dyer, M.G. and M. Flowers. (1990a). Argument Representation for Editorial Text. Knowledge‑Based Systems. Vol. 3, No. 2, pp. 87‑107.
Alvarado, S., Dyer, M.G. and M. Flowers. (1990b). Argument Comprehension and Retrieval for Editorial Text. Knowledge‑Based Systems. Vol. 3, No. 3.
Alvarado, S. J., Dyer, M. G. and M. Flowers. (1990c). Natural Language Processing: Computer Comprehension of Editorial Text. In H. Adeli (Ed.). Knowledge Engineering, Vol. 1, Fundamentals. pp. 286‑344, McGraw‑Hill, NY.
Barnden, J. A. (1991). Encoding complex symbolic data structures with some unusual connectionist techniques. In: J. A. Barnden and J. B. Pollack (eds.), High‑Level Connectionist Models. Ablex Publ., Norwood, NJ. pp. 180‑240.
Barnden, J. A. (1992a). Connectionism, Generalization and Propositional Attitudes: A Catalogue of Challenging Issues. In J. Dinsmore (ed.), The Symbolic and Connectionist Paradigms: Closing the Gap. LEA Press, Hillsdale NJ. pp. 149‑178.
Barnden, J. A. (1992b). Connectionism, Structure‑Sensitivity, and Systematicity: Refining the Task Requirements. Memoranda in Computer and Cognitive Science, No. MCCS‑92‑227, Computing Research Lab., New Mexico State University, Las Cruces NM.
Barnden, J. A. (in press). Complex Symbol‑Processing in a Transiently Localist Connectionist Architecture. In: R. Sun and L. Bookman (eds.). Computational Architectures for Integrating Neural and Symbolic Processes. ***
Barnden, J. and Srinivas, K. (1991). Encoding Techniques for Complex Information Structures in Connectionist Systems. Connection Science. 3(3)269‑315.
Churchland, P. S. and T. J. Sejnowski. (1989). Neural Representation and Neural Computation. In L. Nadel, L. A. Cooper, P. Culicover and R. M. Harnish (eds.). Neural Connections, Mental Computation. Bradford Book, MIT Press, Cambridge MA.
Churchland, P. S. (1986). Neurophilosophy: Toward a Unified Science for Mind‑Brain. MIT Press, Cambridge MA.
Dolan, C. P. (1989). Tensor manipulation networks: Connectionist and symbolic approaches to comprehension, learning, and planning. Ph.D. Dissertation, Computer Science Dept. UCLA, Los Angeles, CA. (To be published by LEA Press).
Dolan, C. P. and Smolensky, P. (1989). Tensor product production system: A modular architecture and representation. Connection Science. 1:53‑68.
Dolan, C. P. and M. G. Dyer. (1989). Parallel Retrieval and Application of Conceptual Knowledge. In D. Touretzky, G. Hinton, T. Sejnowski (Eds.). Proceedings of the 1988 Connectionist Models Summer School. Morgan Kaufmann, pp. 273‑280.
Dyer, M.G. (1983). In‑Depth Understanding. MIT Press, Cambridge, MA.
Dyer, M. G. Distributed Symbol Formation and Processing in Connectionist Networks. Journal of Experimental and Theoretical Artificial Intelligence, Vol. 2, 215‑239, 1990.
Dyer, M. G., Cullingford, R. & Alvarado, S. (1987). Scripts. In: S. Shapiro (Ed.) Encyclopedia of Artificial Intelligence. John Wiley & Sons, pp. 980‑994.
Dyer, M. G., Flowers, M. and Wang, Y. A. (1992). Distributed Symbol Discovery through Symbol Recirculation: Toward Natural Language Processing in Distributed Connectionist Networks. In: R. G. Reilly and N. E. Sharkey (eds.), Connectionist Approaches to Natural Language Processing, LEA Press, Hillsdale NJ, pp. 21‑48.
Dyer, M. G. and Nenov, V. I. Language Learning via Perceptual/Motor Experiences. Proceedings of the Fifteenth Annual Conference of the Cognitive Science Society. LEA Press, Hillsdale NJ, 1993.
Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14:179‑211.
Feldman, J. A. (1989). Neural Representation of Conceptual Knowledge. In: L. Nadel, L. A. Cooper, P. Culiver and R. M. Harnish (eds.). Neural Connections, Mental Computation. Bradford book/MIT PRess, Cambridge MA.
Feldman, J. A., Lakoff, G., Stolcke, A. and Hollbach Weber, S. (1990). Miniature Language Acquisition: A touchstone for cognitive science. Techn. Rep. TR‑90‑009, ICSI, Berkeley, CA.
Harnad, S. (1990). The Symbol Grounding Problem. Physica D, 42: 335‑346.
Hinton, G. E., McClelland, J. L. and Rumelhart, D. E. (1986). Distributed Representation. In: D. E. Rumelhart and J. L. Mcclelland (eds.). Parallel Distributed processing, Vol. 1, MIT Press, Cambridge MA.
Johnson‑Laird, P. N. (1983). Mental models: towards a cognitive science of language, inference and consciousness. Harvard University Press, Cambridge MA.
Kandel, E. R. (1985). Processing of Form and Movement in the Visual System. In E. R. Kandel and J. H. Schwartz (Eds.), Principles of Neuroscience (Second Edition), (pp. 366‑383), Elsevier, NY.
Kohonen, T. Self‑Organization and Associative Memory. Springer‑Verlag (2nd ed.), 1988.
Kolodner, J. L. (1984). Retrieval and Organizational Strategies in Conceptual Memory: A Computer Model. LEA Press, Hillsdale NJ.
Lange, T. E. (in press) ********* In: R. Sun and L. Bookman (eds.). Computational Architectures for Integrating Neural and Symbolic Processes. ***.
Lange, T. E. and M. G. Dyer. (1989a). Frame Selection in a Connectionist Model of High‑Level Inferencing. Proceedings of the Eleventh Annual Conference of the Cognitive Science Society (CogSci‑89). LEA Press, Hillsdale NJ.
Lange, T. and M. G. Dyer. (1989b). Dynamic, Non‑Local Role Bindings and Inferencing in a Localist Network for Natural Language Understanding. In D. S. Touretzky (Ed.). Advances in Neural Information Processing Systems 1. San Mateo, CA: Morgan Kauffman, pp. 545‑552.
Lange, T. E. and Dyer, M. G. (1989c). High‑level inferencing in a connectionist network. Connection Science, 1, 181‑217.
Lange, T. E., Vidal, J. J. and Dyer, M. G. (1991). Artificial Neural Oscillators for Inferencing. In A. V. Holden and V. I. Kryukov (eds.). Neurocomputers & Attention, Vol. I, Manchester University Press.
Lee, G.(1991). Distributed Semantic Representations for Goal/Plan Analysis of Narratives in a Connectionist Architecture. Ph.D. CS Dept. UCLA.
Lee, G. and Dyer, M. G. (in press). Goal/Plan Analysis via Distributed Semantic Representations in a Connectionist System. Applied Intelligence.
Lee, G., Flowers M. and M. G. Dyer. (1990). Learning Distributed Representations for Conceptual Knowledge and their Application to Script‑Based Story Processing. Connection Science, Vol. 2, No. 4, pp. 313‑345. [Also reprinted in: N. Sharkey (ed.), Connectionist Natural Language Processing: Readings from Connection Science. (Chapter 11, pp. 215‑247), Kluwer Academic Publishers, Norwell, MA. 1992.]
Miikkulainen, R. and Dyer, M. G. (1991). Natural language processing with modular PDP networks and distributed lexicon. Cognitive Science, 15 (3), 343‑399.
Miikkulainen, R. (1993). Subsymbolic Natural Language Processing: An Integrated Model of Scripts, Lexicon and Memory, Bradford/MIT Press, Cambridge MA.
Miikkulainen, R. (in press). Subsymbolic Parsing of Embedded Structures. In: R. Sun and L. Bookman (eds.). Computational Architectures for Integrating Neural and Symbolic Processes. ***.
Minsky, M. (1985). The Society of Mind. Simon and Schuster, NY.
Nenov, V. I. (1991). Perceptually Grounded Language Acquisition: A Neural/Procedural Hybrid Model. Ph.D. Dissertation and Technical Report UCLA‑AI‑91‑07, Computer Science Departmentt, UCLA.
Nenov, V. I. and Dyer, M. G. (in press‑a) Perceptually Grounded Language Learning: Part 1 — A Neural Network Architecture for Robust Sequence Association. Connection Science,5 (2).
Nenov, V. I. and Dyer, M. G. (in press‑b) Perceptually Grounded Language Learning: Part 2 — DETE: A Neural/Procedural Model. Connection Science, 5 (3).
Nenov, V. I. and Dyer, M. G. (in press‑c) Language Learning via Perceptual/Motor Association: A Massively Parallel Model. In: Hiroaki Kitano (ed.) Massively Parallel Artificial Intelligence. AAAI/MIT Press.
Pazzani, M. J. (1990). Creating a memory of causal relationships: An integration of empirical and explanation‑based learning method, Lawrence Erlbaum Associates (LEA Press) Hillsdale, NJ, 1990.
Pazzani, M. J. and M. G. Dyer. (1989). Memory Organization and Explanation‑Based Learning. International Journal of Expert Systems: Research & Applications. Vol. 2, No. 3., pp. 331‑358.
Pazzani, M. and M.G. Dyer. (1987). A Comparison of Concept Identification in Human Learning and Network Learning with the Generalized Delta Rule. Proceedings of 10th International Joint Conference on Artificial Intelligence (IJCAI‑87). Morgan Kaufmann Publ., Los Altos CA. pp. 147‑150.
Pinker, S. (1989). Learnability and Cognition: The Acquisition of Argument Structure. MIT Press, Cambridge MA.
Pinker, S. and Mehler, J. Eds., (1988). Connections and Symbols. Bradford/MIT Press. Cambridge, MA.
Pollack, J. B. Recursive Auto‑Associative Memory: Devising Compositional Distributed Representations. Proceedings of the Tenth Annual Conference of the Cognitive Science Society Lawrence Erlbaum. Hillsdale, NJ, 1988.
Pollack, J. B. Implications of Recursive Distributed Representations. In D. S. Touretzky (Ed.) Advances in Neural Information Processing 1, Morgan Kaufmann Publ. San Mateo, CA, pp. 527‑536, 1989.
Pollack, J. B. (1990). Recursive Distributed Representations. Artificial Intelligence 46:77‑105.
Regier, T. (1992). The Acquisition of Lexical Semantics for Spatial Terms: A Connectionist Model of Perceptual Categorization. Ph.D. Dissertation. University of California at Berkeley.
Rumelhart, D. E. and McClelland, J. L., eds. (1986). Parallel Distributed Processing. Vol. 1. Bradford Books/MIT Press.
St. John, M. F. and McClelland, J. L. (1990). Learning and Applying Contextual Constraints in Sentence Comprehension. Artificial Intelligence. 46:217‑257.
Schank, R. C. and Abelson, R. P. (1977). Scripts, Plans, Goals, and Understanding. Lawrence Erlbaum, Hillsdale, NJ.
Shastri, L. and Ajjanagadde, V. (1990). An Optimally Efficient Limited Inference System. Proceedings of Eighth National Conference on Artificial Intelligence. AAAI Press / MIT Press, Menlo Park, CA. pp. 563‑570.
Shastri, L. and Ajjanagadde, V. (1993) From simple associations to systematic reasoning. A connectionist representation of rules, variables and dynamic bindings using temporal synchrony. Behavioral and Brain Sciences 16, (3), 417‑494.
Smolensky, P. (1990). Tensor Product Variable Binding and the Representation of Symbolic Structures in Connectionist Systems. Artificial Intelligence 46:159‑216.
Stolcke, A. (1989). Unification as Constraint Satisfaction in Structured Connectionist Networks. Neural Computation, 1(4): 559‑567.
Strong, G. W. and Whitehead, B. A. (1989). A solution to the tag‑assignment problem for neural networks. Behavioral and Brain Sciences, 12, 381‑433.
Sumida, R. A. and M. G. Dyer. (1989). Storing and Generalizing Multiple Instances while Maintaining Knowledge‑Level Parallelism. Proceedings of Eleventh International Joint Conference on Artificial Intelligence (IJCAI‑89). pp. 1426‑1431, (Distributed by Morgan Kaufmann Publ.).
Sumida, R. A. (1991). Dynamic Inferencing in Parallel Distributed Semantic Networks. Proceedings of Thirteenth Annual Conference of the Cognitive Science Society. LEA Press, Hillsdale NJ. pp. 913‑917.
Sumida, R. A. and Dyer, M. G. (1992). Propagation Filters in PDS Networks for Sequencing and Ambiguity Resolution. In J.E. Moody, S.J. Hanson and R.P. Lippmann (eds.) Advances in Neural Information Processing Systems 4, Morgan Kaufmann Publ., San Mateo, CA, pp. 233‑240.
Sun. (1989). A discrete neural network model for conceptual representation and reasoning. Proceedings of the Eleventh Annual Conference of the Cognitive Science Society. LEA Press, Hillsdale NJ.
Sun, R. (1992). On Variable Binding in Connectionist Networks, Connection Science, 4(2):93‑124.
Sun, R. (1993). Integrating Rules and Connectionism for Robust Reasoning. John Wiley and Sons, NY.
Touretzky, D. S. and G. E. Hinton. (1988). A Distributed Connectionist Production System. Cognitive Science, 12(3), pp. 423‑466.
Tulving, E. (1972). Episodic and Semantic Memory. In: E. Tulving and W. D. Donaldson (eds.), Organization of Memory. Academic Press, NY.
Turner, S R. (1992). MINSTREL: A Computer Model of Creativity and Storytelling. Ph.D. Dissertation, Computer Science Dept. UCLA (to be published by LEA Press).
von der Malsburg, C. (1981). The correlation theory of brain function. Internal Report 81‑2. Dept. of Neurobiology, Max‑Plank‑institute for Biophysical Chemistry.
von der Malsburg, C. and Singer, W. (1988). Principles of cortical network organization. In: P. Rakic and W. Singer (eds.), Neurobiology of Neocortex. (pp. 69‑99). John Wiley & Sons Ltd., London.
Waibel, A. (1989). Consonant recognition by modular construction of large phonemic time‑delay neural networks. In D. S. Touretzky (Ed.), Advances in Neural Information Processing Systems I. (pp. 215‑223). Morgan Kaufman, San Mateo, CA.
Werner, G. M. and M. G. Dyer. (1991). Evolution of Communication in Artificial Organisms. In: J. D. Farmer, C. Langton, S. Rasmussen and C. Taylor (Eds.). Artificial Life II, Addison‑Wesley.
Wilensky, R. (1983). Planning and Understanding: A Computational Approach to Human Reasoning. Addison‑Wesley, Reading, MA.


وعده‌ی هوش مصنوعی تا حدودی در حال حاضر محقق شده است. به لطف پردازش زبان طبیعی (NLP) می‌توانیم با موفقیت داده‌های مبتنی بر زبان را تحلیل کرده و به طور موثر با ماشین‌های دستیار مجازی ارتباط برقرار کنیم. اما این دستاوردها اغلب با هزینه‌ی بالایی همراه هستند و نیازمند مقادیر قابل توجهی داده، زمان و منابع پردازشی هستند، زمانی که توسط یادگیری ماشین هدایت می‌شوند. نه اینکه چیز دیگری، خطر به دست آوردن نتایج کم‌دقت‌تر را نیز به همراه دارند.

با این حال، این موانع قطعی نیستند. در واقع، با استراتژی درست، می‌توانید به طور کامل از آن‌ها اجتناب کنید. این روش که رویکرد نمادین نامیده می‌شود، می‌تواند هم هزینه‌های محاسباتی پایین‌تری را به همراه داشته باشد و هم نتایج دقیق‌تر و روشنگرتر را ارائه دهد.

رویکرد نمادین چیست؟

وقتی کودک بودید، از طریق نمادها در مورد دنیای اطراف خود یاد گرفتید. با هر تجربه‌ی جدید، ذهن شما قوانین منطقی و روابط آموزنده در مورد اشیاء و مفاهیم اطراف خود ایجاد می‌کرد. اولین باری که به یک تقاطع رسیدید، یاد گرفتید قبل از عبور به هر دو طرف نگاه کنید و یک رابطه‌ی ارتباطی بین ماشین‌ها و خطر ایجاد کنید.

رویکرد نمادین به همان شیوه، اما برای سیستم‌های هوش مصنوعی عمل می‌کند. این روش معمولاً برای NLP و درک زبان طبیعی (NLU) استفاده می‌شود و از یک ساختار منطقی IF-THEN پیروی می‌کند. وقتی یک شرط زبانی IF برآورده شود، خروجی THEN تولید می‌شود. این امر ایجاد قوانین واضح و قابل توضیح را آسان می‌کند و شفافیت کاملی در مورد نحوه‌ی عملکرد آن ارائه می‌دهد. با این کار، اساساً مشکل "جعبه‌ی سیاه" که در یادگیری ماشین رایج است را دور می‌زنید.

مزایای رویکرد نمادین چیست؟

انعطاف‌پذیری در نوشتن قوانین خود، یک مزیت قابل توجه در استفاده از رویکرد نمادین نسبت به یادگیری ماشین برای مدل NLP شماست، اما این تنها نوک کوه یخ از مزایای آن است.

به عنوان مثال، وقتی فقط از یادگیری ماشین برای ساختن یک الگوریتم برای NLP استفاده می‌شود، هر تغییری در داده‌های ورودی شما می‌تواند منجر به انحراف مدل شود و شما را مجبور کند تا داده‌های خود را دوباره آموزش و آزمایش کنید. با این حال، یک رویکرد نمادین به NLP به شما امکان می‌دهد به راحتی با انحراف مدل سازگار شوید و بر آن غلبه کنید، با شناسایی مشکل و بازبینی قوانین خود، در زمان و منابع محاسباتی ارزشمند صرفه‌جویی کنید.

رویکرد نمادین همچنین با اختصاص دادن یک معنا به هر کلمه بر اساس متن و دانش نهفته، از ابتدا دقت بالاتری را ارائه می‌دهد. این فرآیند به عنوان ابهام‌زدایی شناخته می‌شود و یک جزء کلیدی در بهترین مدل‌های NLP/NLU است.

کمبود داده‌های مبتنی بر زبان می‌تواند هنگام تلاش برای آموزش یک مدل یادگیری ماشین مشکل‌ساز باشد. مدل‌های ML برای راه‌اندازی به مقادیر زیادی داده نیاز دارند و این نیاز مداوم است. با یک رویکرد نمادین، توانایی شما در توسعه و اصلاح قوانین ثابت می‌ماند و به شما امکان می‌دهد با مجموعه‌های داده‌ی نسبتاً کوچک کار کنید.

آیا با یادگیری ماشین سازگار است؟

همانطور که رویکردهای نمادین و یادگیری ماشین به طور جداگانه قدرتمند هستند، روش‌های انحصاری نیستند. در واقع، آن‌ها زمانی بهترین عملکرد را دارند که در یک رویکرد ترکیبی ترکیب شوند. با ترکیب این رویکردها، می‌توانید از نقاط قوت هر استراتژی بهره‌مند شوید.

Expert.ai پلتفرم خود را با انعطاف‌پذیری یک رویکرد ترکیبی طراحی کرده است و به شما امکان می‌دهد بسته به نیازها و مورد استفاده‌ی خاص خود، از نمادین و/یا یادگیری ماشین یا یادگیری عمیق استفاده کنید.

به همین ترتیب، این امر وظایف NLP ارزشمندی مانند طبقه‌بندی و داده‌کاوی را با استفاده از نمادین برای برچسب‌گذاری خودکار اسناد که سپس می‌توانند در الگوریتم یادگیری ماشین شما وارد شوند، ساده اما قدرتمند می‌سازد.

شما همچنین می‌توانید مدل زبانی خود را با استفاده از نمادین برای یک مجموعه داده و یادگیری ماشین برای مجموعه دیگر آموزش دهید، سپس آن‌ها را در یک قالب خط لوله برای ارائه دقت بالاتر و پهنای باند محاسباتی بیشتر ترکیب کنید.

محبوب‌ترین موارد استفاده از رویکردهای نمادین و ترکیبی چیست؟

توانایی شما در تبدیل داده‌های زبانی بدون ساختار از اسناد، محتوای رسانه‌های اجتماعی و ایمیل‌ها به بینش‌های عملی می‌تواند بر طیف گسترده‌ای از موارد استفاده تأثیر بگذارد. صنایعی مانند بیمه، امور مالی و رسانه همگی راه‌های موثری برای اعمال NLP نمادین و ترکیبی به مشکلات رایج پیدا کرده‌اند.

بیمه

به عنوان مثال، صنعت بیمه حجم زیادی از داده‌های زبانی بدون ساختار را از فرمت‌های مختلف مدیریت می‌کند. با فناوری هوش مصنوعی نمادین Expert.ai، سازمان‌ها می‌توانند به راحتی اطلاعات کلیدی را از درون این اسناد استخراج کنند تا بررسی سیاست‌ها و ارزیابی ریسک را تسهیل کنند. این امر می‌تواند مواجهه با ریسک و همچنین افزونگی گردش کار را کاهش دهد و به میانگین ارزیاب اجازه دهد تا بیش از چهار برابر بیشتر ادعاها را بررسی کند.

بانکداری

علیرغم تغییرات قابل توجهی که در سال‌های اخیر تجربه کرده است، بانکداری هنوز از کمبود دیجیتالی‌سازی رنج می‌برد. در مقابل، انتظارات مشتری از خدمات افزایش یافته است و حفظ هماهنگی با حجم بالای تماس‌های خدمات مشتری، ایمیل‌ها و درخواست‌های اطلاعات آنلاین را دشوار می‌کند.

اتوماسیون و طبقه‌بندی پاسخ‌های ایمیل، پرسش‌های متداول مبتنی بر دانش، بررسی دقیق وام مسکن و حتی پردازش وصول مطالبات (بر اساس اولویت) تنها چند نمونه از راه‌هایی است که فناوری Expert.ai به مؤسسات بانکی کمک می‌کند تا چالش‌ها را در سراسر زنجیره‌ی تأمین خدمات حل کنند.

رسانه و نشر

صنعت رسانه و نشر با تغییر به سمت محتوای دیجیتال بسیار رقابتی شده است. کاربران تصمیم می‌گیرند که آیا می‌خواهند محتوا را در عرض چند ثانیه بخوانند یا خیر، و در نتیجه تعامل موثر کاربر ضروری است.

ناشران می‌توانند با استفاده از فناوری نمادین Expert.ai، بیش از 1.5 میلیون مقاله خبری را در روز با موفقیت پردازش، طبقه‌بندی و برچسب‌گذاری کنند. این امر شناسایی کلمات کلیدی و موضوعاتی را که خوانندگان به آن‌ها علاقه‌مند هستند، در مقیاس بزرگ بسیار آسان‌تر می‌کند. همچنین می‌توان محصولات متمرکز بر داده را ایجاد کرد تا تجربه‌ی کاربری جذاب‌تر و شخصی‌تری ایجاد شود.

رویکرد نمادین برای متحول کردن NLP در موقعیت خوبی قرار دارد. این روش انعطاف‌پذیر، آسان برای پیاده‌سازی (با IDE مناسب) و دقت بالایی را ارائه می‌دهد. همچنین در کنار یادگیری ماشین در یک رویکرد ترکیبی به خوبی عمل می‌کند - همه این‌ها بدون بار هزینه‌های محاسباتی بالا.

سوال این است: سازمان شما با یک رویکرد نمادین به NLP چه می‌تواند به دست آورد؟