تابع هدف جدید محدب برای آموزش نظارت شبکه‌های عصبی تک لایه‌‌ A new convex objective function for the supervised learning of single-layer neural networks

«مقدمه‌»

برای بررسی شبکه‌ عصبیFeed Forward تک‌لایه با تابع فعالسازی خطی، مقادیر وزن برای تابع بهMSE  حداقل رسیده و می‌توان این مقادیر را به وسیله‌ یک ماتریس شبه‌معکوس بدست آورد[1,2] . بعلاوه، می‌توان اثبات کرد که سطح MSE این شبکه خطی تابعی درجه دوم می‌باشد [3] . بنابراین این سطحمحدب هایپر پارابولیک‌‌( فراسهمی‌وار‌) را می‌توان به سادگی با روش گرادیان نزولی (Gradient descent) طی کرد. با این حال، اگر ازتابع فعالسازی غیر خطی استفاده شود، مینیمم‌های محلی می‌توانند بر مبنای معیارMSE در تابع هدف دیده شوند[4-6]. طی تحقیقات مختلف می‌توان مشاهده نمود که تعداد چنین مینیمم‌هایی می‌توانند با ابعاد ورودی به صورت نمایی توسعه پیدا کند. تنها در برخی موارد خاص می‌توان تضمین کرد که شرایط حاکم، فاقدMin  های محلی هستند. در مورد الگوهای تفکیک‌پذیرخطی و معیار آستانه MSE ، وجود حداقل یک مقدارMin  در تابع هدف به اثبات رسیده است[8,9]. با این حال، این امر یک موقعیت عمومی نمی‌باشد.

کارهای مشابه این تحقیق نیز بیانگر تابع هدفمحدب  جدید و معادل باMSE  هستندکه شاملMin  های محلی نبوده و راه حل کلی آن‌ها با استفاده از سیستم‌های معادلات خطی بدست‌می‌آید. این سیستم را می‌توان برای هر خروجی با پیچیدگی( N ) O حل کرد؛ در جایی که N تعداد پارامترهای شبکه را نشان می‌دهد:

 جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید. برای شبکه‌های تک لایه در مآخذ‌ (5) به اثبات رسیده‌اند، در جایی که مثال ارائه شده با یک تابع انتقال Sigmoid باشد، برای مجموع خطاهایSquared یکMin  محلی ارائه می‌شوند. طی این تحقیقات اذعان‌شده است که حضورMin های محلی بعلت این حقیقت است که تابع خطا منطبق با توابعی‌کهMin  های آن‌ها درنقاط مختلف است. تحت این شرایط، امکان ارائه‌ی راه‌حل به‌شکل بسته چندان امکان‌پذیر نمی‌باشد. روش‌های پیشین، طی چند دهد‌ی اخیر بیانگر غلبه‌ی مشکلات حاضر با وجود این‌گونه نقاط ساکن در شبکه‌های عصبی تک‌لایه می‌باشند. در مآخذ شماره[10]، همگراییGlobal  Homotopy Mapping طبیعی برای پرسپترون‌ تک‌لایه با تغییر ساختار نقاط (Node) غیرخطی تعریف شده‌است. این اثرهای هوموتوپی امکان تعداد نامتناهی از وزن‌ها را با تغییر شکل مختصات و مشخصات همه راه‌حل‌ها، به‌وسیله تعداد متناهی از راه‌حل‌های منحصربه‌فرد فراهم می‌آورند . اگرچه این روش به راه‌حل‌های محاسباتی اطمینان می‌دهد اما Global Optimization را نمی‌توان فراهم‌آورد[1]. همزمان محققین روشی را  برای2 ارزیابی‌های پیشین ارائه کرده‌اند[11] خواه راه‌حل منحصر به‌فرد بوده یا به لحاظ کلی بهینه باشد و برای بررسی Scaling اولیه بردارهای مطلوب و اطمینان از یگانگی آن‌ها داده‌های ورودی آنالیز می‌شوند. اگرچه این روش‌ها برای ارزیابی مقادیر واحد و بهینه بصورت بالقوه (Potentially) مفید واقع می‌شوند،Min  ها تنها پس از پایان آموزش مشخص می‌شوند، بعلاوه محققین دیگر روش‌های دیگری را برای شرایط مختلف ارائه کرده‌اند که در آن‌ها از مسئله مربوط به‌Min های محلی در توابع هدف با به حداقل رساندن میزانMSE  اجتناب شده است. در بخش‌[12‌]، روش آموزش Online دیگری برای تطابقCost Function  بر مبنای واگرایی(Divergence) . Bergman ارائه‌شده است.Pao [2] روش تابع خطی را پیشنهادکرده است که راه‌حل‌های تحلیلی در آن از طریق سیستم معادلات خطی    بدست می‌آیند، در جایی کهX ماتریس تشکیل‌شده توسط الگوهای‌ورودی بود،wبردار وزن وz نوع دیگری از بردارهای تشکیل شده توسطتابع فعالسازی   به کاررفته در محل خروجی باشد. ابعاد ماتریس X عبارت ازS×N هستند، در جایی کهS تعدادPattern  (دادگان) وN تعداد پارامتر‌ها ( وزن‌ها ) می‌باشد همانگونه که Pao در کارهایش اشاره داشته است، اگرS=N باشد و دترمینانX صفر نباشد در نتیجه راه‌حل را می‌توان از طریق فرمول       بدست‌آورد. با این وجود، این یک موقعیت عمومی نیست، زیرا در واقع مجموعه‌های داده‌ها معمولا به صورتSN هستند. برای این موارد اخیر،Pao به‌طور جداگانه موقعیت‌ها را آنالیز کرده است. در مواردی کهSN باشد، تعداد نامتناهی توابع ارتونرمال را می‌توان ایجاد کرد، و سپس روشی بر مبنای حالت شبه‌ معکوس به صورت    ارائه می‌شود. با یان حال، همانگونه که قبلا نیز اشاره شد، این فرمول اغلب می‌تواند غیر قابل قبول باشد چرا که در خاتمه فرآیند آموزشی می‌توانند میزان خطای فراوانی را به همراه داشته باشد.

برخی تحقیقات برای بررسی شبکه‌های عصبیfeed forward چندلایه از نتایج مشابهی استفاده کرده‌اند که یکی از آن‌ها در مآخذ شمار[2] برایBack Propagation خروجی مطلوب یا برای آموزش پارامترهای لایه خروجی ارائه شده است. مخصوصا، در این زمینه، پرپوزال‌های ذهنی مربوط به روش‌های آموزشی و حداقل مربعات آغازین( Least Squares) وجود دارد. جالب‌تر از همه‌ی موارد[15] این است که در جایی که حداقل سه طرح با حداقل مربعات آغازین وجود داشته باشد، سرعت وعملکرد آن‌ها با یکدیگر مورد مقایسه قرار داده می‌شوند. با این حال، این روش‌ها نمی‌توانند به شدت تغییرات مطلوبی را در موارد خروجی از طریقتابع فعالسازی غیرخطی بوجود بیاورند تا جایی که نمی‌توان اثرات مسائل مربوط به حداقل مربعات در شیب‌های غیرخطی را نادیده انگاشت.  این قضیه از جمله مباحث مهم ومطرح در این زمینه است که در ادامه بیشتر راجع‌به آن صحبت خواهد شد.

در نهایت، طبق مقالات پیشین، یک روش آموزشی جدید برای شبکه‌های عصبی تک‌لایه بر مبنای سیستم معدلات خطی ارائه می‌شود. این روش امکان‌پذیر می‌باشد. زیرا از تابع هدف جدیدی استفاده می‌کند که مجموع خطاهای مجذور(Squared Errors) را به جای این‌که پس ازتابع فعالسازی غیرخطی بررسی کند قبل از انجام این کار، ارزیابی‌هایش را انجام می‌دهد. با این حال نتایج تجربی ارائه شده در کارهای پیشین صحت و دقت روش مفروض را تأیید می‌کنند، انجام یک سری تحقیقات تئوری هنوز هم برای اثبات برابری بین تابع هدف بهینه بر مبنایMSE پس از غیرخطی شدن و تابع هدف مفروض ضروری احساس می‌شوند‌(‌به حداقل رساندنMSE قبل از توابع غیرخطی‌). این مقاله موارد مذکور در آنالیزهای تئوریکی‌ تحقیقات اخیر را تکمیل نموده و اثراتScaling تابع هدف را با تعیین شیب تابع انتقالی(transfer ) غیرخطی مورد بررسی قرار می‌دهد از طرف دیگر، مجموعه جدیدی از معادلات خطی نیزکه برای دستیابی به وزن‌ها‌(‌پارامتر‌) بهینه در مسائل مختلف بدست می‌آیند، ارائه می‌شوند.

.2« تعریف روش پیشنهادی »:

ساختار موردنظر برای شبکه عصبی در تصویر شماره 1 نشان داده شده است. ورودی‌ها با علامتXjs و Yjsخروجی‌ها با نشان داده شده‌اند و بصورت زیر می‌باشند:  s=1,2…S  و j=1,2…Jو i=0,1…I  ارقامI ،J وS به ترتیب نشان‌دهنده‌ی تعداد ورودی‌ها، خروجی‌ها و نمونه‌های آموزشی(Training Samples ) می‌باشند. شبکه تنها حاوی یک‌لایه از نورون‌های خروجیJ باتابع فعالسازی غیرخطی  می‌باشد. مجموعه معادلات مربوط به ورودی‌ها و خروجی‌ها به شکل زیر می‌باشند:

  جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.

 در جایی کهwjo و  i=1,2,…I,Wjiبه ترتیب بیانگر بایاس و وزن‌های مرتبط با نورونj (‌برای j=1,2,…J‌) می‌باشند. سیستم ارائه‌شده درمعادله (1) دارای معادلاتJ×S بوده و( I+1)J× در آن نامعلوم می‌باشد. در عمل، از آنجایی که تعداد داده‌ها بزرگ است‌    این مجموعه از معادلات را نمی‌توان حل کرد و به این ترتیب نمی‌توان به لحاظ تحلیلی اینگونه موارد را مورد بررسی قرارداد.

بنابراین، گسترده‌ترین روش مورد استفاده برای دستیابی به وزن‌های بهینه برمبنای بهینه‌سازی از طریق روش‌(تکرارشونده‌)Iterative است که در آن‌ها تابع هدف خطا ‌( MSE‌)را با مقایسه خروجی واقعی شبکه و پاسخ دلخواه‌ ( Desired‌) بدست‌ می‌آورد.

 .2.1« تنظیم تابع هدف: تعیین میزان خطا (‌MSE)

 پس از غیرخطی‌شدن » :

اخیرا، توابع هدف مختلفی ارائه‌شده‌اند که یکی از آن‌ها که بر مبنای معیار ‌( ‌MSE) متواول است بیشتر رایج می‌باشد و این همان تابعی است که در این کار مورد برریس قرار داده می‌شود. بنابراین، از روش‌های مرسوم برای بررسی برخی از خطاها، اندازه‌گیری   پس از غیر‌خطی‌شدن استفاده می‌شود. در نتیجه، مجموعه معادلات مرتبط با مقادیر ورودی و خروجی را می‌توان در حال حاضر به شکل زیر تعریف کرد:

 در جایی djsکه خروجی موردنظر برای نرونj بوده و پترن آموزشی آنS می‌باشد. برای ارزیابی‌(آموزش‌)وزن‌های شبکه، مجموع میزان مربعات خطا را می‌توان بدین صورت تعریف کرد:

  جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.

که بدین صورت خطاMin در می‌آید. روش‌هایGradient Descent متعددی وجود دارد که می‌توان از آن‌ها برای دستیابی به نقاط واقع در ته سهمی در این توابع دسترسی پیدا کرد. لازم به‌ذکر است که به‌علت وجود توابع فعال غیرخطی  ، تابع موجود در معادله‌(3‌) غیرخطی می‌باشد. در چنین شرایطی، عدم وجودMin های محلی در نیز همانگونه که درMSEA مآخذ[5] اشاره شد، چندان ضمانت شده نیست. بنابراین روش گرادیان نزولی در یک Min محلی، به‌جای رسیدن به مقدار بهینه تابع هدف       ‌( بهینه ستزی سراسری) متوقف می‌شود.

.2.2 « تابع هدف جدید: تعیین میزان خطا‌( MSE)پیش از غیرخطی شدن‌» :

برای اجتناب از موارد مذکوردر بخش‌های پیشین، روش جدیدی برای بررسی آموزشی شبکه‌های عصبی تک‌لایه ارائه شده است. این روش برمبنای استفاده از تابع هدفی استوار است که ارزیابی خطا در آن قبل ازتابع فعالسازی غیرخطی صورت می‌گیرد، یعنی با استفاده از متغییرهای  به جای   که این حالت به لحاظ گرافیکی در تصویر شماره‌ 1 نشان داده شده است.

در کارهای پیشین‌[18‌]، اینگونه خطاهایAlternative برای آموزش‌ شبکه‌های عصبی تک‌لایه مورد استفاده قرار می‌گرفتند. با این حال، دو مبحث تئوری عمده در این زمینه وجود دارد که شایان توجه و قابل بررسی می‌باشند‌:

* تأثیرشیبتابع فعالسازی  غیرخطی در خطاهای مربوط به توابع هدف. در این تحقیق جدید، مشخص می‌شود که اثراتScaling این توابع را می‌توان زمانی که تغییر‌پذیری خطاها بسیار کوچک است از طریق راه‌حل‌هایی که اغلب دقیق هستندمحاسبه کرد.

جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.

*موازنه بین راه‌حل‌های بدست‌آمده از بررسی خطاها قبل و بعد از توابع غیرخطی. این آنالیزها در این مقاله ارائه شده و برای بررسی اثرات مذکوردر بخش پیشین به‌کاربرده می‌شوند. محققین دیگر از خطا پیش ازتابع فعالسازی غیرخطی برایInitialization یا آموزش شبکه‌های عصبی چندلایه استفاده می‌کنند[17-13]. با این‌حال، از همه‌ی روش‌های قبلی نمی‌توان برای بررسی اثراتScaling شیب توابع فعال غیرخطی در بررسی خطاهای مربوط به قبل از این توابع، استفاده کرد: در این‌کار، یک تابع هدف جدید وجود دارد که تأثیر شیب را بررسی کرده و روش آموزشی جدیدی را بر مبنای این هدف ارائه می‌نماید. بعلاوه ثابت شده است که راه‌حل‌های بدست‌آمده تقریبا مشابه موارد حاصل از استفاده تابع هدف برمبنایRegular,MSE می‌باشند. این حقیقت در قضیه1 نشان‌داده شده است. وزن‌هایWji برای هرخروجیj به گونه‌ای است که تنها با خروجی Yjs مرتبط باشند. بنابراین بدیهی است که مسئله ی آموزشی وزنها را می توان مستقل از J ( یکی برای هر خروجی j ) بررسی کرد. در نتیجه برای سهولت و مختصرسازی علائم، به گونه ای که در ادامه می آید تنها یکی از این مسائل ( برای j ثابت) مورد بررسی قرار داده خواهند شد.

 اگر‌  ورودی‌های شبکه عصبی تک‌لایه باشند،  خروجی‌های مطلوب و حقیقی برای نرون خروجی j و الگویS  بوده وWji وزن‌ها،  مشتق و معکوس تابع فعال‌سازی غیرخطی باشد. سپس به حداقل رساندنMSE بینdjs وYjs در خروجی غیرخطی تقریبا هم‌ارز بوده و مقدار آن‌ها تا اولین درجه از سری‌های تیلور افزوده می‌شود، برای حداقل‌سازیMSE قبل غیرخطی‌شدن، یعنی بین  وزن‌ها برحسب مقدارمشتقات غیرخطی در نقطه عملیاتی ‌(Operating Point‌) متناظر مشخص می‌شوند به لحاظ ریاضیاتی این خصوصیات را می‌توان چنین نوشت:

  جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.

اثبات:قضیه‌ی حداقل‌سازیMSE را بصورت منظم به شکل زیر در نظربگیرید.

وبا استفاده از     

         درطرف سمت راست معادله‌(6)، مسئله کمینه‌سازی معادل را می‌توان به شکل زیر دنبال کرد:

حال اگر‌     خروجی مطلوب پیش‌از تابع غیرخطی باشد، در نتیجه می‌توان انحراف قبل از نرون خروجی را بدین شکل تعریف کرد:

 جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.

در صورتی که تغییر‌پذیری این خطا‌    اندک باشد، پس می‌توان از سری‌های درجه اولTaylor  برای برآورد تقریبی هرمولفه از بردار خروجی استفاده کرد:

با جایگزینی طرف سمت راست معدله‌(9) در معدله‌(8‌) می‌توان نتیجه‌ی مطلوب زیررا بدست آورد:

قضیه پیشین ( فوق ) نتایج مهمی را به همراه دارد زیرا ثابت می‌کند که کمینه‌سازیMSE  در خروجی شبکه، معادل‌( تا حددرجه‌اول‌) کمینه‌سازی خطا قبل از نرون‌های خروجی اسکیل‌شده توسط فاکتور‌‌  است. این فاکتور اطمینان حاصل می‌آوردکه هر انحراف‌(خطا‌)، متناظر با مجموعه آموزشی ورودی- خروجی بوده و متناسب با میزان توابع فعال غیرخطی در نقطه‌ی متناظر پاسخ مطلوب می‌باشد. با بررسی این فاکتورScaling همه‌ی کارهایی که قبلا انجام شده‌اند با شکست مواجه می‌شوند زیرا آن‌ها به سهولت منعکس کننده پاسخ مطلوب در محل ورودی غیرخطی می‌باشند. همانگونه که در قضیه  1نشان داده شد، اگر تغییر خطا کوچک باشد(‌واریانس خطا‌)، تقریب خوبی ارائه نمی‌شود، زیرا تأثیرScaling غیرفعلی روی واریانس خطا باید مورد توجه قرار بگیرد.

در نتیجه‌ی این قضیه، امکان استفاده ازهرگونه مسائل مربوط به کمینه‌سازی ارائه‌شده درمآخذ‌(5) برای فرآیندهای آموزشی شبکه‌های عصبی بوجود می‌آید. این نتیجه مبنای اصلی روش ارائه شده‌دراین‌کار می‌باشد. تنها عامل مورد نیاز برای مسائل مربوط به کمینه‌سازی باید‌ برگشت‌پذیر‌( ‌Invertible) معکوس‌پذیر باشد. با این‌حال این امر چندان منجر به ایجاد محدودیت در شرایط مذکور نمی‌شود زیرا بیشتر توابع‌فعال مورد استفاده در شبکه‌های‌عصبی همچون تابعSigmoid برگشت‌پذیرهستند. از نتایج بسیار مهم شرح قضایای این‌چنین این است که اگرمسائلMin سازی درطرف سمت راست معادله‌(5‌)مورد استفاده واقع‌شوند، به‌راحتی می‌توان راه‌حل را بدست‌آورد زیرا مسئله به‌صورت بهینه‌سازی یکمحدب در‌می‌آید. از این‌رو، عدم حضور‌(‌فقدان‌)Min های محای در‌این‌گونه شرایط حتمی‌می‌باشد. در چنین‌مواردی، سیستم معادلاتی پیشین برای معادله‌(2‌) را می‌توان مجددا از طریق زیربازنویسی کرد:

 جهت مشاهده متن کامل، فایل ترجمه را دانلود نمایید.