یادگیری ماشین – ویکدمی

شبکه‌ی عصبی مصنوعی فراتر از مغز انسان؟!

مهدیه صفرپور — Sun, 15 Aug 2021 07:22:39 +0000

معرفی شبکه‌های عصبی

شبکه‌های عصبی مصنوعی، شاخه‌ای از هوش مصنوعی است که امروزه کاربردهای فراوانی در حوزه‌های مختلف از جمله پیش بینی، داده‌کاوی، پردازش تصویر، علوم پزشکی و مهندسی، اقتصاد و …دارند. شبکه عصبی، بنای علم یادگیری عمیق(Deep Learnig) است و یادگیری عمیق هم خود، پایه و اساس یادگیری ماشین(Machine Learning). همه این مفاهیم با هم، علمِ هوش مصنوعی را تشکیل می‌دهند.

شبکه‌ عصبی مصنوعی چیست؟

شبکه‌های عصبی مصنوعی(Artificial Neural Network)، که معمولاً شبکه‌های عصبی(Neural Network) نامیده می‌شوند، سیستم‌های محاسباتی هستند که از شبکه‌های عصبی بیولوژیکی مغز انسان و حیوان الهام گرفته شده‌اند. هدف از به کارگیری شبکه عصبی این است که بتوان قابلیت‌های مغز انسان، از جمله یادگیری، حفظ کردن و ایجاد ارتباط بین داده‌ها را شبیه سازی کرده و برای حل مسائل پیچیده استفاده کرد.

شبکه مغز انسان و حیوان تشکیل شده از میلیون‌ها سلول عصبی به نام “نورون”(Neuron) و مسیرهای ارتباطی بین آن‌ها به نام “سیناپس” (Synapse)است که پیام‌ها را از نورونی به نورون دیگر منتقل می‌کنند.

ساختار شبکه عصبی مصنوعی

شبکه عصبی مصنوعی، مجموعه‌ای از گره‌های متصل به هم هستند که نورون‌های مصنوعی نام دارند و سلول‌های عصبی مغز بیولوژیکی را مدل می‌کنند. هر اتصال بین نورون‌ها، مانند سیناپس‌های مغز بیولوژیکی، می تواند سیگنالی را به نورون دیگر منتقل کند.

به نورون‌ها و سیناپس‌ها معمولاً عددی حقیقی نسبت داده می‌شود که “وزن”(Weight) نام دارند. این اعداد در ابتدا به صورت تصادفی مقداردهی می‌شوند و سپس با پیشرفت یادگیری تنظیم می شوند.

هر “سیگنال” در شبکه عصبی یک عدد حقیقی است. نورون مصنوعی که یک سیگنال دریافت می کند، آن را توسط تابع‌های غیر خطی پردازش می‌کند و سیگنال خروجی را تولید می‌کند و به نورون‌های متصل به خود می‌فرستد.

به تابعی که خروجی نورون را با استفاده از مجموعه ورودی‌های آن محاسبه می‌کند “تابع فعالسازی”(Activation Function) می‌گویند. تابع فعالسازی فعالیت(روشن) یا عدم فعالیت(خاموش) نورون را مشخص می‌کند.

“بایاس”(Bias) مقداری حقیقی است که تابع فعال‌سازی برای بهبود عملکرد شبکه عصبی، به ورودی خود اضافه می‌کند.

معرفی لایه‌ها در شبکه عصبی

شبکه های عصبی از ۳ لایه تشکیل می‌شوند. لایه ورودی، پنهان و خروجی که به ترتیب وظیفه دریافت داده‌ها، پردازش و تحویل خروجی را برعهده دارند

لایه ورودی: یک بردار است که تعداد مولفه‌های آن، تعداد نورون‌های ورودی هستند.

لایه پنهان: هر لایه‌ی پنهان برداری است از مجموعه‌ای از نورون‌ها که نورون‌های لایه ورودی را به نورون‌های لایه خروجی متصل می‌کنند. تعداد لایه‌های پنهان بسته به نوع شبکه عصبی متفاوت است. در شکل بالا شبکه عصبی با یک لایه مخفی داریم.

لایه خروجی: نشان دهنده خروجی شبکه عصبی است که گاه برداری ۱ بعدی است و گاه بیش از یک بعد دارد.

آموزش شبکه عصبی مصنوعی

شبکه‌های عصبی با پردازش نمونه‌های آموزشی که “ورودی”(Input) و “نتیجه”(Output) در آن‌ها مشخص است آموزش می‌بینند و ارتباطات وزنی میان این دو را تشکیل می دهند تا در ساختار داده‌های شبکه خود ذخیره کنند.

در فرآیند آموزش شبکه مرحله تعیین خطا با تعیین تفاوت بین خروجی پردازش شده شبکه (اغلب پیش بینی) و خروجی هدف انجام می شود. این مقدار خطای شبکه است.

شبکه با توجه به یک قانون یادگیری و استفاده از این مقدار خطا، ارتباطات وزنی خود را تنظیم می کند. تنظیمات پی در پی باعث می شود شبکه عصبی خروجی‌ای تولید کند که درصد شباهت بیشتری با خروجی هدف دارد.

به عنوان مثال، در تشخیص تصویر، شبکه‌ها یاد می‌گیرند که با تجزیه و تحلیل نمونه‌هایی از تصاویر که به صورت دستی با برچسب “گربه” یا “بدون گربه” برچسب گذاری شده‌اند تصاویر حاوی گربه‌ها را شناسایی کنند.

برخی از انواع شبکه‌های عصبی مصنوعی

۱) شبکه‌های عصبی FeedForward (پیش خورد)

شبکه عصبی feedforward یک شبکه عصبی مصنوعی است که در آن سیناپس‌ها بین نورون‌ها چرخه یا دور ایجاد نمی کنند.

شبکه عصبی feedforward اولین و ساده ترین نوع شبکه عصبی مصنوعی بود که ابداع شد. در این شبکه، اطلاعات از نورون‌های ورودی، از طریق نورون‌های لایه‌های پنهان (در صورت وجود) به نورون‌های خروجی فقط در جهت جلو حرکت می کنند. هیچ چرخه یا حلقه‌ای در این شبکه وجود ندارد.

۱-۱) شبکه تک لایه‌ی پرسپترون (Single-Layer Perceptron)

ساده ترین نوع شبکه عصبی، شبکه تک لایه‌ی پرسپترون است که از یک لایه نورون خروجی تشکیل شده‌است. ورودی‌های شبکه از طریق وزن‌ها و مقادیر بایاس پردازش شده و به نورون‌های خروجی ارسال می‌شوند. در این مرحله مقادیر محاسبه شده به تابع فعال‌سازی داده می‌شود. اگر مقدار محاسبه شده بالاتر از مقدار آستانه باشد (به طور معمول ۰) تابع فعال‌سازی نورون را روشن می کند و مقدار فعال شده را می گیرد (معمولا ۱). در غیر این صورت مقدار غیرفعال را می گیرد (معمولا -۱).

۱-۲) شبکه‌های چند لایه‌ی پرسپترون (Multi-layer Perceptron)

این کلاس از شبکه‌ها از چندین لایه واحد محاسباتی تشکیل شده است که معمولاً به صورت feedforward بهم متصل می شوند. هر نورون در یک لایه اتصال خود را به نورون‌های لایه بعدی هدایت می‌کند. شبکه‌های چند لایه از انواع تکنیک‌های یادگیری استفاده می کنند که معروف‌ترین آنها پس‌انتشار(Backpropagation) است. در این تکنیک، مقادیر خروجی با پاسخ صحیح مقایسه می‌شوند تا مقدار تابع خطای از پیش تعریف شده محاسبه شود.

۱-۳) برخی دیگر از شبکه‌های feedforward

به طور کلی ، هر گراف جهت‌دار بدون دور می‌تواند به عنوان یک شبکه عصبی feedforward در نظر گرفته شود. نورون‌های بدون والدین به عنوان ورودی و نورون‌های بدون فرزند به عنوان خروجی تعیین می‌شوند. این مدل را می‌توان به عنوان شبکه های چند لایه مشاهده کرد که بعضی از یال‌ها از لایه ها عبور نمی‌کنند ، یا لایه‌ها را از ورودی‌ها به عقب می‌شمارند یا از ورودی‌ها به جلو می‌شمارند. مانند شبکه‌های عصبی پیچیده CNN) Convolutional Neural Network).

۲) شبکه‌های عصبی Recurrent Neural Network (بازگشتی)

شبکه عصبی بازگشتی (RNN) دسته ای از شبکه‌های عصبی مصنوعی است که در آن اتصالات بین نورون‌ها در امتداد یک توالی زمانی می‌باشد. منظور از توالی زمانی، داده‌هایی است که با گذر زمان انتقال می‌یابند. مثل قیمت سهام‌ها، اطلاعات ثبت شده از حس‌گرها و سوابق پزشکی که همگی با جلو رفتن زمان تغییر می‌کنند. RNN ها از شبکه‌های عصبی feedforward مشتق شده اند. از(RNN) در حوزه هایی مانند پردازش زبان طبیعی و تشخیص گفتار استفاده می‌کنیم.

… و اما

با توجه به کاربرد‌های روز افزون شبکه‌های عصبی تلاش‌های بسیاری در راستای رفع نواقص این شبکه‌ها انجام شده است . یکی از دلایلی که باعث محدود شدن کاربرد شبکه‌های عصبی می شود مرحله آموزش می باشد . برای آموزش شبکه های عصبی همواره نیاز به گروه بزرگی از اطلاعات ورودی می باشد . در

عین حال تنظیم پارامتر های آموزش شبکه کاری بسیار دشوار بوده و نیاز به تجربه و زمان دارد.

نوشته شبکه‌ی عصبی مصنوعی فراتر از مغز انسان؟! اولین بار در ویکدمی. پدیدار شد.

یک پای یادگیری ماشین بدون ریاضیات می‌لنگد!

فاطمه نجفی — Fri, 13 Aug 2021 13:43:09 +0000

چرا ریاضی؟

رابطه‌ی هوش‌ مصنوعی و ریاضیات را می‌توان این‌گونه بیان کرد:

کسی که در حوزه‌ی هوش‌مصنوعی فعالیت می‌کند و ریاضی نمی‌داند مانند سیاستمداریست که نمی‌داند چگونه دیگران را قانع کند.

یادگیری ماشین مجموعه‌ای از عملیات ریاضی‌ است و بر اساس اصول ریاضی مثل جبر خطی، حساب دیفرانسیل، آمار و احتمال ساخته شده است. داشتن درک ریاضی برای فهمیدن مفاهیم یادگیری ماشین بسیار ضروری‌است.

دلایل اهمیت ریاضی برای یادگیری ماشین:

دانش ریاضی به شما کمک می‌کند که الگوریتم یادگیری ماشین درست و مناسب را برای مسئله‌ی پیش رو انتخاب کنید
تخمین میزان اعتماد ما به نتیجه مدل با تولید فاصله اطمینان مناسب و اندازه گیری عدم قطعیت، به درک ریاضی نیاز دارد
مدل مناسب بسیاری از جنبه‌ها مانند معیارها، زمان آموزش، پیچیدگی مدل، تعداد پارامترها و تعداد ویژگی‌ها را در نظر می‌گیرد که برای درک همه این جنبه‌ها به ریاضیات احتیاج داریم
با دانستن ریاضیاتِ مدل‌های
یادگیری ماشین، می‌توانید مدل شخصی‌سازی شده‌ای را مناسب با مسئله‌ی خودتان توسعه دهید

کدام مباحث ریاضی در یادگیری ماشین مهم اند؟

با این که قصد یادگیری ریاضیات وجود دارد، مسئله این است که کدام مباحث را نیاز است برای یادگیری ماشین یاد بگیرید. به هر حال ریاضی بسیار گسترده است. مباحثی که نیاز داریم برای یادگیری ماشین بلد باشیم:

جبر خطی (Linear Algebra)
جبرخطی یکی از شاخه‌های ریاضیات است که در یادگیری ماشین و علوم‌داده نقش فوق‌العاده‌ای دارد و مهم‌ترین مهارت ریاضی در یادگیری‌ ماشین به حساب می‌آید. بیشتر مدل‌های یادگیری ماشین می‌توانند به فرم ماتریسی بیان شوند. مجموعه‌ داده اغلب به صورت ماتریس نمایش داده می‌شود و امکان اجرای عملیات ماتریسی را روی داده به ما می‌دهد. جبر خطی در پیش‌پردازش داده، تبدیل داده و ارزیابی داده استفاده می‌شود.
سرفصل‌ها: بردارها، ماتریس‌ها، مقادیر و بردارهای ویژه، تحلیل مولفه‌ی اصلی، تجزیه مقادیر منفرد

حساب دیفرانسیل و انتگرال (Calculus)
برای تنظیم دقیق نتایج استفاده می‌شود و به کمک آن می‌توانیم کارایی الگوریتم‌ها را بهینه کنیم. در واقع ما به حساب دیفرانسیل و انتگرال چند متغیره احتیاج داریم چون معمولا توابعی که با آن‌ها سر و کار داریم بیش از یک متغیر دارند.
سرفصل‌ها: توابع، مشتق نرده‌ای، گرادیان، حساب بردار و ماتریس، الگوریتم‌های گرادیان

احتمال (Probability)
به کمک علم احتمال می‌توانیم امکان اتفاق افتادن وقایع را در یادگیری ماشین پیش‌بینی کنیم.
سرفصل‌ها: قواعد ابتدایی و کلی، متغیرهای تصادفی- پیوسته و گسسته، امید ریاضی، واریانس، توزیع- توام و شرطی، توزیع‌های معروف: دوجمله‌ای، برنولی، پواسون، نمایی و گوسی

آمار(Statistics)
از آمار برای گرفتن نتایج منطقی از مجموعه‌داده‌ی داده شده استفاده می‌شود.
سرفصل‌ها: توزیع، گرایش مرکزی، کج بودن، ضریب همبستگی خطی، قضیه حد مرکزی، آزمایش فرضیه

سایر
سرفصل‌ها: تئوری اطلاعات، زنجیره‌ی مارکف

چگونه یاد بگیریم؟

حال با این که می‌دانیم چه مباحثی را باید بلد باشیم، هنوز هم مباحث برای یادگیری گسترده هستند. یادمان باشد که می‌خواهیم ریاضیات را برای یادگیری ماشین یاد بگیریم؛ نه فقط هر مبحثی در ریاضی را. به همین دلیل نیاز داریم که ارتباط مباحث را با الگوریتم‌های یادگیری ماشین بدانیم.

برای مثال، ممکن است با استفاده از کتابخانه‌های موجود برای یک زبان برنامه‌نویسی (مثل sklearn در پایتون) از مدل رگرسیون خطی استفاده کرده باشید و بلد باشید چگونه از آن استفاده کنید ولی ندانید که این الگوریتم دقیقا چطور کار می‌کند. در اینجا با جستجو با اصطلاحات جدیدی روبه‌رو می‌شوید که شما را به سمت مفاهیم توابع خطی و رگرسیون خطی هدایت می‌کند و می‌توانید ریاضیات آن را بهتر متوجه شوید.

باید توجه داشت که مباحث یادگیری ماشین و علوم داده درهم‌ تنیده هستند ولی مفاهیم و تصویر کلی آن‌ها از ریاضی متفاوت است به همین دلیل لازم است هنگام یادگیری ریاضیات تمرکز روی یادگیری ماشین باشد. در علوم داده، داده‌ی موجود آنالیز و فرضیه‌ها آزمایش می‌شوند به همین دلیل بیشتر تمرکز روی مباحث احتمالی است. در حالی‌که ریاضی در یادگیری ماشین متفاوت است و تمرکز روی جبر خطی به عنوان پردازش ابتدایی بیشتر مدل‌هاست و از حساب دیفرانسیل برای بهینه‌سازی استفاده می‌شود که پشتوانه‌ی بیشتر الگوریتم‌های یادگیری ماشینی است که استفاده می‌کنیم. البته منظور این نیست که یادگیری مباحث علوم داده بی‌فایده است. برعکس، این مباحث حتی می‌توانند به عنوان پیش‌نیاز یادگیری ماشین باشند.

منبع؟

با توجه به آن‌چه پیش تر در مورد نوع یادگیری ریاضی برای یادگیری ماشین متذکر شدیم، لازم است منابع در راستای یادگیری ماشین باشند. به همین دلیل در ادامه دوره‌های آموزشی، کتاب و آموزش‌های ویدئویی را معرفی می‌کنیم که برای یادگیری مفید خواهند بود.

منابع آموزشی:

آموزش‌های سایت Coursera
سایت Coursera در سه دوره مجزا ریاضیات مورد نیاز این حوزه را آموزش می‌دهد. این سه دوره که از طریق لینک دوره‌های ریاضیات ماشین لرنینگ قابل دسترسی هستند، عبارتند از جبرخطی و حساب دیفرانسیل چندمتغیره و PCA.

دوره‌ی ریاضیات یادگیری ماشین دانشگاه MIT
در این لینک مشخصات این دوره به تفصیل گفته‌شده است. مباحث این دوره به سه بخش اصلی تقسیم می‌شوند:
- The Statistical Theory of Machine Learning
- Algorithms and Convexity
- Online Learning

کتاب‌ها:

یکی از منابع مهم یادگیری مباحث ریاضی، کتاب «ریاضیات برای یادگیری ماشین» است. در این کتاب مباحث زیر در فصل‌های مجزا پوشش داده شده است که نشان می‌دهد این کتاب نسبتا منبع جامعی‌است.
1. Linear Algebra جبر خطی
2. Analytic Geometry هندسه تحلیلی
3. Matrix Decompositions تجزیه ماتریس
4. Vector Calculus حساب برداری
5. Probability and Distribution احتمال و توزیع
6. Continuous Optimization بهینه‌سازی پیوسته

کتاب دیگری که می‌توانید با آن شروع کنید، کتاب Mathematics for Machine Learning است که نوشته‌ی Garrett Thomas در سال ۲۰۱۸ است.

اگر می‌خواهید مباحث را عمیق‌تر و به صورت جدا مطالعه کنید، کتاب‌های زیر به ترتیب برای یادگیری جبرخطی و حساب دیفرانسیل چندمتغیره مفید خواهند بود.
- Linear Algebra by Jim Heffereon (2020)
- Multivariate Calculus by Shurman and College

منابع آموزشی ویدئویی:

اگر با ویدئو دیدن میانه‌ی خوبی دارید، با لینک‌های زیر می‌توانید به ویدئوهای آموزشی دسترسی داشته باشید. دو لینک اول، دو ویدئو هستند که به آموزش جبرخطی و حساب دیفرانسیل در حدود ۱۰ ساعت می‌پردازد و لینک آخر پلی‌ لیستی متشکل از ۴ ویدئوست که بهینه‌سازی را آموزش می‌دهد.

Linear Algebra for Machine Learning YouTube Video
Calculus for Machine Learning YouTube Video
Optimization Learning YouTube Video

نتیجه‌؟

هدف ما نشان‌دادن اهمیت ریاضیات برای یادگیری ماشین و معرفی منابعی برای یادگیری مباحث ضروری بود، اما در نهایت مهم است که تعادلی بین عمیق شدن در مباحث ریاضی، تئوری و پیاده‌سازی الگوریتم‌های یادگیری ماشین برقرار شود که این مسئله به فرد و انتظاراتی که از این حوزه دارد بستگی دارد.

دوره آمادگی آزمون GRE

برای آشنایی با آزمون GRE و نحوه مطالعه برای آزمون، کلیک کنید!

کلیک کنید

نوشته یک پای یادگیری ماشین بدون ریاضیات می‌لنگد! اولین بار در ویکدمی. پدیدار شد.