שיטות אופטימיזציה ויישומיהן

הקורס יעסוק במתן כלים אלגוריתמיים ונומריים לפתרון בעיות אופטימיזציה חישובית, בדגש על ניתוח מידע. הקורס יכלול: חזרה ויישור קו באלגברה ליניארית: נורמות, ריבועים פחותים, פירוק ערכים עצמיים וSVD, ואופטימיזציה של פונקציות ריבועיות. קמירות, שיטות איטרטיביות לאופטימיזציה לא ליניארית ללא אילוצים (שיטות גראדינט, ניוטון, קוואזי-ניוטון, גראדינטים צמודים, שיטות תתי-מרחב, BFGS), שיטות חיפוש על ישר. אופטימיזציה עם אילוצי שוויון ואי שוויון (כופלי לגרנז‘ ותנאי KKT), תכנות ליניארי וריבועי, שיטות עונש, מחסום, והטלה להתמודדות עם אילוצים. דואליות. שיטות פיצול (ADMM). מבוא לאופטימיזציה סטוכסטית (SGD). מבוא לאופטימיזציה לא חלקה, ומונחית דלילות. סטטיסטיקה עמידה להתמודדות עם נתונים חריגים. מטלות הקורס יכללו כתיבת תכניות מחשב למימוש מעשי והדגמת האלגוריתמים בקורס.