למידת חיזוק (Reinforcement Learning): מדריך מקיף בעברית

מהי למידת חיזוק? סוכן, סביבה, תגמול ומדיניות

למידת חיזוק (Reinforcement Learning — RL) היא פרדיגמה בלמידת מכונה שבה סוכן (Agent) לומד לקבל החלטות על ידי אינטראקציה עם סביבה (Environment). בכל צעד, הסוכן צופה במצב הנוכחי, בוחר פעולה, מקבל תגמול (Reward) מהסביבה, ומתקדם למצב חדש. המטרה: למצוא מדיניות (Policy) — כלל החלטות — שמקסימת את סך התגמולים המצטברים לאורך זמן.

בניגוד ללמידה מפוקחת שבה המודל מקבל דוגמאות עם תשובות נכונות, ובניגוד ללמידה לא מפוקחת שבה המודל מחפש מבנים בנתונים, למידת חיזוק מבוססת על ניסוי וטעייה. הסוכן לא מקבל הוראות מפורשות — הוא מגלה בעצמו מה עובד ומה לא, באמצעות משוב מהסביבה.

ההשראה ללמידת חיזוק באה מפסיכולוגיה התנהגותית — הרעיון שבעלי חיים ובני אדם לומדים באמצעות חיזוק חיובי (תגמול) וחיזוק שלילי (עונש). כלב שמקבל חטיף כשהוא יושב לומד לשבת — זו בדיוק למידת חיזוק ביולוגית.

מושגי יסוד: Q-Learning, Policy Gradient, Actor-Critic, Reward Shaping

Q-Learning ופונקציית ערך

Q-Learning הוא אחד האלגוריתמים הקלאסיים בלמידת חיזוק, שפותח על ידי כריס ווטקינס ב-1989. האלגוריתם לומד פונקציה Q(s,a) שמעריכה את הערך הצפוי של ביצוע פעולה a במצב s — כלומר, כמה תגמול הסוכן צפוי לצבור מנקודה זו ואילך אם ינהג באופן אופטימלי.

העדכון מתבצע לפי כלל בלמן: Q(s,a) מתעדכן בהתבסס על התגמול המיידי ועל הערך המרבי של Q במצב הבא. התהליך מתכנס בהדרגה לפונקציית Q אופטימלית — ומשם ניתן לגזור מדיניות אופטימלית פשוט על ידי בחירת הפעולה עם ערך Q הגבוה ביותר בכל מצב.

Policy Gradient — למידת מדיניות ישירה

בניגוד ל-Q-Learning שלומד ערכי פעולות ומסיק מדיניות, Policy Gradient לומד ישירות פונקציית מדיניות שממפה מצבים להסתברויות פעולה. היתרון המרכזי הוא שהגישה מטפלת באופן טבעי במרחבי פעולה רציפים — למשל, שליטה במהירות ובזווית של רובוט, שבהם Q-Learning מתקשה.

אלגוריתם REINFORCE הוא ה-Policy Gradient הבסיסי: הוא מריץ אפיזודות שלמות, מחשב את התגמול הכולל, ומעדכן את פרמטרי המדיניות בכיוון שמגדיל את ההסתברות של פעולות שהניבו תגמול גבוה. החיסרון הוא שונות גבוהה (High Variance) באומדנים.

Actor-Critic — השילוב הטוב משני העולמות

ארכיטקטורת Actor-Critic משלבת בין שתי הגישות: ה-Actor הוא רשת שלומדת את המדיניות (מה לעשות), וה-Critic הוא רשת שלומדת את פונקציית הערך (כמה טוב המצב). ה-Critic מספק ל-Actor אומדן מדויק יותר של ערך הפעולות, מה שמפחית את השונות ומייצב את הלמידה.

Reward Shaping — עיצוב תגמולים

עיצוב תגמולים הוא אמנות (ומדע) של הגדרת פונקציית התגמול כך שהסוכן ילמד את ההתנהגות הרצויה. תגמול דליל (רק בסוף המשימה) מקשה על הלמידה, ותגמול צפוף (בכל צעד) עלול ליצור התנהגות בלתי צפויה. המפתח הוא לתגמל התקדמות לקראת המטרה בלי ליצור "קיצורי דרך" לא רצויים.

דוגמאות מפורסמות: AlphaGo, AlphaFold, OpenAI Five, ChatGPT RLHF

AlphaGo — הניצחון על אלוף העולם בגו

ב-2016, AlphaGo של DeepMind ניצח את לי סדול, אלוף העולם במשחק הגו — הישג שמומחים חזו שיקרה רק ב-2027. המערכת שילבה למידה מפוקחת (מהמשחקים של מקצוענים אנושיים) עם למידת חיזוק (משחק נגד עצמה). הדור הבא, AlphaZero, למד מאפס — ללא ידע אנושי כלל — והגיע לרמה על-אנושית בגו, שחמט ושוגי תוך שעות בלבד.

AlphaFold — מהפכה בביולוגיה חישובית

AlphaFold של DeepMind פתר את בעיית קיפול החלבונים — אחת הבעיות הפתוחות הגדולות בביולוגיה. למרות שהמערכת מבוססת בעיקר על למידה עמוקה, אלמנטים של למידת חיזוק שימשו לאופטימיזציה של מבני חלבונים. ההשלכות של AlphaFold על פיתוח תרופות, חקלאות ומדעי החיים הן עצומות.

OpenAI Five — ניצחון אלופי עולם ב-Dota 2

ב-2019, צוות של חמישה סוכני AI שאומנו עם PPO ניצח את אלופי העולם במשחק Dota 2 — משחק אסטרטגיה מורכב בצוותות עם מידע חלקי, מרחב פעולות ענק ותכנון ארוך טווח. האימון דרש עשרת אלפים שנות משחק מדומות על אלפי GPUs.

ChatGPT — RLHF שינה את העולם

ההצלחה המסחררת של ChatGPT מבוססת במידה רבה על RLHF — למידת חיזוק ממשוב אנושי. ללא RLHF, מודלי שפה גדולים נוטים לתת תשובות אמיתיות אך לא שימושיות, ארוכות מדי, או שאינן מתיישרות עם ציפיות המשתמש. RLHF "מלטש" את המודל כך שהתשובות יהיו מועילות, בטוחות ואנושיות.

RLHF: למידת חיזוק ממשוב אנושי ותפקידה במודלי שפה

RLHF (Reinforcement Learning from Human Feedback) הוא תהליך בן שלושה שלבים שמכוונן מודלי שפה גדולים כך שיתנו תשובות שמתיישרות עם ציפיות אנושיות:

1. שלב ראשון — SFT (Supervised Fine-Tuning): כיוונון מפוקח של המודל על דוגמאות של שאלות ותשובות איכותיות שנכתבו על ידי מאמנים אנושיים
2. שלב שני — Reward Model: מאמנים אנושיים מדרגים זוגות תשובות (איזו תשובה עדיפה), ומאמנים מודל תגמול שלומד לחזות העדפות אנושיות
3. שלב שלישי — PPO: המודל מייצר תשובות, מודל התגמול מעריך אותן, ואלגוריתם PPO מעדכן את המודל למקסם את התגמול — תוך שמירה שהמודל לא יסטה יותר מדי מהמודל המקורי (KL Penalty)

גרסאות מתקדמות כוללות DPO (Direct Preference Optimization) שעוקף את הצורך במודל תגמול נפרד, RLAIF (RL from AI Feedback) שבו AI מספק את המשוב במקום בני אדם, ו-Constitutional AI של Anthropic שמגדיר עקרונות חוקתיים שהמודל צריך לעמוד בהם.

שימושים: רובוטיקה, משחקים, רכב אוטונומי, אופטימיזציה ומסחר

רובוטיקה

למידת חיזוק מאפשרת לרובוטים ללמוד משימות מורכבות — הליכה, ריצה, תפיסת חפצים, הרכבה — מניסיון ולא מתכנות מפורש. רובוטים הומנואידיים כמו Tesla Optimus ו-Figure 01 משתמשים ב-RL כדי ללמוד תנועות גוף זורמות. האתגר המרכזי הוא Sim-to-Real Transfer — העברת מדיניות שנלמדה בסימולציה לעולם האמיתי.

משחקים ו-AI

משחקים היו היסטורית מעבדת הניסויים של למידת חיזוק — מ-TD-Gammon (שש-בש, 1992) דרך Atari DQN (2013) ו-AlphaGo (2016) ועד OpenAI Five (Dota 2, 2019). משחקים מספקים סביבה מבוקרת עם כללים ברורים, משוב מספרי (ניקוד) ויכולת לשחק מיליוני משחקים בסימולציה.

רכב אוטונומי

חברות כמו Waymo ו-Tesla משתמשות בלמידת חיזוק לתכנון נתיבים ולקבלת החלטות בנהיגה — מתי לעצור, מתי לפנות, איך להתמודד עם מצבים לא צפויים. האתגר הוא בטיחות: בניגוד למשחק, שגיאה בנהיגה עלולה לעלות בחיי אדם. לכן משתמשים ב-Safe RL עם אילוצים שמגבילים את מרחב הפעולות.

אופטימיזציית משאבים

גוגל השתמשה ב-RL כדי להפחית את צריכת החשמל במרכזי הנתונים שלה ב-40 אחוזים. למידת חיזוק מצוינת לבעיות אופטימיזציה מתמשכות שבהן הסביבה משתנה — ניהול רשתות חשמל, אופטימיזציית שרשראות אספקה, ותזמון משאבי ענן.

מסחר אלגוריתמי

קרנות גידור משתמשות ב-RL לפיתוח אסטרטגיות מסחר שמתאימות את עצמן לתנאי שוק משתנים. הסוכן לומד מתי לקנות, מתי למכור ובאיזה כמות — תוך אופטימיזציה של יחס תשואה-סיכון.

מחקר ישראלי בלמידת חיזוק: הטכניון, האוניברסיטה העברית ומכון ויצמן

ישראל היא מעצמת מחקר בלמידת חיזוק, עם תרומות משמעותיות מהאקדמיה והתעשייה:

• הטכניון: מחקר פורץ דרך ב-Safe RL — למידת חיזוק עם אילוצי בטיחות. פרופסור שי מנור וצוותו פיתחו אלגוריתמים שמבטיחים שהסוכן לא יפר אילוצים גם בזמן הלמידה. חיוני לרובוטיקה ורכב אוטונומי
• האוניברסיטה העברית: מחקר בתחום Multi-Agent RL — למידת חיזוק של מספר סוכנים שפועלים יחד. רלוונטי לצוותי רובוטים, משחקי צוותות ומערכות מבוזרות
• מכון ויצמן: מחקר תיאורטי על גבולות ויעילות של אלגוריתמי RL, כולל תוצאות על Sample Complexity — כמה ניסיון נדרש כדי ללמוד מדיניות טובה
• Google DeepMind ישראל (לשעבר Mobileye): צוותי RL שעובדים על רכב אוטונומי ושיפור מודלי שפה
• AI21 Labs: סטארטאפ ישראלי שמשתמש בטכניקות RLHF לכיוונון מודלי השפה שלו

האקוסיסטם הישראלי בולט במעבר מהיר ממחקר אקדמי ליישום תעשייתי. חוקרי RL ישראלים מובילים גם בפרסומים בכנסים מובילים כמו NeurIPS, ICML ו-ICLR.

למידת חיזוק בסוכנים קוליים: אופטימיזציית שיחות וקיצור זמנים

למידת חיזוק מציעה גישה מהפכנית לשיפור סוכנים קוליים AI. במקום לתכנת כללי שיחה ידניים, הסוכן הקולי לומד מניסיון אילו אסטרטגיות שיחה מניבות את התוצאות הטובות ביותר.

אופטימיזציית זרימת שיחה

הסוכן הקולי מקבל תגמול חיובי כשהשיחה מסתיימת בהצלחה (תור נקבע, מכירה בוצעה, לקוח מרוצה) ותגמול שלילי כשהלקוח מנתק, מבקש נציג אנושי או מתלונן. עם הזמן, הסוכן לומד את ה"נתיב" האופטימלי בשיחה — מתי לשאול שאלה, מתי להציע פתרון, ומתי להעביר לנציג אנושי.

קיצור זמני שיחה

על ידי הוספת עלות זמן (תגמול שלילי קטן לכל שנייה של שיחה), הסוכן לומד לנהל שיחות יעילות ותמציתיות — בלי לפגוע באיכות השירות. התוצאה: ירידה של 20 עד 35 אחוזים בזמן שיחה ממוצע.

פרסונליזציית שיחות

הסוכן לומד להתאים את סגנון השיחה ללקוח. לקוח שמעדיף תשובות קצרות ולעניין יקבל גישה תכליתית. לקוח שאוהב לדבר יקבל גישה חמה ומפורטת יותר. ה-RL מאפשר למידה רציפה של העדפות ללא תכנות מפורש. ניתן לשלב עם מערכות המלצה AI להמלצת מוצרים בזמן שיחה.

למידת חיזוק עמוקה: DQN, PPO, SAC

DQN — Deep Q-Network

DQN (2013) היה פריצת הדרך שהראתה שלמידת חיזוק עמוקה אפשרית. המערכת שילבה Q-Learning עם רשת נוירונים עמוקה (CNN) כדי לשחק משחקי Atari ברמה על-אנושית — ישירות מפיקסלים, ללא ידע מוקדם על המשחק. שני חידושים מרכזיים: Experience Replay — שמירת חוויות ישנות ולמידה מהן שוב, ו-Target Network — רשת יעד נפרדת שמייצבת את הלמידה.

PPO — Proximal Policy Optimization

PPO (2017) של OpenAI הוא כיום האלגוריתם הנפוץ ביותר בתעשייה. הוא פשוט ליישום, יציב, ועובד על מגוון רחב של בעיות — ממשחקים ורובוטיקה ועד RLHF למודלי שפה. העיקרון: להגביל את גודל העדכון של המדיניות בכל צעד (Clipping) כדי למנוע שינויים דרסטיים שהורסים את הביצועים.

SAC — Soft Actor-Critic

SAC (2018) מוסיף אלמנט של אנטרופיה לפונקציית המטרה — הסוכן מתוגמל לא רק על תוצאות טובות אלא גם על חקירה (ניסיון פעולות מגוונות). התוצאה: סוכן שגם מצליח וגם מגלה אסטרטגיות חדשות. SAC יעיל במיוחד לשליטה רציפה ברובוטיקה ובשיקולי תנועה.

אתגרים: יעילות מדגם, Sim-to-Real Transfer, בטיחות

יעילות מדגם (Sample Efficiency)

האתגר הגדול ביותר של למידת חיזוק הוא כמות הניסיון הנדרשת. AlphaGo שיחק מיליוני משחקים נגד עצמו. OpenAI Five אומן על עשרת אלפים שנות משחק. בסביבה אמיתית — רובוט פיזי, רכב, מפעל — אי אפשר לבזבז מיליוני ניסויים. פתרונות כוללים Model-Based RL שלומד מודל של הסביבה ומתכנן בו, Offline RL שלומד מנתונים שנאספו מראש, ו-Transfer Learning שמעביר ידע מסביבה אחת לאחרת.

Sim-to-Real Transfer

העברה מסימולציה לעולם אמיתי היא אתגר קריטי ברובוטיקה. מדיניות שעובדת מצוין בסימולטור נכשלת לעתים קרובות בעולם האמיתי בגלל הבדלים פיזיקליים (חיכוך, גמישות חומרים, תאורה). טכניקת Domain Randomization מתגברת על זה על ידי אימון בסימולציות עם פרמטרים משתנים — כך הסוכן לומד מדיניות חסינה לשונות.

בטיחות ואילוצים

בעולם האמיתי, סוכן RL חייב לפעול בבטחה גם בזמן הלמידה — הוא לא יכול "לנסות" מעשה מסוכן כדי ללמוד שזה רעיון גרוע. Safe RL מגדיר אילוצים שהסוכן לא יפר אף פעם (למשל, רובוט לא ייגע באדם), Constrained MDP מגביל את מרחב הפעולות, ו-Human-in-the-Loop מאפשר לאדם לעצור את הסוכן בזמן אמת.

טבלת השוואה: אלגוריתמים מרכזיים בלמידת חיזוק

אבני דרך בלמידת חיזוק

שאלות נפוצות על למידת חיזוק