מהו AI מולטימודלי? הגדרה ועקרונות יסוד
AI מולטימודלי (Multimodal AI) הוא ענף בבינה מלאכותית שעוסק במערכות המסוגלות לעבד, להבין ולייצר מידע ממספר מודליות (סוגי נתונים) בו-זמנית. בעוד מודלים מסורתיים התמקדו במודליות אחת — למשל מודל שפה גדול (LLM) לטקסט בלבד, או רשת קונבולוציה לתמונות בלבד — מודל מולטימודלי משלב מספר ערוצי קלט ופלט לכדי הבנה אחודה ועמוקה יותר.
ההשראה מגיעה מהמוח האנושי: בני אדם לא מפרידים בין ראייה, שמיעה ושפה. כשאנחנו צופים בסרטון, אנחנו שומעים את הקול, רואים את הפנים ומבינים את ההקשר — הכול מתאחד לחוויה אחת. בינה מלאכותית מולטימודלית שואפת לחקות יכולת זו על ידי שילוב מקורות מידע מגוונים למודל אחד אחוד.
השונות המהותית בין AI חד-מודלי ל-AI רב-מודלי אינה רק בכמות הקלטים — אלא ביכולת היתוך (Fusion). מודל מולטימודלי אמיתי לא רק מעבד כל מודליות בנפרד אלא יוצר ייצוג משותף שבו מידע ממקור אחד משפיע על הבנת המקור השני. למשל, כשמודל רואה תמונה של כלב ושומע נביחה — הוא מבין שהם שייכים לאותו אירוע.
חמש המודליות: הערוצים של AI מולטימודלי
1. טקסט — הבסיס הלשוני
טקסט הוא המודליות הנפוצה ביותר ב-AI. מודלי שפה גדולים כמו GPT-4, Claude ו-Qwen למדו לייצג שפה באופן עשיר מאוד. במודל מולטימודלי, הטקסט משמש לרוב כ"שפת הביניים" — המודל מתרגם הבנה מכל מודליות אחרת לייצוג טקסטואלי ומשם מייצר תשובה. תמיכה בעברית מלאה כולל ניקוד, ראשי תיבות וסלנג הופכת את המודליות הזו לקריטית עבור שוק ישראלי.
2. תמונה — ראייה ממוחשבת
עיבוד תמונות הוא אולי הקפיצה הגדולה ביותר ב-עיבוד מולטימודלי. מודלים כמו Vision Transformer (ViT) ו-CLIP של OpenAI למדו לייצג תמונות במרחב וקטורי משותף עם טקסט. המשמעות: המודל מבין לא רק "מה יש בתמונה" אלא גם "מה המשמעות" — הוא יכול לזהות שלט רחוב בעברית, לקרוא מסמך סרוק, או לנתח צילום רנטגן רפואי.
3. אודיו — שמיעה ודיבור
מודליות האודיו כוללת שני כיוונים: זיהוי דיבור (STT) — המרת קול לטקסט, ו-סינתזת דיבור (TTS) — המרת טקסט לקול. מעבר לדיבור, אודיו כולל גם זיהוי רגשות מטון הדיבור (Sentiment Analysis), זיהוי דוברים (Speaker Diarization), וזיהוי צלילים סביבתיים כמו אזעקות או שבירת זכוכית.
4. וידאו — הבנת סצנות דינמיות
וידאו הוא למעשה שילוב של תמונות רציפות עם אודיו, אך מודל מולטימודלי חכם לא מעבד כל פריים בנפרד — הוא מבין את הדינמיקה הטמפורלית. למשל, הוא יכול לזהות שאדם נפל (לא רק "אדם שוכב"), או ש"מישהו נכנס לחנות ויצא בלי לשלם". Gemini 2.5 Pro של Google מוביל בתחום זה עם יכולת ניתוח וידאו עד שעה.
5. נתוני חיישנים — IoT ומידע מובנה
המודליות החמישית כוללת נתונים ממגוון חיישנים: GPS, תאוצה, טמפרטורה, לחץ, לידאר (LiDAR) לרכבים אוטונומיים, ואפילו נתונים ביומטריים כמו דופק ו-EEG. שילוב נתוני חיישנים עם ראייה ושמיעה מאפשר הבנת הקשר עמוקה — למשל, רכב אוטונומי שמשלב מצלמות, רדאר ולידאר להחלטות נהיגה בזמן אמת.
מודלים מולטימודליים מובילים — 2026
שוק המודלים המולטימודליים מתפתח במהירות. להלן סקירה של המודלים המובילים:
GPT-4V ו-GPT-4o של OpenAI
GPT-4o (ה-"o" מייצג Omni) הוא מודל מולטימודלי מקצה לקצה שמעבד טקסט, תמונות ואודיו במודל אחד מאוחד. בניגוד לגרסאות קודמות שהשתמשו ברכיבים נפרדים, GPT-4o מבצע עיבוד מולטימודלי ישירות — כולל Speech-to-Speech ללא צורך ב-STT ו-TTS נפרדים. הוא תומך בעברית ברמה טובה מאוד.
Gemini 2.5 Pro של Google
Gemini בנוי מולטימודלי מהיסוד. הוא מעבד טקסט, תמונות, אודיו ווידאו ארוך (עד שעה) בחלון הקשר אחד. חלון ההקשר שלו מגיע למיליון טוקנים, מה שמאפשר לנתח מסמכים ארוכים עם תמונות וטבלאות. Google שילבה אותו ב-Google Workspace ל-עיבוד מולטימודלי של דואר, מסמכים ופגישות.
Claude של Anthropic
Claude מציע יכולות ראייה חזקות (Vision) עם דגש על בטיחות ודיוק. הוא מצטיין בהבנת מסמכים מורכבים, תרשימים ותמונות עם טקסט. Claude ידוע ביכולת לסרב לבקשות בעייתיות גם כשהן מוסוות בתמונות — תכונה קריטית לשימוש ארגוני.
LLaVA ומודלי קוד פתוח
LLaVA (Large Language and Vision Assistant) הוא מודל קוד פתוח שמשלב מקודד ראייה (Vision Encoder) עם LLM. הוא מאפשר הרצה מקומית על חומרה עם 24GB VRAM, מה שהופך אותו למושלם עבור פתרונות On-Premise בישראל. מודלים נוספים בקוד פתוח כוללים Qwen2.5-VL של Alibaba ו-Llama 4 של Meta.
מודלים מתמחים
מעבר למודלים כלליים, קיימים מודלים מולטימודליים מתמחים: Whisper של OpenAI לזיהוי דיבור רב-שפתי, DALL-E 3 ו-Stable Diffusion 3 ליצירת תמונות מטקסט, Sora ליצירת וידאו, ו-MusicGen של Meta ליצירת מוזיקה. כל אחד מהם מתמחה בזוג מודליות ספציפי.
איך עובד AI מולטימודלי: ארכיטקטורות ומנגנונים
הבנת הארכיטקטורה של מודל מולטימודלי חיונית לבחירת הפתרון הנכון. שלושה מרכיבים מרכזיים:
מקודדים (Encoders) — שפת הייצוג
כל מודליות דורשת מקודד ייעודי שהופך את הנתונים הגולמיים לייצוג וקטורי (Embedding). עבור טקסט — טוקניזציה ו-Transformer. עבור תמונות — Vision Transformer (ViT) שמחלק את התמונה לטלאים (Patches) ומעבד כל אחד כ-"טוקן ויזואלי". עבור אודיו — ספקטרוגרמת Mel שמומרת לייצוג Transformer. המפתח הוא שכל המקודדים מייצרים וקטורים באותו מרחב מתמטי.
מנגנון תשומת לב צולבת (Cross-Attention)
Cross-Attention הוא הלב של עיבוד מולטימודלי. הוא מאפשר לטוקנים ממודליות אחת "להסתכל" על טוקנים ממודליות אחרת. למשל, כשמודל רואה תמונה ושואלים אותו "מה הצבע של המכונית?" — מנגנון Cross-Attention מחבר את המילה "מכונית" בשאלה לאזור הספציפי בתמונה שמכיל את המכונית. זהו המנגנון שמאפשר התייחסות ממוקדת בין מודליות.
ארכיטקטורות היתוך (Fusion Architectures)
קיימות שלוש גישות עיקריות להיתוך מודליות:
- היתוך מוקדם (Early Fusion): שילוב כל המודליות בשכבות הראשונות של המודל. יתרון — הבנה עמוקה של קשרים בין מודליות. חיסרון — עלות חישובית גבוהה.
- היתוך מאוחר (Late Fusion): כל מודליות מעובדת בנפרד ורק התוצאות מתאחדות. יתרון — יעילות חישובית. חיסרון — פספוס אינטראקציות עדינות.
- היתוך היברידי (Hybrid Fusion): שילוב של שתי הגישות — עיבוד נפרד עם נקודות מגע בשכבות ביניים. רוב המודלים המובילים ב-2026 משתמשים בגישה זו.
AI מולטימודלי באורקסטרציית קול
אורקסטרציית קול היא דוגמה מושלמת לצינור מולטימודלי בפעולה. כל שיחת טלפון עם סוכן קולי AI כוללת שלוש המרות בין מודליות:
- STT — זיהוי דיבור: המרת אודיו (גלי קול) לטקסט. מודל כמו Whisper Large v3 מעבד ספקטרוגרמת Mel ומייצר טקסט בעברית.
- LLM — מודל שפה: עיבוד הטקסט, הבנת הכוונה, ויצירת תשובה רלוונטית. מודל כמו Qwen 2.5 7B מעבד את ההקשר ומייצר תגובה בעברית.
- TTS — סינתזת דיבור: המרת הטקסט בחזרה לאודיו (קול אנושי). מודל כמו XTTS v2 מייצר קול טבעי עם הבעות וטונציה.
זהו צינור מולטימודלי קלאסי: אודיו נכנס, עובר דרך טקסט, ויוצא כאודיו. הביצועים נמדדים בזמן תגובה כולל (End-to-End Latency) — וברגע ששלושת הרכיבים מותאמים ומותקנים On-Premise, אפשר להגיע לזמן תגובה של כ-335 מילישניות בלבד.
הרחבה מולטימודלית של סוכנים קוליים
סוכן קולי מולטימודלי מתקדם יכול לשלב גם ראייה: הלקוח שולח תמונה ב-WhatsApp (למשל צילום של נזק), הסוכן מנתח את התמונה תוך כדי השיחה ומגיב בקול. או שימוש בזיהוי פנים לאימות זהות במוקדי שירות. השילוב של קול + ראייה + טקסט יוצר חוויית שירות שלא הייתה אפשרית קודם.
תרחישי שימוש מרכזיים של AI מולטימודלי
שאלות ותשובות ויזואליות (Visual Question Answering)
המשתמש מעלה תמונה ושואל שאלה. המודל מנתח את התמונה ועונה. לדוגמה: "מה כתוב על השלט הזה?" (OCR + הבנה), "האם הקיר הזה צריך תיקון?" (הערכה ויזואלית), "כמה אנשים בתמונה?" (ספירה). Visual QA נמצא בשימוש נרחב בשירות לקוחות, נדל"ן, ביטוח ובריאות.
הבנת מסמכים (Document Understanding)
מודלים מולטימודליים מצטיינים בקריאה והבנה של מסמכים סרוקים — חשבוניות, חוזים, טפסים ודוחות. בניגוד ל-OCR קלאסי שרק מוציא טקסט, מודל מולטימודלי מבין את המבנה: הוא יודע שהמספר "15,000" ליד הכיתוב "סה"כ" הוא הסכום הכולל, גם אם הפריסה מורכבת. תמיכה בעברית ובמסמכים דו-כיווניים (עברית-אנגלית) היא אתגר ייחודי שמודלים כמו Gemini מתמודדים איתו היטב.
ניתוח וידאו חכם
ניתוח וידאו מולטימודלי משלב ראייה ממוחשבת עם הבנת אודיו. יישומים: סיכום אוטומטי של פגישות (מי אמר מה + שקפים שהוצגו), ניטור מצלמות אבטחה (זיהוי אירועים חריגים), ניתוח ספורט (מעקב שחקנים + קריינות), וניתוח תוכן לרשתות חברתיות.
עוזרים אישיים קול + ראייה
הדור הבא של עוזרים אישיים משלב קול וראייה: הצבע על מוצר בחנות ושאל "כמה זה עולה?", צלם מתכון ובקש "תסביר לי את השלב השלישי", או הפנה את המצלמה לשדה ושאל "מה הצמח הזה?". Apple Intelligence, Google Gemini Live ו-Meta AI כבר מציעים חוויות כאלה.
AI מולטימודלי בישראל: חברות ומחקר
ישראל, כמעצמת טכנולוגיה, ממלאת תפקיד משמעותי בפיתוח AI רב-מודלי. להלן סקירה של השחקנים המרכזיים:
AI21 Labs
חברת AI21 Labs (תל אביב), שהוקמה על ידי פרופ' יואב שוהם ופרופ' אמנון שעשוע, מפתחת מודלי שפה מתקדמים עם יכולות מולטימודליות הולכות וגדלות. מודל Jamba שלהם מבוסס על ארכיטקטורת Mamba-Transformer היברידית עם חלון הקשר ארוך במיוחד.
D-ID
D-ID מתמחה ביצירת וידאו מולטימודלי — המרת תמונה וטקסט (או אודיו) לוידאו של אווטאר מדבר. הטכנולוגיה שלהם משלבת ראייה ממוחשבת, סינתזת דיבור וגנרטיב AI ליצירת תוכן מולטימודלי באיכות גבוהה. משמש בשיווק, הדרכה ושירות לקוחות.
Mobileye (אינטל ישראל)
Mobileye היא דוגמה מובהקת ל-AI מולטימודלי בפועל. מערכות הנהיגה האוטונומית שלה משלבות 13 מצלמות, 3 חיישני לידאר, 6 רדארים ומיקרופונים — כולם מעובדים בזמן אמת על ידי מערכת AI מולטימודלית שמקבלת החלטות נהיגה תוך מילישניות.
מחקר אקדמי
הטכניון, אוניברסיטת תל אביב, והמכון ויצמן מובילים מחקר ב-עיבוד מולטימודלי. פרופ' ליאור וולף מאוניברסיטת תל אביב חלוץ בתחום ראייה ממוחשבת ושילובה עם שפה. הטכניון פרסם מחקרים פורצי דרך בהתאמת מודליות (Modality Alignment) ובהיתוך מידע חזותי-לשוני. בנוסף, יחידה 8200 וחטיבות מודיעין צבאיות משתמשות ב-AI מולטימודלי בצורה נרחבת.
סטארטאפים ישראליים נוספים
- Orca AI: ניטור ספינות אוטונומיות באמצעות שילוב ראייה, רדאר ו-AIS.
- Sight Diagnostics: אבחון מחלות דם משילוב תמונות מיקרוסקופ עם נתונים קליניים.
- Aidoc: ניתוח הדמיות רפואיות (CT, MRI) עם שילוב מידע קליני טקסטואלי.
- Verbit: תמלול מולטימודלי המשלב זיהוי דיבור עם הבנת הקשר ויזואלי.
יישומים לפי מגזר
בריאות — הדמיה רפואית + רשומות
AI מולטימודלי בבריאות משלב ניתוח הדמיות רפואיות (רנטגן, CT, MRI) עם רשומות רפואיות טקסטואליות. לדוגמה, מערכת שמנתחת צילום חזה ומשלבת את הממצאים עם ההיסטוריה הרפואית של המטופל כדי לייצר דוח אוטומטי מדויק. חברות ישראליות כמו Aidoc מובילות בתחום עם פתרונות שזוכים לאישור FDA. בתי חולים בישראל כמו שיבא ואיכילוב כבר מטמיעים מערכות כאלה.
ביטחון — וידאו + אודיו + חיישנים
מגזר הביטחון בישראל הוא מהמובילים בעולם ביישום AI רב-מודלי. מערכות מודיעין משלבות ניתוח וידאו (זיהוי אובייקטים ופנים), מעקב אודיו (זיהוי ירי או פיצוצים), ונתוני חיישנים (רדאר, תרמי) לתמונת מצב אחודה. התעשייה הביטחונית כולל אלביט, רפאל ו-IAI משתמשת בהיתוך מולטימודלי למערכות הגנה ותצפית.
קמעונאות — חיפוש ויזואלי + המלצות
רשתות קמעונאות משתמשות ב-AI מולטימודלי לחיפוש ויזואלי ("מצא מוצר דומה לתמונה הזו"), לניתוח התנהגות קונים במצלמות חנות (מפות חום), ולעוזרי קנייה שמשלבים קול + ראייה. באי-קומרס, AI מולטימודלי מנתח תמונות מוצרים, ביקורות טקסט ווידאו כדי ליצור המלצות מדויקות יותר.
אתגרים ומגבלות של AI מולטימודלי
יישור בין מודליות (Modality Alignment)
אחד האתגרים הגדולים ביותר ב-עיבוד מולטימודלי הוא וידוא שהמודל מבין נכון את הקשר בין מודליות שונות. בעיות נפוצות: "הזיה ויזואלית" — המודל טוען שהוא רואה משהו שלא קיים בתמונה, אי-התאמה בין טקסט לתמונה שנוצרה, ופירוש שגוי של מיקום אלמנטים בתמונה. שיפור היישור דורש סטי אימון מולטימודליים באיכות גבוהה.
עלות חישובית
עיבוד מולטימודלי דורש משאבי חישוב כבדים בהרבה מעיבוד חד-מודלי. תמונה בודדת מומרת ל-576 עד 2,048 טוקנים — כלומר שאלה עם תמונה יכולה לצרוך פי 10 יותר משאבים משאלת טקסט רגילה. עיבוד וידאו דורש עוד יותר — עד פי 100. זה מתורגם לעלויות GPU גבוהות, במיוחד עבור פתרונות On-Premise.
נתונים מולטימודליים בעברית
זהו אתגר ייחודי לשוק הישראלי. בעוד שקיימים מיליארדי זוגות תמונה-טקסט באנגלית, הכמות בעברית קטנה משמעותית. מסמכים עבריים סרוקים מציבים אתגר נוסף בשל כיוון הכתיבה (RTL), צורות אותיות משתנות (כתב רש"י, כתב סת"ם), וניקוד. אימון מודלים מולטימודליים על נתונים עבריים דורש מאמץ ייעודי.
פרטיות ואתיקה
שילוב ראייה ושמיעה מעלה שאלות חמורות של פרטיות. מצלמות + AI מולטימודלי = יכולת מעקב חסרת תקדים. בישראל, חוק הגנת הפרטיות ותקנות אבטחת מידע מגבילים שימוש בזיהוי פנים ובניתוח ביומטרי. ארגונים חייבים לאזן בין היכולות הטכנולוגיות לחובות האתיות והמשפטיות.
מגמות עתידיות 2026-2027
1. מודלים Omni-Modal
המגמה המרכזית: מעבר ממודלים שתומכים ב-2-3 מודליות למודלים שתומכים בכל מודליות בו-זמנית — טקסט, תמונה, אודיו, וידאו, קוד, 3D, וחיישנים. Gemini ו-GPT-5 צפויים להוביל מגמה זו עם תמיכה native ב-6 מודליות ומעלה.
2. Speech-to-Speech בזמן אמת
מודלים שמעבדים אודיו ישירות לאודיו — ללא שלב טקסט ביניים — צפויים להחליף צינורות STT-LLM-TTS. זה יאפשר זמני תגובה של פחות מ-200ms, שימור טונציה ורגש, ואפילו שירה ומוזיקה בזמן אמת. ההשלכה על אורקסטרציית קול: ארכיטקטורה פשוטה יותר עם מודל אחד במקום שלושה.
3. AI מולטימודלי על מכשירים קצה
ב-2026-2027 צפויה הרצה של מודלים מולטימודליים קטנים ישירות על סמארטפונים ומכשירי IoT. Apple, Google ו-Qualcomm משקיעים מיליארדים בצ'יפים ייעודיים (NPU) שיכולים להריץ מודלים עם 3-7 מיליארד פרמטרים בזמן אמת. זה יאפשר AI מולטימודלי מלא ללא תלות בענן — יתרון אדיר לפרטיות ולזמני תגובה.
4. הבנת עולם (World Models)
מודלים שלא רק מזהים תמונות אלא מבינים פיזיקה, סיבתיות וזמן. למשל, מודל שרואה כדור מתגלגל למצוק ויודע שהוא ייפול. Meta, DeepMind ו-OpenAI מפתחים World Models שמשלבים ראייה עם מודלים פיזיקליים — צעד קריטי לקראת בינה מלאכותית כללית (AGI).
5. מולטימודלי בעברית
צפויה עלייה במודלים שתומכים בעברית ברמה גבוהה בכל המודליות. יוזמות כמו Hebrew GPT ומחקרים באוניברסיטאות ישראליות מתמקדים ביצירת סטי אימון מולטימודליים בעברית. השוק הישראלי, עם הביקוש הייחודי שלו לעברית + אנגלית + ערבית, מהווה מקרה מבחן מעניין למולטילינגואליות מולטימודלית.
טבלאות השוואה
טבלה 1: השוואת מודלים מולטימודליים מובילים
| מודל | מודליות | חלון הקשר | תמיכה בעברית | קוד פתוח | עלות לבקשה |
|---|---|---|---|---|---|
| GPT-4o | טקסט, תמונה, אודיו | 128K טוקנים | טובה מאוד | לא | 0.005-0.03 דולר |
| Gemini 2.5 Pro | טקסט, תמונה, אודיו, וידאו | 1M טוקנים | טובה | לא | 0.003-0.015 דולר |
| Claude (Vision) | טקסט, תמונה | 200K טוקנים | טובה | לא | 0.003-0.015 דולר |
| LLaVA 1.6 | טקסט, תמונה | 32K טוקנים | בסיסית | כן | חינם (On-Premise) |
| Qwen2.5-VL | טקסט, תמונה, וידאו | 128K טוקנים | בינונית | כן | חינם (On-Premise) |
| Llama 4 Scout | טקסט, תמונה | 10M טוקנים | בינונית | כן | חינם (On-Premise) |
טבלה 2: עלויות פתרון מולטימודלי — ענן מול On-Premise
| פרמטר | ענן (API) | On-Premise (קוד פתוח) |
|---|---|---|
| השקעה ראשונית | אפס | 30,000-80,000 שקלים (GPU + שרת) |
| עלות חודשית (1,000 בקשות/יום) | 3,000-9,000 שקלים | 500-1,000 שקלים (חשמל + תחזוקה) |
| זמן תגובה ממוצע | 800-2,000ms | 200-600ms |
| פרטיות נתונים | נתונים יוצאים לענן | הכול נשאר מקומי |
| תמיכה בעברית | מלאה (GPT-4o, Gemini) | דורש Fine-tuning |
| יכולות מודליות | טקסט, תמונה, אודיו, וידאו | טקסט, תמונה (וידאו מוגבל) |
| החזר על השקעה | מיידי (תשלום לפי שימוש) | 6-12 חודשים |
| מתאים ל | סטארטאפים, POC, נפח נמוך | ארגונים, נפח גבוה, ביטחון |
שאלות נפוצות
AI מולטימודלי הוא מערכת בינה מלאכותית שמסוגלת לעבד ולהבין מספר סוגי מידע בו-זמנית — טקסט, תמונות, אודיו, וידאו ונתוני חיישנים. בניגוד ל-AI חד-מודלי שמתמחה בסוג אחד בלבד (למשל רק טקסט), מודל מולטימודלי יכול לענות על שאלות לגבי תמונה, לתאר וידאו, או לשלב מידע קולי עם ויזואלי כדי להגיע להבנה עמוקה יותר.
המודלים המובילים כוללים: GPT-4V ו-GPT-4o של OpenAI (טקסט, תמונה, אודיו), Gemini 2.5 Pro של Google (טקסט, תמונה, וידאו, אודיו), Claude עם יכולות ראייה של Anthropic, ו-LLaVA כמודל קוד פתוח. בנוסף, Meta Llama 4 מציע יכולות מולטימודליות בקוד פתוח, ו-Qwen2.5-VL של Alibaba מתמחה בהבנת מסמכים ותמונות.
אורקסטרציית קול היא למעשה צינור מולטימודלי: STT ממיר אודיו לטקסט, LLM מעבד את הטקסט ומייצר תשובה, ו-TTS ממיר את הטקסט בחזרה לאודיו. זהו שילוב של שלוש מודליות שונות בצינור אחד. מודלים מולטימודליים מתקדמים כמו GPT-4o מאפשרים לעשות את כל זה במודל אחד — Speech-to-Speech — ללא צורך ברכיבים נפרדים.
כן, אך ברמות שונות. GPT-4V ו-Gemini תומכים בעברית ברמה טובה לטקסט ולהבנת תמונות עם טקסט עברי. Whisper Large v3 מצטיין בזיהוי דיבור בעברית. עם זאת, מודלים מולטימודליים מקומיים בקוד פתוח עדיין מוגבלים בעברית, ונדרש אימון נוסף (fine-tuning) על נתונים מולטימודליים בעברית.
שלושת האתגרים המרכזיים: (1) יישור בין מודליות — קושי לוודא שהמודל מבין נכון את הקשר בין תמונה לטקסט, (2) עלות חישובית — עיבוד מולטימודלי דורש GPU חזק בהרבה מעיבוד טקסט בלבד, (3) מחסור בנתונים מולטימודליים באיכות גבוהה, במיוחד בשפות כמו עברית. בנוסף, בעיות הזיה (hallucination) מתגברות כשהמודל צריך לשלב מידע ממקורות שונים.
עלויות משתנות לפי הפתרון: שימוש ב-API של GPT-4V עולה כ-0.01 עד 0.03 דולר לבקשה עם תמונה. פתרון On-Premise עם מודל קוד פתוח (LLaVA, Qwen-VL) דורש GPU עם לפחות 24GB VRAM (כ-8,000-40,000 שקלים לחומרה). פתרון מולטימודלי מלא הכולל ראייה, קול ו-LLM בענן עולה 15,000-50,000 שקלים בחודש לעסק בינוני.