מהי סינתזת דיבור (TTS)?
סינתזת דיבור, או Text-to-Speech (TTS), היא הטכנולוגיה שממירה טקסט כתוב לדיבור אנושי טבעי. זוהי הטכנולוגיה ההפוכה ל-זיהוי דיבור (STT) — במקום להפוך קול לטקסט, היא הופכת טקסט לקול. בעולם הסוכנים הקוליים, TTS הוא ה״פה״ של המערכת — הרכיב שנותן לסוכן AI את הקול שלו.
הטכנולוגיה עברה מהפכה בשנים האחרונות. עד לפני כמה שנים, סינתזת דיבור נשמעה רובוטית ומלאכותית — הקול היה מונוטוני, ללא אינטונציה טבעית, וקל מאוד לזהות שמדובר במכונה. כיום, מודלים מתקדמים כמו XTTS v2 ו-ElevenLabs מייצרים דיבור שקשה להבדיל מדיבור אנושי אמיתי — עם אינטונציה טבעית, הטעמות רגשיות, נשימות קלות ואפילו היסוסים קלים שמאפיינים דיבור אנושי.
תהליך סינתזת הדיבור המודרני כולל מספר שלבים: ניתוח טקסט (זיהוי מילים, פיסוק, מספרים וקיצורים), המרה לייצוג פונטי (איך כל מילה נשמעת), יצירת פרוסודיה (אינטונציה, קצב, הטעמות), ולבסוף יצירת גל השמע עצמו. במערכות מבוססות רשתות נוירוניות, רוב השלבים האלה מתבצעים באופן אוטומטי על ידי המודל.
אתגרי עברית ב-TTS
סינתזת דיבור בעברית מציבה אתגרים ייחודיים שלא קיימים בשפות אירופיות. הנה העיקריים:
הגייה נכונה ללא ניקוד
כפי שצוין במדריך ה-STT, עברית נכתבת ללא ניקוד. זה מאתגר את ה-TTS כי אותו כתיב יכול להיקרא בדרכים שונות. למשל, ״עולם״ — האם זה ״עוֹלָם״ (world) או ״עוֹלֵם״ (ascending)? ״ספר״ — האם זה ״סֵפֶר״ (book), ״סַפָּר״ (barber) או ״סָפַר״ (counted)? מערכת TTS טובה צריכה לנתח את ההקשר כדי לקבוע את ההגייה הנכונה.
אינטונציה עברית
לעברית יש דפוסי אינטונציה ייחודיים שנשמעים שונה מאנגלית או צרפתית. שאלות בעברית לא תמיד מסתיימות בעליית טון (כמו באנגלית). הטעמת מילים בעברית היא בדרך כלל על ההברה האחרונה (מלרע), בניגוד לשפות רבות. מערכת TTS שאומנה בעיקר על אנגלית עלולה להטעים מילים בעברית בצורה לא טבעית, מה שנשמע ״זר״ לאוזן ישראלית.
מילים לועזיות ושמות פרטיים
עברית מלאה במילים שאולות מאנגלית, ערבית, יידיש ושפות אחרות. מערכת TTS צריכה לדעת לעבור בצורה חלקה בין הגייה עברית להגייה אנגלית באמצע משפט. למשל, ״אני צריך לעשות check-in ב-lobby של ה-hotel״ צריך להיקרא עם הגייה אנגלית למילים הלועזיות והגייה עברית לשאר המשפט.
מספרים ותאריכים
מספרים בעברית הם מורכבים במיוחד. יש צורות שונות לזכר ולנקבה (שלושה ילדים, שלוש ילדות), צורות מיוחדות למספרים 11 עד 19 (אחד עשר, שנים עשר), ומערכת מורכבת לתאריכים עבריים. מערכת TTS צריכה להמיר את המספר 23 ל-״עשרים ושלושה״ או ״עשרים ושלוש״ בהתאם להקשר.
קיצורים והגדרות מיוחדות
עברית מלאה בקיצורים: ד״ר, פרופ׳, מר, גב׳, ח״כ, צה״ל, מט״ח, כד׳. מערכת TTS צריכה לדעת לפרוש כל קיצור — ד״ר הופך ל-״דוקטור״, ח״כ הופך ל-״חבר כנסת״, מט״ח הופך ל-״מטבע חוץ״. טיפול לא נכון בקיצורים גורם ל-TTS להקריא את האותיות אחת אחת, מה שנשמע מגוחך.
המודלים המובילים לסינתזת דיבור בעברית
XTTS v2 (Coqui)
XTTS v2 הוא מודל TTS רב-לשוני בקוד פתוח שפותח על ידי Coqui. הוא תומך ב-17 שפות כולל עברית, ומציע יכולות מתקדמות כמו קלונינג קול מדגימה קצרה של 6 שניות בלבד. XTTS v2 הוא המודל שאנחנו משתמשים בו בפלטפורמת האורקסטרציה שלנו, בעיקר בגלל שהוא רץ מקומית (ללא ענן), תומך בסטרימינג, ומייצר קול טבעי מאוד בעברית.
היתרונות של XTTS v2: קוד פתוח וחינמי, קלונינג קול, סטרימינג chunk-by-chunk, תמיכה ב-DeepSpeed למהירות כפולה, ואפשרות להתאמה אישית מלאה. החיסרון העיקרי: הוא דורש GPU ומיומנות טכנית להתקנה וכוונון.
ElevenLabs
ElevenLabs הוא שירות TTS מבוסס ענן שנחשב לאחד הטובים ביותר בעולם מבחינת איכות הקול. הוא מציע מגוון קולות מוכנים בעברית, קלונינג קול מתקדם, ושליטה עדינה בפרמטרים כמו יציבות, דמיון לקול המקורי ואקספרסיביות. התמיכה בעברית היא מהטובות בשוק, עם הגייה טבעית ואינטונציה ישראלית אותנטית.
החיסרון: ElevenLabs הוא שירות ענן בתשלום, מה שאומר שהטקסט נשלח לשרתים חיצוניים (בעיה לארגונים עם דרישות פרטיות), והעלות עולה עם כמות השימוש — 0.15 עד 0.30 דולר לכל 1,000 תווים.
Google Cloud TTS
Google Cloud TTS מציע שני סוגי קולות: Standard (בסיסי, זול) ו-WaveNet/Neural2 (איכותי, יקר יותר). התמיכה בעברית כוללת מספר קולות גבריים ונשיים. האיכות של קולות Neural2 טובה, אך עדיין נחותה מ-ElevenLabs ומ-XTTS v2 מכוונן. היתרון: API פשוט, אמינות גבוהה ומחיר תחרותי (0.004 עד 0.016 דולר ל-1,000 תווים).
Azure Speech (Microsoft)
Azure Neural TTS מציע קולות עבריים באיכות טובה עם אפשרות SSML (Speech Synthesis Markup Language) לשליטה עדינה באינטונציה, מהירות, עוצמה והפסקות. Azure מתאים במיוחד לארגונים שכבר משתמשים בתשתית Microsoft. המחיר דומה ל-Google — 0.016 דולר ל-1,000 תווים לקולות Neural.
Narakeet
Narakeet הוא שירות TTS פשוט יותר שמתמקש ביצירת סרטונים עם קריינות אוטומטית. הוא מציע קולות בעברית ומתאים לשימושים כמו סרטוני הדרכה, מצגות מוקלטות ותוכן e-learning. הוא לא מתאים לשימוש בזמן אמת בסוכנים קוליים, אבל מצוין לייצור תוכן אודיו סטטי.
XTTS v2 — פתרון קוד פתוח מתקדם
XTTS v2 (Cross-lingual Text-to-Speech v2) הוא מודל TTS רב-לשוני שפותח על ידי Coqui ושוחרר כקוד פתוח. זהו הלב של מערכת ה-TTS שלנו, והנה למה:
קלונינג קול (Voice Cloning)
אחת היכולות המרשימות ביותר של XTTS v2 היא קלונינג קול — היכולת ליצור קול סינתטי שנשמע כמו אדם ספציפי, מדגימה קצרה של 6 עד 30 שניות בלבד. המערכת מנתחת את דגימת הקול, מחלצת את ה-speaker embedding (ייצוג מתמטי של מאפייני הקול), ומשתמשת בו ליצירת דיבור חדש באותו קול.
בפועל, זה מאפשר ליצור קול ייחודי לסוכן הקולי — קול שלא נשמע כמו שום קול מוכן מראש, אלא קול מותאם שמייצג את המותג. למשל, רשת מרפאות יכולה ליצור קול חם ורגוע לסוכן שמקבל שיחות, וחברת הייטק יכולה ליצור קול צעיר ודינמי.
סטרימינג Chunk-by-Chunk
במקום לחכות שכל התשובה תסונתז ורק אז להתחיל להשמיע, XTTS v2 תומך בסטרימינג — הוא מייצר את השמע ב-chunks (קטעים) ומתחיל להשמיע את ה-chunk הראשון בזמן שהמשך התשובה עדיין נוצר. זה מקצר את זמן ההמתנה המורגש באופן דרמטי.
DeepSpeed — האצת עיבוד
DeepSpeed היא ספרייה של Microsoft שמאיצה את חישובי הרשתות הנוירוניות. כשמפעילים XTTS v2 עם DeepSpeed, הביצועים משתפרים פי 2 עד 3. ה-chunk הראשון מוכן תוך 84 אלפיות השנייה במקום כ-200-250 ללא DeepSpeed. זה ההבדל בין שיחה שמרגישה טבעית לשיחה עם עיכובים מורגשים.
חשוב לדעת: DeepSpeed ו-torch.compile לא עובדים יחד. צריך לבחור אחד מהם. בנוסף, כש-DeepSpeed מופעל, אין צורך להפעיל FP16 בנפרד כי DeepSpeed מטפל ב-precision באופן פנימי.
TTS בסוכנים קוליים: סטרימינג ומהירות
בסוכן קולי AI, ה-TTS צריך לעבוד בצורה שונה מהותית מ-TTS ליצירת תוכן סטטי. הנה האתגרים והפתרונות:
סטרימינג Chunk-by-Chunk
ברגע שה-LLM מתחיל לייצר את התשובה (טוקן אחרי טוקן), מערכת ה-TTS מתחילה לסנתז את המילים הראשונות עוד לפני שכל התשובה מוכנה. ה-chunk הראשון — בדרך כלל 2-3 מילים — מושמע למתקשר תוך 84 אלפיות השנייה. בזמן שהמתקשר שומע את תחילת התשובה, ה-TTS ממשיך לסנתז את המשך התשובה ברקע.
הטכניקה הזו נקראת ״chunked streaming״ והיא קריטית ליצירת חוויית שיחה טבעית. ללא סטרימינג, המתקשר היה צריך לחכות 728 אלפיות השנייה (כמעט שנייה שלמה) עד שכל התשובה מסונתזת — שתיקה ארוכה ולא טבעית.
Buffer מנוהל
כדי למנוע ״גמגום״ בהשמעה, המערכת שומרת buffer של שמע — כ-300 אלפיות השנייה (28,800 דגימות ב-8kHz). ה-buffer מבטיח שיש מספיק שמע מוכן להשמעה גם אם ה-TTS מתעכב רגע ביצירת ה-chunk הבא. זה כמו buffer של סרטון YouTube — מבטיח השמעה חלקה גם כשיש תנודות במהירות הייצור.
Barge-in (הפרעה)
מה קורה כשהמתקשר מפסיק את הסוכן באמצע תשובה? בשיחה אנושית, זה קורה כל הזמן — אנשים מפסיקים אחד את השני. המערכת שלנו מזהה barge-in על ידי ניטור רמת הרעש בערוץ השמע של המתקשר. כשהרמה עולה מעל סף של 350 RMS למשך 4 chunks לפחות, המערכת עוצרת את השמעת ה-TTS, מנקה את ה-buffer, ומתחילה להקשיב לדברי המתקשר.
ניקוי טקסט לפני TTS
לפני שהטקסט מה-LLM נשלח ל-TTS, הוא עובר ניקוי אוטומטי שכולל:
- הסרת תווים סיניים/יפניים (ארטיפקטים של LLM)
- הסרת המילה ״נקודה״ (ארטיפקט נפוץ)
- המרת שלוש נקודות (...) לנקודה אחת (מונע באג רעש ב-XTTS)
- פריסת קיצורים: מ. הופך למר, גב. הופך לגברת, ד״ר הופך לדוקטור
- המרת מספרים 0-100 ו-1000 למילים בעברית
קלונינג קול: יצירת קול ייחודי לסוכן
קלונינג קול היא אחת היכולות המרשימות ביותר של XTTS v2. בעזרתה, אפשר ליצור קול סוכן שנשמע כמו אדם ספציפי, או ליצור קול ייחודי חדש שמתאים לזהות המותג.
איך זה עובד?
התהליך מתחיל בהקלטת דגימת קול של 6 עד 30 שניות. הדגימה צריכה להיות נקייה — ללא רעשי רקע, ללא מוזיקה, רק דיבור ברור של אדם אחד. המודל מנתח את הדגימה ומחלץ ממנה ייצוג מתמטי של מאפייני הקול — גובה, גוון, קצב טבעי, דפוסי אינטונציה ומאפיינים ייחודיים. הייצוג הזה נשמר כקובץ speaker embedding שמשמש את ה-TTS לכל סינתזה עתידית.
טיפים ליצירת דגימת קול איכותית
- אורך: 15-30 שניות הם האידיאל. 6 שניות מספיקות אבל נותנות תוצאה פחות עקבית
- איכות: הקלטה באיכות 16kHz לפחות, מונו, ללא רעשי רקע
- תוכן: עדיף שהדגימה תכלול דיבור טבעי, לא קריאה מטקסט. משפטים שלמים עם אינטונציה מגוונת (שאלות, הצהרות, ביטויי הסכמה)
- שפה: הדגימה צריכה להיות באותה שפה שבה הסוכן ידבר. לסוכן עברי — דגימה בעברית
- אחידות: דגימה של דובר אחד בלבד, ללא הפרעות או דיבור חופף
פרמטרים שמשפיעים על טבעיות הקול
XTTS v2 מציע מספר פרמטרים שאפשר לכוונן כדי לשלוט באיכות ובטבעיות של הדיבור המסונתז. הנה הפרמטרים החשובים וההשפעה שלהם:
| פרמטר | ערך מומלץ | השפעה |
|---|---|---|
| temperature | 0.75 | שולט בגיוון הפיץ׳ והאינטונציה. ערך גבוה יותר = דיבור מגוון ואקספרסיבי יותר, אבל פחות צפוי |
| repetition_penalty | 5.0 | מונע חזרות בדפוסי הקול. ערך נמוך יותר = זרימה טבעית יותר |
| top_k | 50 | מספר הבחירות שהמודל שוקל בכל שלב. ערך גבוה = גיוון רב יותר בדיבור |
| top_p | 0.85 | שולט בגיוון דפוסי הדיבור. ערך גבוה = דפוסים מגוונים יותר |
הערכים שלמעלה כוויינו עבור דיבור עברי טבעי בשיחות טלפון. עבור שימושים אחרים (קריאת חדשות, הוראות ניווט, e-learning), ייתכן שתרצו ערכים שונים — למשל temperature נמוך יותר (0.5-0.6) לדיבור יציב ועקבי יותר.
טבלה: השוואת פלטפורמות TTS לעברית
| פלטפורמה | איכות עברית | מהירות | עלות | מקומי/ענן | קלונינג קול |
|---|---|---|---|---|---|
| XTTS v2 | גבוהה | 84ms (chunk ראשון) | חינם (קוד פתוח) | מקומי | כן (6 שניות) |
| ElevenLabs | גבוהה מאוד | 100-200ms | 0.15-0.30 דולר/1K תווים | ענן | כן (מתקדם) |
| Google Cloud TTS | בינונית-גבוהה | 100-300ms | 0.004-0.016 דולר/1K תווים | ענן | לא |
| Azure Neural TTS | בינונית-גבוהה | 100-250ms | 0.016 דולר/1K תווים | ענן | מוגבל |
| Narakeet | בינונית | אין זמן אמת | 0.05 דולר/דקת שמע | ענן | לא |
| Amazon Polly | בינונית | 100-300ms | 0.004-0.016 דולר/1K תווים | ענן | לא |
שימושים מעבר לסוכנים קוליים
נגישות
סינתזת דיבור בעברית היא כלי קריטי לנגישות. היא מאפשרת לאנשים עם לקות ראייה לצרוך תוכן כתוב — אתרי אינטרנט, מסמכים, מיילים ואפליקציות. חוק הנגישות הישראלי מחייב ארגונים ציבוריים להנגיש את השירותים שלהם, ו-TTS הוא חלק מהותי מכך. מערכת TTS באיכות גבוהה הופכת את חוויית ההאזנה לנעימה ולא מעייפת — קריטי עבור אנשים שמשתמשים ב-TTS שעות ביום.
E-Learning ולימוד מרחוק
פלטפורמות לימוד מקוונות משתמשות ב-TTS ליצירת שיעורים מוקלטים ללא צורך בקריין אנושי. מורה יכול לכתוב תוכן שיעור והמערכת מקריאה אותו בקול טבעי. זה מפחית עלויות ומאפשר עדכון מהיר של תוכן — שינוי בטקסט מתעדכן מיד בקול, ללא צורך בהקלטה מחדש.
פודקאסטים אוטומטיים
יוצרי תוכן משתמשים ב-TTS ליצירת פודקאסטים מתוכן כתוב — בלוגים, מאמרים חדשותיים וסיכומים. עם קלונינג קול, אפשר ליצור ״מנחה וירטואלי״ עם קול עקבי שמקריא תוכן חדש מדי יום. זה פותח אפשרויות ליצירת תוכן אודיו בהיקף גדול ללא תלות בקריינים אנושיים.
IVR ומענה קולי אוטומטי
גם מערכות IVR מסורתיות (שאינן סוכנים קוליים AI) יכולות ליהנות מ-TTS. במקום להקליט מראש כל הודעה אפשרית, אפשר לייצר הודעות דינמיות — ״התור שלך ביום ראשון, השלישי במרץ, בשעה עשר בבוקר, אצל דוקטור כהן.״ כל ההודעה נוצרת בזמן אמת מנתונים מהמערכת.
עוזרים קוליים ו-Smart Home
מכשירים חכמים לבית ועוזרים קוליים כמו אלקסה ו-Google Home משתמשים ב-TTS כדי לדבר עם המשתמשים. עם מודלים כמו XTTS v2, אפשר ליצור עוזר קולי מקומי שעובד ללא חיבור לאינטרנט — פתרון מושלם למי שמודאג מפרטיות ולא רוצה שכל שאלה תישלח לשרתים של אמזון או גוגל.
שאלות נפוצות
סינתזת דיבור (Text-to-Speech) היא טכנולוגיה שממירה טקסט כתוב לדיבור אנושי. מודלים מודרניים מבוססי רשתות נוירוניות מנתחים את הטקסט, קובעים את ההגייה, האינטונציה והקצב, ומייצרים גל שמע שנשמע טבעי ואנושי. מערכות מתקדמות כמו XTTS v2 יכולות גם לשכפל קול ספציפי מדגימה של 6 שניות בלבד.
עבור פריסה מקומית (On-Premise), XTTS v2 של Coqui הוא הפתרון המומלץ — קוד פתוח, תמיכה בעברית, קלונינג קול וסטרימינג. עבור שירות ענן, ElevenLabs מציע את האיכות הגבוהה ביותר בעברית עם מגוון קולות ואפשרויות התאמה. Google Cloud TTS הוא אפשרות חסכונית לשימושים בסיסיים.
קלונינג קול (Voice Cloning) היא טכניקה שמאפשרת ליצור קול סינתטי שנשמע כמו אדם ספציפי. המערכת מנתחת דגימת קול קצרה (6 עד 30 שניות) ולומדת את המאפיינים הייחודיים — גובה, גוון, קצב ואינטונציה. לאחר מכן, כל טקסט שנשלח למערכת יוקרא בקול הזה. XTTS v2 תומך בקלונינג קול בעברית ומייצר תוצאות טבעיות.
עם XTTS v2 ו-DeepSpeed על RTX 4090, ה-chunk הראשון של שמע מוכן תוך 84 אלפיות השנייה בלבד. זה אומר שהמתקשר שומע את תחילת התשובה כמעט מיד. הסינתזה המלאה של תשובה ממוצעת (שני משפטים) לוקחת כ-728 אלפיות השנייה, אבל בזכות הסטרימינג, המתקשר לא מרגיש המתנה.
כן. XTTS v2 הוא פתרון קוד פתוח שרץ מקומית על שרת עם GPU. זה מבטיח שהטקסטים והשמע לא עוברים לשרתים חיצוניים. ההתקנה דורשת GPU עם 4GB VRAM לפחות (מומלץ 8GB ומעלה). עם DeepSpeed, הביצועים מהירים פי 2 עד 3 בהשוואה להרצה רגילה.
מערכת TTS טובה צריכה להמיר מספרים למילים (123 הופך ל-מאה עשרים ושלוש), לפרוש קיצורים (פרופ׳ הופך לפרופסור, ד״ר הופך לדוקטור), ולזהות הקשר (2025 הוא שנה — אלפיים עשרים וחמש, לא מספר). המערכת שלנו כוללת שכבת עיבוד טקסט שמטפלת בכל המקרים האלה לפני שליחה למודל ה-TTS.