Shadowing Practice: Bebop: Accelerating LLM RL Training via MTP - Learn English Speaking with Video
בחר מצב תרגול
כל מצב פותח חדר תרגול במסך מלא.
46 משפטים
אם המשפטים קצרים או ארוכים מדי, לחץ על ערוך כדי להתאים אותם.
1
Welcome to the AI Research Roundup.
2
I'm Alex.
3
A fascinating paper trending on X this week, published just three days ago on June 10, 2026, tackles one of the biggest bottlenecks in training modern AI.
4
As reinforcement learning becomes central to aligning large language models, accelerating the computationally expensive generation phase remains a critical open challenge.
5
To solve this, this paper introduces a method
6
that achieves up to a 1.8 times end-to-end training acceleration by changing how we handle multi-token prediction,
7
which is a speed-up technique where an AI model predicts several future words at once instead of just one.
8
The paper is titled Breaking Entropy Bounds, Accelerating Reinforcement Learning Training via Multi-Token Prediction with Rejection Sampling.
9
And as we will see, their approach completely bypasses the need for expensive online updates, making it highly practical for large-scale systems.
10
Figure 1 illustrates this core discovery by plotting how the number of accepted tokens changes as model entropy shifts.
11
In Figure 1 Panel A, we see that standard target-only sampling leads to a sharp linear drop in acceptance as entropy increases.
12
Our total variation loss, which measures the difference between probability distributions, completely flattens this curve, keeping the accept length consistently high.
13
Then, figure 1 panel B explains this visually, showing that the total variation draft model matches the sharp target distribution much better than the wider cross-entropy draft,
14
achieving an 85% overlap.
15
While figure 1 showed the theoretical impact of entropy, Figure 2 tracks actual acceptance rates during training on a software engineering benchmark.
16
In the first step of multi-token prediction, the acceptance rate declines by only about 1%.
17
However, this degradation accelerates in subsequent steps, because the third step drops by over 3% over time.
18
This compounding drop reveals why standard multi-token prediction struggles to maintain speed-ups during reinforcement learning.
19
Table 1 details why standard training objectives fall short.
20
The forward callback-Leibler divergence, shown in the second column, lacks tail suppression, which is a mechanism that prevents wasting training effort on extremely rare words.
21
Because of this, optimization is spread too thin across the entire vocabulary.
22
In contrast, both reverse callback-Leibler divergence
23
and the proposed total variation loss focus updates on relevant tokens by using gradients proportional to the draft probability.
24
Table 2 presents the actual acceptance rates across different task domains using QN 3.5,
25
where the end-to-end total variation loss consistently outperforms all other objectives.
26
On the software engineering tasks, our method increases the acceptance rate by 8% percent over the cross entropy baseline.
27
Even on out-of-distribution evaluation tasks, it provides a solid two percent improvement.
28
Figure 6 demonstrates how these improvements translate to reinforcement learning training.
29
In panel A, which shows reasoning workloads, the rejection sampling with total variation loss maintains the highest accept length throughout training.
30
Panel B and panel circa, representing software engineering workloads on larger models, confirm this trend because the total variation loss remains completely stable,
31
while target-only sampling steadily degrades.
32
Alright, figure 7 details how these stable except links translate to concrete speed-ups in wall clock training time.
33
Panel A shows that on reasoning tasks, the proposed rejection sampling with total variation loss reduces the latency
34
per training step by nearly half compared to the baseline without multi-token prediction.
35
Moving to panel B and panel C, similar latency reductions of up to 40% occur for software engineering and agent workloads,
36
which demonstrates consistent computational efficiency throughout the reinforcement learning phase.
37
Figure 8 illustrates how the choice of training loss affects the relationship between model entropy and token acceptance.
38
In panel A, which focuses on reasoning.
39
Standard target-only sampling and rejection sampling with cross-entropy show a steep decline in accept length as entropy rises.
40
In panel B and panel C, similar trends hold for software engineering.
41
Across all these tests, rejection sampling with total variation loss yields a nearly flat line, which confirms that total variation training successfully decouples the acceptance rate from entropy.
42
Decoupling token acceptance from model entropy via rejection sampling and total variation loss represents a major leap in accelerating reinforcement learning.
43
Bypassing expensive online updates makes speculative decoding highly practical for training large language models.
44
And that is a wrap.
45
I am Alex from the AI Research Roundup.
46
Thanks for tuning in.
הורד אפליקציה
כל מה שאתה צריך כדי לדבר בשטף
הגיית AIציון לכל משפט
תרגול IPAשלוט בכל צליל
אוצר מיליםבנה את מאגר המילים שלך
משחק אוצר מיליםלמד תוך כדי משחק
אותו ערוץ
FOR YOU
המלץ על סרטון
C12
182 משפטים
We Let $200 GPT-Pro Think for 7 Days on Unsolved Math
Daily ConversationUniversity StudentsWorking Adults
C113
202 משפטים
SAC | Soft Actor Critic (SAC) architecture | SAC Explained
Daily ConversationUniversity StudentsWorking Adults
C11
74 משפטים
LangChain in 5 Minutes (Explained Clearly)
Daily ConversationUniversity StudentsWorking Adults
C11
114 משפטים
Harnessing generative AI in architecture, engineering & construction
Daily ConversationUniversity StudentsWorking Adults
C11
462 משפטים
Expensive RTX 5090 for LLMs? NO. Use This Instead. (Tesla V100 SXM2 + Z8 G4, #RACERRRZ)
Daily ConversationUniversity StudentsWorking Adults
C12
82 משפטים
China just dropped a new frontier model... and nobody can explain how
Daily ConversationUniversity StudentsWorking Adults
C12
171 משפטים
Why the Arab World never united
Daily ConversationUniversity StudentsWorking Adults
C12
272 משפטים
How I'd Learn n8n if I had to Start Over in 2026
Daily ConversationUniversity StudentsWorking Adults
C11
407 משפטים
Why AI Tokens are so Expensive - Computerphile
Daily ConversationUniversity StudentsWorking Adults
B21
24 משפטים
DeepSeek R1 Explained in 2 Minutes
Daily ConversationUniversity StudentsWorking Adults
B24
132 משפטים
Are we heading to an era of stagnation or innovation?
Daily ConversationUniversity StudentsWorking Adults
C11
321 משפטים
Mixture of Experts Explained Visually: How Trillion-Parameter Models Actually Work
Daily ConversationUniversity Students
אוצר מילים והערות הגייה לשיעור הזה
שיעור הדיבור הזה ברמה C2 מבוסס על הסרטון “Bebop: Accelerating LLM RL Training via MTP”. המילים שחוזרות הכי הרבה: training, entropy, panel, variation, total. בסרטון הזה יש 46 משפטים ו-706 מילים לתרגול Shadowing. הדיבור נמשך 4:38. הדובר מדבר בקצב טבעי של כ-152 מילים בדקה, קרוב לשיחה יומיומית. רק 67% מהמילים נמצאות בין 3,000 המילים הנפוצות ביותר באנגלית, כך שאוצר המילים מאתגר.
אוצר מילים מרכזי בסרטון הזה
10 המילים המתקדמות ביותר בסרטון, עם ההגייה והמשמעות שלהן:
| מילה | הגייה | משמעות |
|---|---|---|
| token שם עצם | /ˈtoʊkən/ | אֲסִימוֹן, זִ׳יטוֹן |
| prediction שם עצם | /pɹɪˈdɪkʃən/ | תַּחֲזִית |
| accelerate פועל | /ɪkˈsɛl.əˌɹeɪt/ | האיץ |
| illustrate פועל | /ˈɪl.əˌstɹeɪt/ | הִמְחִישׁ |
| translate פועל | /tɹænzˈleɪt/ | תִּרְגֵּם |
| circa | /ˈsɜɹ.kə/ | בקירוב, בסביבות |
| acceleration שם עצם | /əkˌsɛl.əˈɹeɪ.ʃən/ | האצה |
| vocabulary שם עצם | /vəˈkæb.jə.lə.ɹi/ | אוֹצַר מִלִּים |
| leap פועל | /ˈliːp/ | קפץ |
| steep שם תואר | /stiːp/ | תָּלוּל |
הגייה ששווה לשים לב אליה
- הצלילים של “sh” ו-“zh”: variation /ˌvɛəɹiˈeɪʃn̩/, rejection /ɹɪˈd͡ʒɛkʃən/, prediction /pɹɪˈdɪkʃən/, computationally /ˌkɑmpjʊˈteɪʃənəli/, degradation /ˌdɛɡɹəˈdeɪʃən/
- מילים ארוכות — שימו לב להטעמה: reinforcement /ˌɹiːɪnˈfɔːsmənt/, accelerate /ɪkˈsɛl.əˌɹeɪt/, probability /ˌpɹɑ.bəˈbɪl.ə.ti/, computationally /ˌkɑmpjʊˈteɪʃənəli/, speculative /ˈspɛkjuləˌtɪv/
צלילים שדוברי עברית מתקשים בהם:
- /æ/ — פתוח יותר מה-“אֶ” העברית, לא כמו “a” ב-“cup”: bypass /ˈbaɪpæs/, translate /tɹænzˈleɪt/, fascinate /ˈfæsɪneɪt/, flatten /ˈflæ.tən/, overlap /ˌəʊvəˈlæp/
- /r/ — הלשון לא נוגעת בשום מקום, לא ה-“ר” הגרונית: entropy /ˈɛntɹəpi/, variation /ˌvɛəɹiˈeɪʃn̩/, reinforcement /ˌɹiːɪnˈfɔːsmənt/, rejection /ɹɪˈd͡ʒɛkʃən/, prediction /pɹɪˈdɪkʃən/
- עיצור קולי בסוף מילה — /b/, /d/, /g/, /z/, /v/ בלי להפוך אותם לאטומים: propose /pɹəˈpəʊz/, decode /dɪˈkəʊd/, degrade /dɪˈɡɹeɪd/, speculative /ˈspɛkjuləˌtɪv/
איך לתרגל עם הסרטון הזה
- הקשיבו לכל הסרטון פעם אחת בלי לדבר, ורשמו את המילים שאתם לא מכירים.
- התחילו במהירות 0.75×, תרגלו Shadowing משפט אחר משפט, וחזרו למהירות רגילה כשזה מרגיש קל.
- הקליטו את עצמכם והשוו למקור, תוך תשומת לב למילים כמו token, prediction, accelerate.
מהי טכניקת השאדואינג?
שאדואינג היא טכניקת למידת שפה מבוססת מדע שפותחה במקור להכשרת מתורגמנים מקצועיים ופופולרית על ידי הפוליגלוט ד"ר אלכסנדר ארגואלס. השיטה פשוטה אך עוצמתית: אתה מקשיב לאודיו באנגלית ילידית וחוזר עליו בקול רם מיד — כמו צל העוקב אחרי הדובר עם עיכוב של 1–2 שניות בלבד. בניגוד להאזנה פסיבית או תרגילי דקדוק, שאדואינג מכריח את המוח והשרירים בפה לעבד ולשחזר דפוסי דיבור אמיתיים בו זמנית. מחקרים מראים שזה משפר משמעותית את דיוק ההגייה, האינטונציה, הקצב, הדיבור המחובר, הבנת השמיעה ושטף הדיבור — מה שהופך אותו לאחת השיטות היעילות ביותר להכנה לIELTS Speaking ולתקשורת באנגלית בעולם האמיתי.