Shadowing Practice: Ridge vs Lasso Regression, Visualized!!! - Learn English Speaking with Video
בחר מצב תרגול
כל מצב פותח חדר תרגול במסך מלא.
86 משפטים
אם המשפטים קצרים או ארוכים מדי, לחץ על ערוך כדי להתאים אותם.
1
Ridge, regression versus lasso regression, which one will survive?
2
StatQuest.
3
Hello, I'm Josh Starmer and welcome to StatQuest.
4
Today we're going to talk about ridge versus lasso regression and the differences are going to be visualized.
5
Note, this StatQuest assumes that you are already familiar with ridge and lasso regression.
6
If not, check out the quests.
7
To show you the difference between ridge and lasso regression, we're going to use a very simple data set that consists of weight and height measurements.
8
And we'll start by fitting this horizontal line to the data.
9
This horizontal line represents a terrible fit.
10
And we can measure how bad that fit is by calculating residuals, the difference between the observed and predicted values.
11
In order to compare the horizontal line to other lines fit to the data, we will plot the sum of the squared residuals on a graph.
12
The y-axis on this graph is the sum of the squared residuals,
13
and the x-axis represents different slope values for the fitted line.
14
In this case, the slope for the horizontal line is 0.
15
Now let's increase the slope to 0.2, and calculate a new value for the sum of the squared residuals.
16
Now let's increase the slope to 0.4, and calculate a new value for the sum of the squared residuals.
17
We can keep plugging in new values for the slope and plotting the sum of the squared residuals,
18
Or we can just plot the curve for this equation.
19
We can see that the best fitting line is at the bottom of the parabola.
20
In other words, when the slope equals 0.45, we get the lowest sum of the squared residuals.
21
In this example, we simply calculated the sum of the squared residuals for different slopes.
22
Now let's add the ridge regression penalty, aka the L2 norm.
23
if you asked me, it should be called the squared penalty, since that's what it is, and, for me, way easier to remember.
24
The thick blue line that we just drew represents lambda equals zero.
25
This is because when lambda equals zero, the penalty is equal to zero,
26
regardless of the slope, and we are left with the original sum of squared residuals.
27
Now let's see what happens when we set lambda equal to 10.
28
And just like before, we'll start with a horizontal line, only this time, the line is orange.
29
Just like before, we can calculate the residuals.
30
And we can calculate the sum of the squared residuals plus lambda times the slope squared.
31
In this case, lambda equals 10.
32
And the slope of the horizontal line is 0.
33
So the penalty is 0.
34
So we plot the sum of the squared residuals here.
35
Now let's increase the slope to 0.2.
36
Note, the residuals are smaller than before, so the sum of squared residuals is smaller than before.
37
But now the penalty is 0.4.
38
And that gives us this point on the graph.
39
Now let's increase the slope to 0.4.
40
And the residuals are even smaller.
41
But now the penalty is 1.6.
42
And that gives us this point on the graph.
43
And like we did before, we can keep plugging in new values for the slope and plotting the sum of the squared residuals plus the penalty,
44
or we can just plot the curve with a thick orange line that represents lambda equals 10.
45
The bottom of the parabola is where the slope gives us the lowest sum of squared residuals plus penalty,
46
and that corresponds to this specific line.
47
And when we compare that to the optimal slope when lambda equals zero,
48
we see that setting lambda equal to 10 results in a smaller optimal slope.
49
Note, we can also see that when lambda equals 10, the lowest point in the parabola is closer to zero than when lambda equals zero.
50
So, either way we look at it, we see that the larger value for lambda shrunk the optimal value for the slope.
51
Likewise, the thick green line represents lambda equals 20.
52
We see that the minimum value is closer to zero, and the optimal slope has shrunk some more.
53
The purple lines represent lambda equals 40, and it shrinks the slope even more.
54
In other words, as we increase lambda for the ridge regression penalty, a.k.a the L2 penalty, a.k.a the square penalty,
55
The optimal slope gets closer and closer to zero, but it does not equal zero.
56
Bam!
57
Now let's see what happens if we use the lasso penalty, a.k.a the L1 norm, or, if you asked me,
58
I'd call it the absolute value penalty.
59
Unfortunately, no one asked me.
60
Again, the thick blue line represents lambda equals zero, so there is no extra penalty.
61
This is because when we plug lambda equals zero into the equation, the penalty becomes zero.
62
And we are left with the original sum of the squared residuals.
63
Note, just like before, we'll keep track of the best fitting line plus penalty in this graph on the left.
64
The thick orange line represents lambda equals 10, so now we are turning on the penalty and shrinking the slope.
65
When lambda equals 10, we start to see a kink in the curve where the slope is 0.
66
The thick green line represents lambda equals 20, and this kink at zero is becoming more prominent.
67
Lastly, the thick purple line represents lambda equals 40.
68
And now the kink at zero is super obvious.
69
Now the lowest point in the purple curve,
70
aka the optimal slope given the absolute value penalty when lambda equals 40, is zero.
71
And that means the slope of the optimal line is 0.
72
And that means when lambda equals 40, we ignore weight as a variable when predicting height.
73
Double bam!
74
In summary, when we increase the ridge regression penalty, a.k.a the L2 penalty, a.k.a the square penalty,
75
the optimal slopes shift towards zero, but we retain a nice parabola shape.
76
And even when we set lambda to something crazy high like 400, we still end up with an optimal value greater than zero.
77
In contrast, when we increase the lasso penalty, a.k.a the L1 penalty, a.k.a the absolute value penalty,
78
The optimal value shifts towards zero, but since we have a kink at zero, zero ends up being the optimal slope.
79
Bam!
80
Hooray!
81
We've made it to the end of another exciting StatQuest.
82
If you like this StatQuest and want to see more, please subscribe.
83
And if you want to support StatQuest, consider contributing to my Patreon campaign,
84
becoming a channel member, buying one or two of my original songs or a t-shirt or a hoodie or just donate.
85
The links are in the description below.
86
All right, until next time, quest on!
הורד אפליקציה
כל מה שאתה צריך כדי לדבר בשטף
הגיית AIציון לכל משפט
תרגול IPAשלוט בכל צליל
אוצר מיליםבנה את מאגר המילים שלך
משחק אוצר מיליםלמד תוך כדי משחק
אותו ערוץ
C17
Gaussian Naive Bayes, Clearly Explained!!!
Daily ConversationUniversity Students
C11
Naive Bayes, Clearly Explained!!!
Daily ConversationUniversity Students
C11
The Essential Main Ideas of Neural Networks
Business EnglishUniversity StudentsWorking Adults
C12
The GELU, SiLU and SwiGLU activation functions, clearly explained!!!
Daily ConversationUniversity Students
C11
A Gentle Introduction to Machine Learning
Business EnglishUniversity StudentsWorking Adults
FOR YOU
המלץ על סרטון
C11
64 משפטים
GCSE Physics - How to Draw Ray Diagrams - Concave & Convex Lenses (2027/28 exams)
Daily ConversationHigh School StudentsUniversity Students
C11
575 משפטים
Lec-6 Simplex Method | Maximization Problem | Mathematical Example Solution | Operations Research
Daily ConversationUniversity Students
C11
406 משפטים
Scoliosis: How to medically classify scoliosis (the Lenke System for AIS)
Daily ConversationUniversity Students
C11
847 משפטים
The Complete Guide to Hybrid Search in RAG (BM25 + Embeddings + Reranker)
Daily ConversationUniversity Students
C1287 משפטים
Differential equations, a tourist's guide | DE1
Daily ConversationUniversity Students
C11
167 משפטים
Mental Debugging: How to Build Resilience After Failure
Daily ConversationUniversity StudentsWorking Adults
C11
153 משפטים
Statics: Lesson 46 - Distributed Loads Using Centroids
Daily ConversationUniversity Students
C12
78 משפטים
Vanishing & Exploding Gradient explained | A problem resulting from backpropagation
Daily ConversationUniversity Students
C11
166 משפטים
The Scariest IQ Statistics | Jordan Peterson
Daily ConversationUniversity StudentsWorking Adults
C11
326 משפטים
Google Earth Engine Tutorial 1: Lake Area Estimation
Daily ConversationUniversity Students
C11
60 משפטים
Quick Study: How Venture Capitalists Make Decisions
Daily ConversationUniversity StudentsWorking Adults
אוצר מילים והערות הגייה לשיעור הזה
שיעור הדיבור הזה מבוסס על הסרטון “Ridge vs Lasso Regression, Visualized!!!”. המילים שחוזרות הכי הרבה: slope, penalty, lambda, equal, zero. בסרטון הזה יש 86 משפטים ו-1111 מילים לתרגול Shadowing. הדיבור נמשך 9:04. הדובר שומר על קצב יציב של כ-122 מילים בדקה, קצב נוח לתרגול Shadowing. רק 70% מהמילים נמצאות בין 3,000 המילים הנפוצות ביותר באנגלית, כך שאוצר המילים מאתגר.
אוצר מילים מרכזי בסרטון הזה
15 מילים מהסרטון שכדאי ללמוד, עם ההגייה והמשמעות שלהן:
| מילה | הגייה | משמעות |
|---|---|---|
| residual שם תואר | /ɹɪˈzɪd͡ʒ.u.əl/ | שיורי |
| optimal שם תואר | /ˈɑptɪməl/ | אופטימלי |
| thick שם תואר | /θɪk/ | עבה |
| horizontal שם תואר | /ˌhoɹəˈzɑn.təl/ | אפקי |
| calculate פועל | /ˈkælkjʊleɪt/ | חישב \ חִשֵּׁב |
| graph שם עצם | /ɡɹæf/ | גְּרָף |
| curve שם עצם | /kɚv/ | עקימה |
| purple שם עצם | /ˈpɝ.pl̩/ | סגול |
| plug שם עצם | /plʌɡ/ | תֶּקַע |
| compare פועל | /kəmˈpɛɚ/ | השווה \ הִשְׁוָה |
| versus | /ˈvɝsəs/ | נֶגֶד |
| axis שם עצם | /ˈæksɪs/ | ציר |
| equation שם עצם | /ɪˈkweɪ.ʒən/ | משוואה \ מִשְׁוָאָה |
| ignore פועל | /ɪɡˈnɔː/ | הִתְעַלֵּם |
| contrast שם עצם | /kənˈt(ʃ)ɹæst/ | ניגוד |
Phrasal verbs שתשמעו
| מילה | משמעות |
|---|---|
| check out פועל | בדק |
דקדוק בסרטון הזה
המבנים שהדובר משתמש בהם הכי הרבה, עם המילים המדויקות מהסרטון:
| מבנה | בסרטון |
|---|---|
| סביל (Passive voice) be + past participle — הדגש הוא על מה שקורה, לא על מי שעושה את הפעולה | be visualized · should be called · are left |
| הווה מושלם (Present perfect) have/has + past participle — פעולה שקרתה בעבר ועדיין יש לה חשיבות או השפעה עכשיו | has shrunk · We've made |
הגייה ששווה לשים לב אליה
הדובר משתמש ב-8 קיצורים וצורות מקוצרות, כמו we'll, we're, I'd. אמרו אותם בצורה הקצרה, כפי שאתם שומעים אותם.
- הצלילים של “sh” ו-“zh”: equation /ɪˈkweɪ.ʒən/, contrast /kənˈt(ʃ)ɹæst/, measurement /ˈmɛʒ.ə.mənt/, regression /ɹiːˈɡɹɛʃ.ən/, visualize /ˈvɪʒuəˌlaɪz/
- מילים ארוכות — שימו לב להטעמה: residual /ɹɪˈzɪd͡ʒ.u.əl/, horizontal /ˌhoɹəˈzɑn.təl/, parabola /pəˈɹæb.ə.lə/
צלילים שדוברי עברית מתקשים בהם:
- /w/ — שפתיים מעוגלות, לא /v/: quest /kwɛst/, equation /ɪˈkweɪ.ʒən/, likewise /ˈlaɪkˌwaɪz/
- /æ/ — פתוח יותר מה-“אֶ” העברית, לא כמו “a” ב-“cup”: calculate /ˈkælkjʊleɪt/, graph /ɡɹæf/, axis /ˈæksɪs/, contrast /kənˈt(ʃ)ɹæst/, variable [ˈvæɹ.i.ə.bl̩]
- /r/ — הלשון לא נוגעת בשום מקום, לא ה-“ר” הגרונית: residual /ɹɪˈzɪd͡ʒ.u.əl/, ridge /ɹɪd͡ʒ/, horizontal /ˌhoɹəˈzɑn.təl/, graph /ɡɹæf/, predict /pɹɪˈdɪkt/
איך לתרגל עם הסרטון הזה
- הקשיבו לכל הסרטון פעם אחת בלי לדבר, ורשמו את המילים שאתם לא מכירים.
- תרגלו Shadowing משפט אחר משפט במהירות רגילה, וחזרו על כל משפט עד שהקצב שלכם תואם את הדובר.
- הקליטו את עצמכם והשוו למקור, תוך תשומת לב למילים כמו residual, optimal, thick.
מהי טכניקת השאדואינג?
שאדואינג היא טכניקת למידת שפה מבוססת מדע שפותחה במקור להכשרת מתורגמנים מקצועיים ופופולרית על ידי הפוליגלוט ד"ר אלכסנדר ארגואלס. השיטה פשוטה אך עוצמתית: אתה מקשיב לאודיו באנגלית ילידית וחוזר עליו בקול רם מיד — כמו צל העוקב אחרי הדובר עם עיכוב של 1–2 שניות בלבד. בניגוד להאזנה פסיבית או תרגילי דקדוק, שאדואינג מכריח את המוח והשרירים בפה לעבד ולשחזר דפוסי דיבור אמיתיים בו זמנית. מחקרים מראים שזה משפר משמעותית את דיוק ההגייה, האינטונציה, הקצב, הדיבור המחובר, הבנת השמיעה ושטף הדיבור — מה שהופך אותו לאחת השיטות היעילות ביותר להכנה לIELTS Speaking ולתקשורת באנגלית בעולם האמיתי.