Shadowing Practice: System Design: How to Build an API Rate Limiter - Learn English Speaking with Video
Les maken...
1
Let's design an API rate limiter for an application that takes thousands of requests per second.
2
User journey is simple.
3
User can make API calls to your server to do something.
4
Each user is allowed to make 100 API calls per minute.
5
If a user makes more than 100 calls per minute, then your server will not process those API calls.
6
Most engineers approach this problem with a counter.
7
For each user, you store user ID, count of API calls, and current minute.
8
Every time a request is made by user, you increase this count, and you will reject the requests once it passes 100 requests.
9
This implementation is good enough for internal API calls, but let's take two specific examples why this solution is not good.
10
Let's say user Alan is a burst user, and makes 100 API calls in first two seconds.
11
Then he will get rejected for the next 58 seconds.
12
Alan will be able to make calls when next minute starts.
13
And our second user, John, sends 100 API requests, but these requests are sent at the last second of the current minute.
14
The next second clock will reset to new minute, and John can send another 100 requests.
15
Basically, John sent 200 requests in 2 seconds, because according to Counter, these 100 requests belong to different minutes.
16
Basically, users will experience different behavior of APIs based on when they make the API call.
17
There is a fundamental issue with the approach we just discussed.
18
The Counter is watching the clock instead of watching the user.
19
Let's see a better approach.
20
So, we will give every user a bucket that holds 100 tokens.
21
Every API request from user takes one token out, and we will keep filling the bucket at a rate of 100 tokens per minute, which is approximately 1.67 tokens per second.
22
For simplification, let's assume we will fill two tokens per second.
23
If user doesn't make any API call, the bucket will remain at 100, and we don't need to fill.
24
If the bucket is empty, we will reject the request.
25
This token bucket approach is what Stripe, GitHub, and most API gateways actually use for tracking API calls.
26
Now let's take a look at Alan and John's requests again, and see how this bucket system will work.
27
Alan drains all 100 tokens in 2 seconds.
28
Then Alan has to slow down.
29
Bucket fills about 2 tokens per second.
30
That's why he can now make 2 calls per second.
31
John, who is making 100 API calls at the end of the minute, will also need to wait for Bucket to fill, because once he makes 100 requests in a second, Bucket will get empty.
32
So he can also make about 2 per second, as Bucket fills with time.
33
Next question is, how do we store these buckets?
34
We just need to store the token count, and the time of the last refill, so that you can add tokens per second.
35
But what if your app works at large scale, and you have 20 different servers accepting API calls.
36
Two requests for the same user can land on two servers in the same millisecond.
37
Therefore, you keep the bucket outside the servers, in one common shared storage.
38
This storage needs to be fast, and that's why we usually use Redis.
39
When any of these 20 servers processes any API call, we change the count at this common Redis.
40
To make this crystal clear in your mind, you need to remember that request limit is not just one number.
41
It's two numbers.
42
First, how much a user can burst in one go, and second, how fast they can go after the burst.
📺 Zelfde Kanaal
✨ Aanbevolen Video
C13
9 zinnen
Rate Limiter System Design in Under 60 Seconds #techprep #programming #systemdesign
University StudentsWorking Adults
C11
407 zinnen
Why AI Tokens are so Expensive - Computerphile
Business EnglishUniversity StudentsWorking Adults
C11
114 zinnen
Design a File Upload Service Like a Senior Engineer
Business EnglishUniversity StudentsWorking Adults
C12
65 zinnen
What Is REST API? Examples And How To Use It: Crash Course System Design #3
Business EnglishUniversity StudentsWorking Adults
C14
321 zinnen
8 Tech Choices to Lock In Before Agentmaxxing
Business EnglishUniversity StudentsWorking Adults
C11
159 zinnen
Top 5 AI Gateway Use Cases | Solo.io
Business EnglishUniversity StudentsWorking Adults
C11
207 zinnen
How I Made $30,000 Hacking Broken Access Control
Business EnglishUniversity StudentsWorking Adults
C12
82 zinnen
CAP Theorem Simplified
Business EnglishUniversity StudentsWorking Adults
C1105 zinnen
100+ Docker Concepts you Need to Know
American AccentBusiness EnglishUniversity StudentsWorking Adults
C11
284 zinnen
How to Become Your Own ISP
Business EnglishUniversity StudentsWorking Adults
C11
133 zinnen
Data Ingestion Best Practices! How to Ingest Data Efficiently at Enterprise Scale!
Business EnglishUniversity StudentsWorking Adults
C11
177 zinnen
Mini Project - Implementing a Simple Web Identity Federation Application
Business EnglishUniversity StudentsWorking Adults
Woordenschat en spreektips bij deze les
Deze spreekles op niveau C1 is gebaseerd op de video “System Design: How to Build an API Rate Limiter”. Deze woorden komen het vaakst terug: Api, user, request, bucket, token. Deze video bevat 42 zinnen en 594 woorden om na te spreken. Het gesproken deel duurt 2:47. De spreker praat snel, ongeveer 213 woorden per minuut, dus reken op verbonden en ingeslikte klanken. 82% van de woorden hoort bij de 3.000 meest gebruikte Engelse woorden; de rest kun je beter vooraf bekijken.
Belangrijke woorden in deze video
De 14 moeilijkste woorden uit de video, met uitspraak en betekenis:
| Woord | Uitspraak | Betekenis |
|---|---|---|
| bucket zelfstandig naamwoord | /ˈbʌkɪt/ | emmer |
| token zelfstandig naamwoord | /ˈtoʊkən/ | teken |
| server zelfstandig naamwoord | /ˈsɝvɚ/ | server |
| burst werkwoord | /bɜːst/ | barsten |
| clock zelfstandig naamwoord | /klɑk/ | teller, kilometerteller |
| crystal zelfstandig naamwoord | /ˈkɹɪstəl/ | kristal |
| belong werkwoord | /bɪˈlɒŋ/ | thuishoren, horen |
| fundamental bijvoeglijk naamwoord | /ˌfʌn.dəˈmɛn.təl/ | fundamenteel |
| implementation zelfstandig naamwoord | /ˌɪmplɪmənˈteɪʃən/ | implementatie |
| drain zelfstandig naamwoord | /dɹiːn/ | afvoer |
| reset werkwoord | /ɹiːˈsɛt/ | herinitialiseren, terugstellen |
| millisecond zelfstandig naamwoord | /ˈmɪlɪˌsɛkənd/ | milliseconde |
| refill zelfstandig naamwoord | /ˈɹiː.fɪl/ | tankbeurt |
| simplification zelfstandig naamwoord | /ˌsɪm.plɪ.fɪˈkeɪ.ʃən/ | vereenvoudiging, versimpeling |
Phrasal verbs die je zult horen
| Woord | Betekenis |
|---|---|
| slow down werkwoord | afremmen |
Grammatica in deze video
De structuren die de spreker het meest gebruikt, met de exacte woorden uit de video:
| Structuur | In de video |
|---|---|
| Voorwaardelijke zinnen if + zin, will/would + werkwoord — een voorwaarde en het gevolg | If the bucket is empty, we will reject |
| Lijdende vorm be + voltooid deelwoord — het gaat om wat er gebeurt, niet om wie het doet | is allowed · is made · are sent |
Uitspraak om op te letten
- De klanken “sh” en “zh”: implementation /ˌɪmplɪmənˈteɪʃən/, simplification /ˌsɪm.plɪ.fɪˈkeɪ.ʃən/
- Lange woorden — let op de klemtoon: fundamental /ˌfʌn.dəˈmɛn.təl/, implementation /ˌɪmplɪmənˈteɪʃən/, millisecond /ˈmɪlɪˌsɛkənd/, simplification /ˌsɪm.plɪ.fɪˈkeɪ.ʃən/
Zo oefen je met deze video
- Luister de hele video één keer zonder te spreken en noteer de woorden die je niet kent.
- Begin op 0,75× snelheid, spreek zin voor zin na en ga terug naar normale snelheid zodra het makkelijk gaat.
- Neem jezelf op en vergelijk met het origineel; let daarbij op woorden als bucket, token, server.
Wat is de Shadowing-techniek?
Shadowing is een wetenschappelijk onderbouwde taalleermethode die oorspronkelijk is ontwikkeld voor professionele tolkentraining en gepopulariseerd door polyglot Dr. Alexander Arguelles. De methode is eenvoudig maar krachtig: je luistert naar native Engelse audio en herhaalt het onmiddellijk hardop — als een schaduw die de spreker volgt met slechts 1–2 seconden vertraging. In tegenstelling tot passief luisteren of grammaticadrills, dwingt shadowing je hersenen en mondspieren om echte spraakpatronen tegelijkertijd te verwerken en te reproduceren. Onderzoek toont aan dat het de uitspraaknauwkeurigheid, intonatie, ritme, verbonden spraak, luisterbegrip en spreekvaardigheid aanzienlijk verbetert — waardoor het een van de meest effectieve methoden is voor IELTS Speaking-voorbereiding en echte Engelse communicatie.