ฝึกพูดภาษาอังกฤษด้วยเทคนิค Shadowing จากวิดีโอ: System Design: Why is Kafka fast?

เลือกโหมดฝึก

แต่ละโหมดจะเปิดห้องฝึกแบบเต็มจอ

68 ประโยค

หากประโยคสั้นหรือยาวเกินไป กดที่ Edit เพื่อปรับแก้

Why is Kafka fast?

ทำไม Kafka ถึงเร็ว?

What is the secret?

ความลับคืออะไร?

We will talk about it in this video.

เราจะพูดคุยเกี่ยวกับเรื่องนี้ในวิดีโอนี้

Let's dive right in.

มาเริ่มกันเลยดีกว่า

We'll first start by acknowledging that the term fast is ambiguous.

ก่อนอื่น เราจะเริ่มต้นด้วยการยอมรับว่าคำว่า "เร็ว" มีความหมายที่คลุมเครือ

What does it even mean that Kafka is fast?

การที่ Kafka มีความเร็ว นั้นหมายความว่าอย่างไรกันแน่?

Are we talking latency?

เรากำลังพูดถึงเรื่องเวลาหน่วง (latency) อยู่ใช่ไหมครับ/ค่ะ

Are we talking throughput?

เรากำลังพูดถึงอัตราการส่งผ่านข้อมูลอยู่หรือเปล่า?

Is fast compared to what?

เร็วเมื่อเปรียบเทียบกับอะไร?

Kafka is optimized for high throughput.

Kafka ได้รับการปรับแต่งให้มีประสิทธิภาพสูงสุดสำหรับการรับส่งข้อมูลที่มีปริมาณมาก

It is designed to move a large number of records in a short amount of time.

มันถูกออกแบบมาเพื่อย้ายระเบียนจำนวนมากภายในระยะเวลาอันสั้น

Think of it as a very large pipe moving liquid.

คิดว่ามันเป็นท่อขนาดใหญ่ที่ใช้ส่งของเหลวก็ได้

The bigger the diameter of the pipe, the larger the volume of liquid that can move through it.

ยิ่งเส้นผ่านศูนย์กลางของท่อใหญ่ขึ้น ปริมาณของเหลวที่สามารถไหลผ่านท่อได้ก็จะยิ่งมากขึ้นเช่นกัน

So when someone says Kafka is fast, they usually refer to Kafka's ability to move a lot of data efficiently.

ดังนั้นเมื่อมีคนบอกว่า Kafka นั้นเร็ว พวกเขามักจะหมายถึงความสามารถของ Kafka ในการถ่ายโอนข้อมูลจำนวนมากได้อย่างมีประสิทธิภาพ

What are some of the design decisions that help Kafka move a lot of data quickly?

การตัดสินใจด้านการออกแบบใดบ้างที่ช่วยให้ Kafka สามารถถ่ายโอนข้อมูลจำนวนมากได้อย่างรวดเร็ว

There are many design decisions that contributed to Kafka's performance.

มีการตัดสินใจด้านการออกแบบหลายประการที่ส่งผลให้ Kafka มีประสิทธิภาพดีเยี่ยม

In this video, we'll focus on two.

ในวิดีโอนี้ เราจะเน้นไปที่สองอย่าง

We think these two carry the most weight.

เราคิดว่าสองอย่างนี้มีน้ำหนักมากที่สุด

The first one is Kafka's reliance on sequential I.O.

ประเด็นแรกคือการที่ Kafka อาศัยการทำงาน I/O แบบลำดับ

What is sequential I.O.?

I/O แบบลำดับคืออะไร

Let's dig deeper into that.

มาดำเนินการเจาะลึกเรื่องนั้นกันเถอะ

There's a common misconception that disk access is slow compared to memory access.

มีความเข้าใจผิดที่พบบ่อยว่าการเข้าถึงดิสก์ช้ากว่าการเข้าถึงหน่วยความจำ

But this largely depends on data access patterns.

แต่สิ่งนี้ขึ้นอยู่กับรูปแบบการเข้าถึงข้อมูลเป็นส่วนใหญ่

There are two types of disk access patterns, random and sequential.

รูปแบบการเข้าถึงดิสก์มีสองประเภท คือ แบบสุ่มและแบบลำดับ

For hard drives, it takes time to physically move the arm to different locations on the magnetic disks.

สำหรับฮาร์ดไดรฟ์ การเคลื่อนที่แขนอ่านเขียนไปยังตำแหน่งต่างๆ บนจานแม่เหล็กต้องใช้เวลาทางกายภาพ

This is what makes random access slow.

นี่คือสาเหตุที่การเข้าถึงข้อมูลแบบสุ่มมีความช้า

For sequential access though, since the arm doesn't need to jump around it is much faster to read

อย่างไรก็ตาม สำหรับการเข้าถึงแบบลำดับ เนื่องจากแขนอ่านไม่ต้องกระโดดไปมา การอ่านจึงเร็วขึ้นมาก

and write blocks of data one after the other kafka takes

และเขียนบล็อกข้อมูลต่อเนื่องกันไปเรื่อยๆ ที่ Kafka รับมา

advantage of this by using an append only log as its primary data structure

ข้อได้เปรียบของสิ่งนี้คือการใช้บันทึกที่เพิ่มข้อมูลได้อย่างเดียว (append-only log) เป็นโครงสร้างข้อมูลหลักของมัน

and the pen only log adds new data to the end

และบันทึกแบบเพิ่มทีละบรรทัด (append-only log) จะเพิ่มข้อมูลใหม่เข้าไปที่ส่วนท้ายเท่านั้น

of the file this access pattern is sequential now let's bring

รูปแบบการเข้าถึงไฟล์นี้เป็นแบบลำดับ ตอนนี้ลองนำมา

this idea home with some numbers on modern hardware with an

แนวคิดนี้เกี่ยวกับการใช้ฮาร์ดแวร์สมัยใหม่ร่วมกับตัวเลขบางอย่าง

array of this hard disks sequential will write reach hundreds of megabytes per second,

อาร์เรย์ของฮาร์ดดิสก์เหล่านี้จะมีความเร็วในการเขียนข้อมูลแบบลำดับถึงหลายร้อยเมกะไบต์ต่อวินาที

while random writes are measured in hundreds of kilobytes per second.

ในขณะที่การเขียนแบบสุ่มวัดได้ในระดับหลายร้อยกิโลไบต์ต่อวินาที

Sequential access is several order of magnitude faster.

การเข้าถึงแบบลำดับมีความเร็วเร็วกว่าหลายระดับขนาดมาก

Using hard disks has its cost advantage too.

การใช้ฮาร์ดดิสก์ยังมีข้อได้เปรียบในด้านต้นทุนอีกด้วย

Compared to SSD, hard disks come as one-third of the price, but with about three times the capacity.

เมื่อเปรียบเทียบกับ SSD ฮาร์ดดิสก์มีราคาถูกกว่าหนึ่งในสาม แต่มีความจุมากกว่าประมาณสามเท่า

Giving Kafka a large pool of cheap disk space without any performance penalty, means that Kafka can cost-effectively retain messages for a long period of time,

การให้พื้นที่ดิสก์ราคาถูกจำนวนมากแก่ Kafka โดยไม่มีผลกระทบต่อประสิทธิภาพ หมายความว่า Kafka สามารถเก็บรักษาข้อความไว้เป็นเวลานานได้อย่างคุ้มค่า

a feature that was uncommon to messaging systems before Kafka.

คุณสมบัติที่ไม่ค่อยมีอยู่ในระบบการส่งข้อความก่อนที่จะมี Kafka

The second design choice that gives Kafka its performance advantage is its focus on efficiency.

ทางเลือกการออกแบบที่สองที่ทำให้ Kafka มีข้อได้เปรียบด้านประสิทธิภาพคือการเน้นที่ประสิทธิภาพของระบบ

Kafka has moved a lot of data from network to disk and then from disk to network.

Kafka ได้ถ่ายโอนข้อมูลจำนวนมากจากเครือข่ายไปยังดิสก์ แล้วจากดิสก์กลับไปยังเครือข่ายอีกด้วย

It is critically important to eliminate excess copy when moving pages and pages of data between the disk and the network.

การกำจัดการคัดลอกข้อมูลที่ไม่จำเป็นเมื่อย้ายข้อมูลจำนวนมากระหว่างดิสก์และเครือข่ายเป็นสิ่งสำคัญอย่างยิ่งยวด

This is where zero copy principle comes into the picture.

นี่คือจุดที่หลักการ zero copy เข้ามามีบทบาท

Modern Unix operating systems are highly optimized to transfer data from disk to network without copying data excessively.

ระบบปฏิบัติการ Unix สมัยใหม่ได้รับการปรับแต่งอย่างมากเพื่อถ่ายโอนข้อมูลจากดิสก์ไปยังเครือข่ายโดยไม่ต้องคัดลอกข้อมูลมากเกินไป

Let's dive deeper to see how this is done.

มาดูรายละเอียดลึกๆ กันว่าวิธีการทำเช่นนี้เป็นอย่างไร

First, we look at how Kafka sends a page of data on disk to the consumer

ก่อนอื่น เรามาดูกันว่า Kafka ส่งหน้าข้อมูลบนดิสก์ไปยังผู้บริโภคอย่างไร

when zero copy is not used at all.

เมื่อไม่ได้ใช้ zero copy เลยทีเดียว

First, the data is loaded from disk to the OS cache.

Second, the data is copied from the OS cache into the Kafka application.

Third, the data is copied from Kafka to the socket buffer.

And fourth, the data is copied from the socket buffer to the network interface card buffer.

And finally, the data is sent over the network to the consumer.

Now this is clearly inefficient.

There are four copies and two system calls.

Now let's compare this to zero copy.

The first step is the same.

The data page is loaded from the disk to the OS cache.

With zero copy, the Kafka application uses a system call called send file to

tell the operating system to directly copy the data from the OS cache to the network interface card buffer.

In this optimized path, the only copy is from the OS cache into the network card buffer.

With a modern network card, this copying is done with DMA.

DMA stands for Direct Memory Access.

When DMA is used, the CPU is not involved, making it even more efficient.

To recap, sequential I.O and zero copy principle are the cornerstone to Kafka's high performance.

Kafka uses other techniques to squeeze every ounce of performance of modern hardware, but these two are the most important in our view.

If you'd like to learn more about system design, check out our books and weekly newsletter.

Please subscribe if you learned something new.

Thank you so much and we'll see you next time.

ดาวน์โหลดแอป

ทุกอย่างที่ต้องใช้เพื่อพูดได้คล่อง

AI ให้คะแนนการออกเสียงให้คะแนนทุกประโยค

ฝึก IPAเชี่ยวชาญทุกเสียง

คำศัพท์สร้างคลังคำของคุณ

เกมคำศัพท์เล่นไปเรียนไป

สแกน QR

Download on theApp Store Get it onGoogle Play

ช่องเดียวกัน

FOR YOU

วิดีโอแนะนำ

120 ประโยค

Learn Data Modeling in 8 minutes: Dimensional Data Modeling, Data Vault, and One Big Table

Business EnglishUniversity StudentsWorking Adults

227 ประโยค

Psychology of Intelligence: Learn Anything So Fast It's Almost Unfair

Business EnglishUniversity StudentsWorking Adults

32 ประโยค

Rust in 100 Seconds

Business EnglishUniversity StudentsWorking Adults

42 ประโยค

System Design: How to Build an API Rate Limiter

Business EnglishUniversity StudentsWorking Adults

243 ประโยค

Proximity Search & Geospatial Indexes Explained

Business EnglishUniversity StudentsWorking Adults

11 ประโยค

What are Design Patterns? | Introduction to Design Patterns and Principles | Geekific

Business EnglishUniversity StudentsWorking Adults

80 ประโยค

The Most Confused Concepts in Engineering

Business EnglishUniversity StudentsWorking Adults

96 ประโยค

Build a Real-Time Leaderboard on AWS with DynamoDB

Business EnglishUniversity StudentsWorking Adults

356 ประโยค

Concurrency in Low-level Design Interviews w/ Staff Engineer

Business EnglishInterview EnglishUniversity Students

195 ประโยค

JavaScript Visualized - Event Loop, Web APIs, (Micro)task Queue

Business EnglishUniversity StudentsWorking Adults

เทคนิค Shadowing คืออะไร?

Shadowing เป็นเทคนิคการเรียนรู้ภาษาที่ได้รับการรับรองทางวิทยาศาสตร์ พัฒนาขึ้นสำหรับการฝึกนักแปลมืออาชีพ วิธีการนี้เรียบง่ายแต่ทรงพลัง: คุณฟังเสียงภาษาอังกฤษจากเจ้าของภาษาและพูดตามทันที — เหมือนเงาที่ตามผู้พูดด้วยช่วงเวลาห่าง 1-2 วินาที การวิจัยแสดงว่าเทคนิคนี้ปรับปรุงความแม่นยำในการออกเสียง ทำนองเสียง จังหวะ การเชื่อมเสียง การฟังเข้าใจ และความคล่องแคล่วในการพูดได้อย่างมีนัยสำคัญ

เทคนิค shadowing: อ่านคู่มือฉบับเต็มทีละขั้นตอน →

ฝึกพูดภาษาอังกฤษด้วยเทคนิค Shadowing จากวิดีโอ: System Design: Why is Kafka fast?

เลือกโหมดฝึก

ดาวน์โหลดแอป

ช่องเดียวกัน

Top 5 Redis Use Cases

The Secret Sauce Behind NoSQL: LSM Tree

Proxy vs Reverse Proxy (Real-world Examples)

Cache Systems Every Developer Should Know

System Design Was HARD - Until You Knew the Trade-Offs

8 Most Important System Design Concepts You Should Know

Everything You Need to Know About DNS: Crash Course System Design #4

CAP Theorem Simplified

What Is REST API? Examples And How To Use It: Crash Course System Design #3

System Design: Why is Kafka Popular?

What Are Microservices Really All About? (And When Not To Use It)

What is API Gateway?

10+ Key Memory & Storage Systems: Crash Course System Design #5

What Is Redis Really About? Why Is It So Popular?

Kubernetes Explained in 6 Minutes | k8s Architecture

How Does a URL Shortener Work?

How Git Works: Explained in 4 Minutes

วิดีโอแนะนำ

Learn Data Modeling in 8 minutes: Dimensional Data Modeling, Data Vault, and One Big Table

Psychology of Intelligence: Learn Anything So Fast It's Almost Unfair

Rust in 100 Seconds

System Design: How to Build an API Rate Limiter

Proximity Search & Geospatial Indexes Explained

What are Design Patterns? | Introduction to Design Patterns and Principles | Geekific

The Most Confused Concepts in Engineering

Build a Real-Time Leaderboard on AWS with DynamoDB

Concurrency in Low-level Design Interviews w/ Staff Engineer

JavaScript Visualized - Event Loop, Web APIs, (Micro)task Queue

ความประทับใจแรก

วิเคราะห์ประโยค

กิจวัตรการฝึก

เทคนิค Shadowing คืออะไร?