Luyện nói tiếng Anh bằng Shadowing qua video: Large Language Models explained briefly
Chọn chế độ luyện tập
Mỗi chế độ mở một phòng luyện tập toàn màn hình.
81 câu
Nếu các câu quá ngắn hoặc quá dài, hãy bấm Edit để chỉnh sửa.
1
Imagine you happen across a short movie script that describes a scene between a person and their AI assistant.
Hãy tưởng tượng bạn tình cờ tìm thấy một kịch bản phim ngắn mô tả một cảnh diễn ra giữa một người và trợ lý trí tuệ nhân tạo của họ.
2
The script has what the person asks the AI.
Đoạn mã lệnh chứa những nội dung mà người dùng yêu cầu từ AI.
3
but the AI's response has been torn off.
nhưng phản hồi của trí tuệ nhân tạo đã bị cắt ngang.
4
Suppose you also have this powerful magical machine that can take any text
Giả sử bạn cũng có cỗ máy ma thuật mạnh mẽ này, có thể nhận bất kỳ đoạn văn bản nào
5
and provide a sensible prediction of what word comes next.
và đưa ra một dự đoán hợp lý về từ sẽ xuất hiện tiếp theo.
6
You could then finish the script by feeding in what you have to the machine, seeing what it would predict to start the AI's answer,
Sau đó, bạn có thể hoàn thành đoạn mã bằng cách đưa những gì bạn có vào mô hình, xem nó sẽ dự đoán gì để bắt đầu câu trả lời của AI.
7
and then repeating this over and over with a growing script completing the dialogue.
và sau đó lặp đi lặp lại quá trình này với một đoạn mã ngày càng dài để hoàn thành cuộc hội thoại.
8
When you interact with a chatbot, this is exactly what's happening.
Khi bạn tương tác với một chatbot, đây chính xác là những gì đang diễn ra.
9
A large language model is a sophisticated mathematical function that predicts what word comes next for any piece of text.
Mô hình ngôn ngữ lớn là một hàm toán học tinh vi dùng để dự đoán từ tiếp theo trong bất kỳ đoạn văn bản nào.
10
Instead of predicting one word with certainty, though, what it does is assign a probability to all possible next words.
Tuy nhiên, thay vì dự đoán một từ duy nhất với độ chắc chắn tuyệt đối, mô hình này sẽ gán một xác suất cho tất cả các từ có thể xuất hiện tiếp theo.
11
to build a chatbot.
để xây dựng một chatbot.
12
What you do is lay out some text that describes an interaction between a user and a hypothetical AI assistant,
Bạn cần trình bày một đoạn văn bản mô tả tương tác giữa người dùng và một trợ lý trí tuệ nhân tạo giả định.
13
You add on whatever the user types in as the first part of that interaction,
Bạn hãy thêm vào bất cứ điều gì người dùng nhập vào làm phần đầu của tương tác đó.
14
And then you have the model repeatedly predict the next word that such a hypothetical AI assistant would say in response, and that's what's presented to the user.
Sau đó, bạn cho mô hình liên tục dự đoán từ tiếp theo mà một trợ lý AI giả định như vậy sẽ nói để phản hồi, và đó chính là những gì được trình bày cho người dùng.
15
In doing this, the output tends to look a lot more natural
Khi thực hiện việc này, kết quả đầu ra thường trông tự nhiên hơn nhiều.
16
if you allow it to select less likely words along the way at random.
nếu bạn cho phép nó chọn ngẫu nhiên những từ ít có khả năng xuất hiện hơn trong quá trình xử lý.
17
So what this means is even though the model itself is deterministic, A given prompt typically gives a different answer each time it's run.
Vì vậy, điều này có nghĩa là mặc dù bản thân mô hình là xác định, nhưng một đầu vào nhất định thường sẽ cho ra kết quả khác nhau mỗi khi chạy.
18
Models learn how to make these predictions by processing an enormous amount of text, typically pulled from the internet.
Các mô hình học cách đưa ra những dự đoán này bằng cách xử lý một lượng văn bản khổng lồ, thường được lấy từ internet.
19
For a standard human to read the amount of text that was used to train GPT -3, for example, if they read "non -stop, 24 /7," it would take over 2600 years.
Để một người bình thường có thể đọc hết khối lượng văn bản được sử dụng để huấn luyện GPT-3, ví dụ, nếu họ đọc "không ngừng nghỉ, 24/7", thì sẽ phải mất hơn 2600 năm.
20
Larger models since then train on much, much more.
Các mô hình lớn hơn được phát triển sau đó được huấn luyện với lượng dữ liệu nhiều hơn rất nhiều.
21
You can think of training a little bit like tuning the dials on a big machine.
Bạn có thể coi việc huấn luyện giống như việc điều chỉnh các núm vặn trên một cỗ máy lớn.
22
The way that a language model behaves is entirely determined by these many different continuous values, usually called parameters or weights.
Cách một mô hình ngôn ngữ hoạt động được quyết định hoàn toàn bởi các giá trị liên tục khác nhau này, thường được gọi là tham số hoặc trọng số.
23
Changing those parameters will change the probabilities that the model gives for the next word on a given input.
Việc thay đổi các tham số đó sẽ làm thay đổi các xác suất mà mô hình đưa ra cho từ tiếp theo tương ứng với một đầu vào nhất định.
24
What puts the "large" in large language model is how they can have hundreds of billions of these parameters.
Điều làm nên sự "lớn" của mô hình ngôn ngữ lớn là khả năng sở hữu hàng trăm tỷ tham số như vậy.
25
you No human ever deliberately sets those parameters.
Không có con người nào từng cố ý đặt các tham số đó.
26
Instead, they begin at random, meaning the model just outputs gibberish, but they are repeatedly refined based on many example pieces of text.
Thay vào đó, chúng bắt đầu một cách ngẫu nhiên, nghĩa là mô hình ban đầu chỉ đưa ra những kết quả vô nghĩa, nhưng chúng được tinh chỉnh lặp đi lặp lại dựa trên rất nhiều đoạn văn bản ví dụ.
27
One of these training examples could be just a handful of words, or it could be thousands, but in either case, the way this works is to pass in all
Một trong những ví dụ huấn luyện này có thể chỉ là một vài từ, hoặc có thể là hàng ngàn từ, nhưng trong cả hai trường hợp, cách thức hoạt động của nó là truyền vào tất cả
28
but the last word from that example into the model, and compare the prediction that it makes with the true last word from the example.
nhập từ cuối cùng của ví dụ đó vào mô hình, rồi so sánh dự đoán mà mô hình đưa ra với từ cuối cùng thực tế của ví dụ.
29
An algorithm called backpropagation is used to tweak all of the parameters in such a way
Một thuật toán có tên là lan truyền ngược được sử dụng để điều chỉnh tất cả các tham số theo cách đó.
30
that it makes the model a little more likely to choose the true last word
rằng điều đó làm cho mô hình có nhiều khả năng chọn từ cuối cùng đúng hơn một chút
31
and a little less likely to choose all the others.
và ít có khả năng hơn một chút để chọn tất cả các lựa chọn còn lại.
32
When you do this for many, many trillions of examples, Not only does the model start to give more accurate predictions on the training data,
Khi bạn thực hiện việc này với hàng nghìn tỷ ví dụ, mô hình không chỉ bắt đầu đưa ra các dự đoán chính xác hơn trên dữ liệu huấn luyện,
33
but it also starts to make more reasonable predictions on text that it's never seen before.
nhưng nó cũng bắt đầu đưa ra những dự đoán hợp lý hơn đối với những đoạn văn bản mà nó chưa từng thấy trước đây.
34
Given the huge number of parameters and the enormous amount of training data, The scale of computation involved in training a large language model is mind -boggling.
Với số lượng tham số khổng lồ và lượng dữ liệu huấn luyện vô cùng lớn, quy mô tính toán cần thiết để huấn luyện một mô hình ngôn ngữ lớn là con số đáng kinh ngạc.
35
To illustrate, imagine that you could perform 1 billion additions and multiplications every single second.
Để minh họa, hãy tưởng tượng rằng bạn có thể thực hiện 1 tỷ phép cộng và phép nhân mỗi giây.
36
How long do you think it would take for you to
Bạn nghĩ sẽ mất bao lâu để bạn
37
do all of the operations involved in training the largest language models?
có thực hiện tất cả các phép tính liên quan đến việc huấn luyện các mô hình ngôn ngữ lớn nhất không?
38
Do you think it would take a year?
Bạn có nghĩ rằng sẽ mất khoảng một năm không?
39
Maybe something like 10 ,000 years?
Có lẽ là khoảng 10.000 năm?
40
The answer is actually much more than that.
Câu trả lời thực ra còn nhiều điều hơn thế nữa.
41
It's well over 100 million years.
Nó đã có niên đại hơn 100 triệu năm rồi.
42
you This is only part of the story, though.
Tuy nhiên, đây chỉ là một phần của câu chuyện.
43
This whole process is called pre -training.
Toàn bộ quy trình này được gọi là huấn luyện trước.
44
The goal of auto -completing a random passage of text from the internet
Mục tiêu của việc tự động hoàn thành một đoạn văn bản ngẫu nhiên lấy từ internet
45
is very different from the goal of being a good AI assistant.
rất khác với mục tiêu trở thành một trợ lý AI tốt.
46
To address this, chatbots undergo another type of training, just as important, called reinforcement learning with human feedback.
Để giải quyết vấn đề này, các chatbot trải qua một loại huấn luyện khác cũng quan trọng không kém, được gọi là học tăng cường với phản hồi từ con người.
47
Workers flag unhelpful or problematic predictions, and their corrections further change the model's parameters,
Các công nhân đánh dấu những dự đoán không hữu ích hoặc có vấn đề, và các sửa đổi của họ tiếp tục thay đổi các tham số của mô hình.
48
making them more likely to give predictions that users prefer.
khiến chúng có nhiều khả năng đưa ra những dự đoán mà người dùng ưa chuộng hơn.
49
Looking back at the pre -training though, this staggering amount of computation is only made possible by using special computer chips
Tuy nhiên, nhìn lại giai đoạn huấn luyện trước, lượng tính toán khổng lồ này chỉ có thể thực hiện được nhờ sử dụng các chip máy tính đặc biệt.
50
that are optimized for running many many operations in parallel, known as GPUs.
được tối ưu hóa để thực hiện rất nhiều tác vụ song song, được gọi là GPU.
51
However, not all language models can be easily parallelized.
Tuy nhiên, không phải tất cả các mô hình ngôn ngữ đều có thể dễ dàng song song hóa.
52
Prior to 2017, most language models would process text one word at a time.
Trước năm 2017, hầu hết các mô hình ngôn ngữ xử lý văn bản theo từng từ một.
53
But then, a team of researchers at Google introduced a new model known as the Transformer.
Nhưng sau đó, một nhóm các nhà nghiên cứu tại Google đã giới thiệu một mô hình mới có tên là Transformer.
54
Transformers don't read text from the start to the finish.
Các mô hình Transformer không đọc văn bản từ đầu đến cuối.
55
they soak it all in at once, in parallel.
chúng tiếp thu tất cả mọi thứ cùng một lúc, song song với nhau.
56
The very first step inside a transformer, and most other language models for that matter, is to associate each word with a long list of numbers.
Bước đầu tiên bên trong một mô hình Transformer, và cũng là bước đầu tiên của hầu hết các mô hình ngôn ngữ khác, là liên kết mỗi từ với một danh sách dài các con số.
57
The reason for this is that the training process only works with continuous values, so you have to somehow encode language using numbers.
Lý do cho điều này là quá trình huấn luyện chỉ hoạt động với các giá trị liên tục, do đó bạn phải mã hóa ngôn ngữ bằng các con số theo một cách nào đó.
58
and each of these list of numbers may somehow encode the meaning of the corresponding word.
và mỗi danh sách số này có thể bằng cách nào đó mã hóa ý nghĩa của từ tương ứng.
59
What makes Transformers unique is their reliance on a special operation known as attention.
Điều làm cho các mô hình Transformers trở nên độc đáo chính là sự phụ thuộc của chúng vào một phép toán đặc biệt được gọi là cơ chế chú ý (attention).
60
This operation gives all of these lists of numbers a chance to talk to one another, and refine the meanings that they encode based on the context around, all done in parallel.
Hoạt động này cho phép tất cả các danh sách số này có cơ hội tương tác với nhau, và tinh chỉnh các ý nghĩa mà chúng mã hóa dựa trên ngữ cảnh xung quanh, tất cả được thực hiện song song.
61
For example, the numbers encoding the word "bank" might be changed based on the context surrounding it, to somehow encode the more specific notion of a riverbank.
Ví dụ, các con số mã hóa từ "bank" có thể được thay đổi dựa trên ngữ cảnh xung quanh nó, để mã hóa khái niệm cụ thể hơn về bờ sông.
62
Transformers typically also include a second type of operation, known as a feed -forward neural network,
Các mô hình Transformer thường bao gồm một loại hoạt động thứ hai, được gọi là mạng nơ-ron truyền thẳng.
63
and this gives the model extra capacity to store more patterns about language learned during training.
và điều này mang lại cho mô hình khả năng lưu trữ thêm nhiều mẫu ngôn ngữ đã học được trong quá trình huấn luyện.
64
All of this data repeatedly flows through many different iterations of these two fundamental operations.
Tất cả dữ liệu này liên tục đi qua nhiều lần lặp khác nhau của hai hoạt động cơ bản này.
65
And as it does so, the hope is
Và khi nó làm như vậy, hy vọng là
66
that each list of numbers is enriched to encode whatever information
rằng mỗi danh sách số được bổ sung thêm để mã hóa bất kỳ thông tin nào
67
might be needed to make an accurate prediction of what word follows in the passage.
có thể cần thiết để đưa ra dự đoán chính xác về từ nào sẽ xuất hiện tiếp theo trong đoạn văn.
68
At the end, one final function is performed on the last vector in this sequence, which now has had a chance to be influenced by all the other context from the input text,
Cuối cùng, một hàm cuối cùng được thực hiện trên vector cuối cùng trong chuỗi này, vốn đã có cơ hội bị ảnh hưởng bởi tất cả các ngữ cảnh khác từ văn bản đầu vào.
69
as well as everything the model learned during training, to produce a prediction of the next word.
cũng như tất cả những gì mô hình đã học được trong quá trình huấn luyện, để đưa ra dự đoán về từ tiếp theo.
70
Again, the model's prediction looks like a probability for every possible next word.
Một lần nữa, dự đoán của mô hình trông giống như một xác suất cho mỗi từ tiếp theo có thể xảy ra.
71
Although researchers design the framework for how each of these steps work, it's important to understand
Mặc dù các nhà nghiên cứu thiết kế khung vận hành cho từng bước này, việc hiểu rõ là rất quan trọng
72
that the specific behavior is an emergent phenomenon based on how those hundreds of billions of parameters are tuned during training.
rằng hành vi cụ thể đó là một hiện tượng xuất hiện dựa trên cách hàng trăm tỷ tham số đó được điều chỉnh trong quá trình huấn luyện.
73
This makes it incredibly challenging to determine why the model makes the exact predictions that it does.
Điều này khiến việc xác định lý do tại sao mô hình đưa ra những dự đoán chính xác như vậy trở nên vô cùng khó khăn.
74
What you can see is that when you use large language model predictions to autocomplete a prompt,
Điều bạn có thể thấy là khi bạn sử dụng các dự đoán của mô hình ngôn ngữ lớn để tự động hoàn thành một lời nhắc,
75
the words that it generates are uncannily fluent, fascinating, and even useful.
những từ mà nó tạo ra có độ lưu loát đáng ngạc nhiên, hấp dẫn và thậm chí còn hữu dụng.
76
If you're a new viewer and you're curious about more details on how transformers and attention work, boy do I have some material for you.
Nếu bạn là người xem mới và tò mò về chi tiết hơn về cách các mô hình transformer và cơ chế attention hoạt động, thì tôi có rất nhiều tài liệu dành cho bạn đấy.
77
One option is to jump into a series I made about deep learning, where we visualize and motivate the details of attention and all the other steps in a transformer.
Một lựa chọn là bạn có thể bắt đầu xem loạt bài tôi đã tạo về học sâu, trong đó chúng ta trực quan hóa và giải thích rõ ràng các chi tiết về cơ chế chú ý cũng như tất cả các bước khác trong một mô hình transformer.
78
But also, on my second channel I just posted a talk
Nhưng mà ngoài ra, tôi vừa đăng một buổi nói chuyện trên kênh thứ hai của mình.
79
that I gave a couple months ago about this topic for the company TNG in Munich.
mà tôi đã trình bày cách đây vài tháng về chủ đề này cho công ty TNG ở Munich.
80
Sometimes I actually prefer the content that I make as a casual talk rather than a produced video, but I leave it up to you which one of these feels like the better follow on.
Đôi khi tôi thực sự thích nội dung mà tôi tạo ra dưới dạng những cuộc trò chuyện tự nhiên hơn là một video được biên tập kỹ lưỡng, nhưng tôi sẽ để các bạn quyết định xem cách nào sẽ phù hợp hơn để tiếp tục theo dõi.
81
you you
bạn bạn
Tải Ứng Dụng
Mọi thứ bạn cần để nói trôi chảy
Chấm điểm AIChấm từng câu nói
Luyện IPAThành thạo mọi âm
Từ vựngMở rộng vốn từ
Game Từ vựngHọc qua chơi
Cùng kênh
C1Differential equations, a tourist's guide | DE1
Daily ConversationUniversity Students
C12
Linear combinations, span, and basis vectors | Chapter 2, Essence of linear algebra
American AccentCambridge Exam PrepUniversity StudentsWorking Adults
C15
Fourier series
American AccentUniversity StudentsWorking Adults
C14
Euler's Formula Poem
American AccentIELTS PrepTOEFL PrepUniversity Students
C12
Vectors | Chapter 1, Essence of linear algebra
American AccentBusiness EnglishUniversity StudentsWorking Adults
C13
How might LLMs store facts | Deep Learning Chapter 7
American AccentIELTS PrepTOEFL PrepUniversity Students
C113
Essence of linear algebra preview
American AccentBusiness EnglishUniversity StudentsWorking Adults
C15
The inscribed square problem
American AccentUniversity StudentsWorking Adults
C14
The Newton art puzzle
American AccentUniversity StudentsWorking Adults
C15
Transformers, the tech behind LLMs | Deep Learning Chapter 5
American AccentBusiness EnglishUniversity StudentsWorking Adults
C12
Oh, wait, actually the best Wordle opener is not “crane”…
American AccentBusiness EnglishUniversity StudentsWorking Adults
C23
Hilbert's Curve: Is infinite math useful?
American AccentBusiness EnglishUniversity StudentsWorking Adults
C211
But what is a neural network? | Deep learning chapter 1
American AccentBusiness EnglishUniversity StudentsWorking Adults
C1But what is the Fourier Transform? A visual introduction.
Daily ConversationUniversity Students
C1Divergence and curl: The language of Maxwell's equations, fluid flow, and more
American AccentBusiness EnglishUniversity StudentsWorking Adults
C1But what is quantum computing? (Grover's Algorithm)
American AccentBusiness EnglishUniversity StudentsWorking Adults
C1Tie random ends: How many loops?
American AccentUniversity StudentsWorking Adults
FOR YOU
Video gợi ý
C12
105 câu
Google’s AI Course for Beginners (in 10 minutes)!
American AccentBusiness EnglishUniversity StudentsWorking Adults
C111
102 câu
World Models explained in 10min..
Business EnglishUniversity StudentsWorking Adults
B28
59 câu
An ex-OpenAI researcher just deleted language from the LLM...
American AccentBusiness EnglishUniversity StudentsWorking Adults
B23
137 câu
AI Agents, Clearly Explained
American AccentBusiness EnglishUniversity StudentsWorking Adults
C168
35 câu
SEtalk: What a Second Language Does to Your Brain
American AccentIELTS PrepTOEFL PrepUniversity Students
C12
33 câu
PyTorch in 100 Seconds
American AccentBusiness EnglishUniversity StudentsWorking Adults
C117
118 câu
Computational Linguistics: Crash Course Linguistics #15
Business EnglishUniversity StudentsWorking Adults
C12
68 câu
Prompt engineering - Introduction
Business EnglishUniversity StudentsWorking Adults
C11
125 câu
Introduction to statistical prediction models
Daily ConversationUniversity Students
C11
143 câu
MCP vs API: The protocol every developer needs to know
Business EnglishUniversity StudentsWorking Adults
Ngữ cảnh & Bối cảnh
Trong thời đại công nghệ hiện đại, các mô hình ngôn ngữ lớn đang ngày càng trở nên phổ biến và có vai trò quan trọng trong việc phát triển các ứng dụng AI. Video này giải thích đơn giản về cách mà một mô hình ngôn ngữ hoạt động, từ việc dự đoán từ tiếp theo trong một đoạn văn cho đến cách mà chúng học hỏi từ dữ liệu khổng lồ trên internet. Việc hiểu rõ về những công nghệ này không chỉ giúp bạn nắm bắt thông tin mà còn có thể hỗ trợ bạn trong việc luyện nghe nói qua video để cải thiện khả năng giao tiếp tiếng Anh.
5 Câu Chuyện Cảm Hứng Cho Giao Tiếp Hàng Ngày
- Những gì mô hình ngôn ngữ lớn thực hiện: Dự đoán từ tiếp theo từ một đoạn văn.
- Cách thức học hỏi: Xử lý một lượng dữ liệu văn bản khổng lồ để rút ra những mối liên hệ giữa các từ.
- Ý nghĩa của "attention": Giúp mô hình hiểu ngữ cảnh xung quanh từ để đưa ra dự đoán chính xác hơn.
- Quá trình huấn luyện: Sử dụng thuật toán để tinh chỉnh các tham số và tăng độ chính xác của dự đoán.
- Cách mô hình tạo ra câu trả lời tự nhiên: Chọn các từ ít được chọn để làm cho câu trả lời trông tự nhiên hơn.
Hướng Dẫn Shadowing Bước Từng Bước
Để cải thiện khả năng phát âm và nghe nói của bạn thông qua việc shadowing tiếng Anh, đặc biệt với video này, hãy làm theo các bước sau:
- Xem video lần đầu: Chỉ tập trung vào nội dung mà không cần phải ghi chú. Nghe để hiểu tổng quan.
- Xem lại và ghi lại: Dừng video sau mỗi câu và ghi lại các câu nói của AI. Chú ý cách phát âm và ngữ điệu.
- Thực hành shadowing: Bật video lại và cố gắng bắt chước từng câu nói của nhân vật AI, chú ý tới ngữ điệu và tốc độ.
- Ghi âm lại: Ghi âm lại khi bạn mô phỏng các câu này để nghe lại xem có giống với giọng nói của AI không.
- So sánh và cải thiện: Nghe lại bản ghi âm của bạn và đối chiếu với video. Nhận diện các điểm cần cải thiện và tiếp tục luyện tập.
Sử dụng các ứng dụng phần mềm shadowing có thể hỗ trợ bạn trong quá trình này, giúp bạn luyện tập phát âm tiếng Anh chuẩn và cải thiện sự tự tin khi giao tiếp.
Ngữ pháp trong video
Những cấu trúc người nói dùng nhiều nhất, kèm đúng cụm từ trong video:
| Cấu trúc | Trong video |
|---|---|
| Câu bị động be + quá khứ phân từ — nhấn vào việc xảy ra, không phải người làm | has been torn · are repeatedly refined · is called |
| Thì hiện tại hoàn thành have/has + quá khứ phân từ — việc đã xảy ra nhưng còn liên quan đến hiện tại | has been torn · has had |
Phương Pháp Shadowing Là Gì?
Shadowing là kỹ thuật học ngôn ngữ có cơ sở khoa học, ban đầu được phát triển cho chương trình đào tạo phiên dịch viên chuyên nghiệp và được phổ biến rộng rãi bởi nhà đa ngôn ngữ học Dr. Alexander Arguelles. Nguyên lý cốt lõi đơn giản nhưng cực kỳ hiệu quả: bạn nghe tiếng Anh của người bản xứ và lặp lại to ngay lập tức — như một "cái bóng" (shadow) đuổi theo người nói với độ trễ chỉ 1–2 giây. Khác với luyện ngữ pháp hay học từ vựng bị động, Shadowing buộc não bộ và cơ miệng phải đồng thời xử lý và tái tạo ngôn ngữ thực tế. Các nghiên cứu khoa học xác nhận phương pháp này cải thiện đáng kể phát âm, ngữ điệu, nhịp điệu, nối âm, kỹ năng nghe và độ lưu loát khi nói — đặc biệt hiệu quả cho người luyện IELTS Speaking và muốn giao tiếp tiếng Anh tự nhiên như người bản ngữ.