シャドーイング練習: Natural Language Processing - Tokenization (NLP Zero to Hero - Part 1) - 動画で英語スピーキングを学ぶ

Hi, and welcome to this series on Zero2Hero for Natural Language Processing using TensorFlow.

If you're not an expert on AI or ML, don't worry.

We're taking the concepts of NLP and teaching them from first principles.

In this first lesson, we'll talk about how to represent words in a way that a computer can process them, with a view to later training a neural network that can understand their meaning.

This process is called tokenization.

So let's take a look.

Consider the word listen, as you can see here.

It's made up of a sequence of letters.

These letters can be represented by numbers using an encoding scheme.

A popular one called ASCII has these letters represented by these numbers.

This bunch of numbers can then represent the word listen.

But the word silent has the same letters, and thus the same numbers, just in a different order.

So it makes it hard for us to understand sentiment of a word just by the letters in it.

So it might be easier, instead of encoding letters, to encode words.

Consider the sentence, I love my dog.

So what would happen if we start encoding the words in this sentence instead of the letters in each words?

So for example, the word I could be one.

And then the sentence, I love my dog, could be one, two, three, four.

Now, if I take another sentence, for example, I love my cat, how would we encode it?

Now we see I love my has already been given one, two, three.

So all I need to do is encode a cat.

I'll give that the number five.

And now if we look at the two sentences, they are one, two, three, four and one, two, three,

five, which already show some form of similarity between them.

And it's a similarity you'd expect because they're both about loving a pet.

Given this method of encoding sentences into numbers, now let's take a look at some code to achieve this for us.

This process, as I mentioned before, is called tokenization, and there's an API for that.

We'll look at how to use it with Python.

So here's your first look at some code to tokenize these sentences.

Let's go through it line by line.

First of all, we'll need the tokenizer APIs, and we can get these from TensorFlow Keras like this.

We can represent our sentences as a Python array of strings like this.

It's simply the I love my dog and I love my cat that we saw earlier.

Now the fun begins.

I can create an instance of a tokenizer object.

The numWords parameter is the maximum number of words to keep.

So instead of, for example, just these two sentences, imagine if we had hundreds of books to tokenize.

But we just want the most frequent 100 words in all of that.

This would automatically do that for us when we do the next step.

And that's to tell the tokenizer to go through all the text and then fit itself to them like this.

The full list of words is available as the tokenizer's word index property.

So we can take a look at it like this and then simply print it out.

The result will be this dictionary showing the key being the word and the value being the token for that word.

So, for example, my has a value of three.

The tokenizer is also smart enough to catch some exceptions.

So, for example, if we updated our sentences to this by adding a third sentence, noting that dog here is followed by an exclamation mark.

The nice thing is that the tokenizer is smart enough to spot this and not create a new token.

It's just dog.

And you can see the results here.

There's no token for dog exclamation, but there is one for dog.

And there's also a new token for the word you.

If you want to try this out for yourself, I've put the code in a colab here.

Take it for a spin and experiment.

You've now seen how words can be tokenized and the tools in TensorFlow that handle that tokenization for you.

Now that your words are represented by numbers like this, you'll next need to represent your sentences by sequences of numbers in the correct order.

You'll then have data ready for processing by a neural network to understand or maybe even generate new text.

You'll see the tools that you can use to manage this sequencing in the next episode.

So don't forget to hit that subscribe button.

✨ おすすめ動画

145 文

この動画は誰に向けて作られたのですか？

AIや機械学習の専門家ではないけれど、自然言語処理（NLP）の基本を学びたい人向けです。特に、コンピュータが言葉を理解する仕組みを知り、Pythonを使って実際にコードを書くスキルを身につけたい初心者に最適です。目標は、単語の表現方法やトークン化のプロセスを理解し、後でニューラルネットワークを訓練する基礎を築くことです。

覚えておきたい単語とイディオム

Tokenization（トークン化）：単語をコンピュータが処理できる数字（トークン）に変換する過程。
Encoding scheme（符号化方式）：文字や単語を数字に変換する方法（例：ASCII）。
Word index（単語インデックス）：トークン化された単語とその数字の対応表（辞書形式）。
Fit（適合させる）：トークナイザーがテキストを分析し、単語の出現頻度などを学習すること。

アクセントと発音のポイント

この動画のスピーカーは明瞭なアメリカ英語を話しています。shadow speak（シャドーイング）やshadow speechの練習に最適です。特に、以下の点に注意して繰り返し聞きながら発音を真似てみてください。

「tokenization」の発音：トークン化という意味で、トー･ケン･アイ･ゼーションと発音し、アクセントは最初の「トー」に置きます。
「neural network」（ニューラルネットワーク）：「ニューラル」の部分を軽く発音し、「ネットワーク」は日本語でも使われるので馴染みやすいですが、アメリカ英語では「ネット･ワーク」と区切ります。
「exclamation mark」（感嘆符）：「エクス･クラメーション･マーク」と発音し、最後の「マーク」は軽くなります。

これらの単語を正しく発音することで、英語シャドーイングの効果が上がり、IELTS スピーキング対策にも役立ちます。動画を何度も繰り返し、スピーカーのリズムやイントネーションを真似ることが重要です。

トークン化のポイントまとめ

動画で説明されているトークン化のキーポイントをまとめると以下の通りです。

文字ではなく単語を符号化する方が、文の意味の類似性を捉えやすい。
TensorFlow KerasのトークナイザーAPIを使うと、簡単に単語をトークン化できる。
numWordsパラメータで、最も頻繁に出現する単語の数を指定できる。
トークナイザーは句読点を無視し、同じ単語を別のトークンとして認識しない（例：「dog」と「dog!」は同じトークン）。

これらの知識を活かして、Pythonコードを実際に書いてみることで、より深く理解できます。

この動画の文法

話し手がよく使っている文型を、動画の実際の表現とともに紹介します。

文型	動画での表現
受動態 be + 過去分詞 — 誰がするかより、何が起きるかに焦点を当てる	is called · can be represented · been given
現在完了形 have/has + 過去分詞 — 過去の出来事が今も関係している	has already been given · I've put · You've now seen

シャドーイングとは？英語上達に効果的な理由

シャドーイング（Shadowing）は、もともとプロの通訳者養成プログラムで開発された言語学習法で、多言語習得者として知られるDr. Alexander Arguelles によって広く普及されました。方法はシンプルですが非常に効果的：ネイティブスピーカーの英語を聞きながら、1〜2秒の遅延で声に出してすぐに繰り返す——まるで「影（shadow）」のように話者を追いかけます。文法ドリルや受動的なリスニングと異なり、シャドーイングは脳と口の筋肉が同時にリアルタイムで英語を処理・再現することを強制します。研究により、発音精度、抑揚、リズム、連音、リスニング力、そして会話の流暢さが大幅に向上することが確認されています。IELTSスピーキング対策や自然な英語コミュニケーションを目指す方に特におすすめです。

シャドーイングのやり方: ステップ別の完全ガイドを読む →

シャドーイング練習: Natural Language Processing - Tokenization (NLP Zero to Hero - Part 1) - 動画で英語スピーキングを学ぶ

Most devs don't understand how LLM tokens work

Python3 For Pentesting - Introduction

MIT Introduction to Deep Learning | 6.S191

Why Chatbots Understand You (And Why They Don't) | NLP Explained

Tokens vs Variables in Tokens Studio for Figma | Variables Series

C1 English Listening Practice Podcast

I think AI slop is about to trigger a renaissance, actually

LangChain in 5 Minutes (Explained Clearly)

Introduction to statistical prediction models

Computational Linguistics: Crash Course Linguistics #15

Course Introduction | AZ-104 | Episode 1

We Let $200 GPT-Pro Think for 7 Days on Unsolved Math