2017年のTransformerの発明により飛躍的な進化を遂げた。
- Googleの研究者チームがTransformerを発明し、前後の文脈を追跡する仕組みにより、長い文章でも単語間の関係をより正確につかめるようになった。
- “hot dog”のように文脈によって意味が変わる表現に対応しやすくなった。
ChatGPT is everywhere. Here’s where it came from
OpenAI’s breakout hit was an overnight sensation—but it is built on decades of research.
Transformerは、2017年にGoogleの研究者チームによって発明されたニューラルネットワークのアーキテクチャ。従来のRNN（リカレントニューラルネットワーク）と比べて、前後の文脈を追跡する仕組みが強化されているため、長い文章でも単語間の関係をより正確に把握できるようになった。
このアーキテクチャの鍵となるのは、自己注意機構（self-attention）であり、これによって各単語が他の単語をどれほど重視すべきかを判断することができる。この特徴のおかげで、「hot dog」のように文脈によって意味が異なる表現にも柔軟に対応できる。
Transformerの登場は自然言語処理の分野に大きな影響を与え、その後のモデル（例えばBERTやGPT）に道を開いた。これらのモデルは、Transformerの技術を基にしており、高い精度でテキストを生成したり、理解したりする能力を持っている。
