今日の学習テーマ
今日は公式テキストの「ディープラーニングの要素技術」の章を学習しました。
正直、単語のオンパレードで頭がパンパンですが、「今のAIがなぜすごいのか」のベースになっている技術ばかりで、なんとか食らいついてます…！
リンク
学習内容まとめ📝
1. ネットワークの構成要素
- 畳み込み層／プーリング層：画像認識でよく出てくるやつ！特徴抽出の役割。
- 全結合層：一般的なニューラルネットで使われる、出力を次層に全部渡すタイプ。
- スキップ結合／正規化層：学習を安定させたり、層が深くなっても勾配消失しにくくしたり。
→ CNN（Convolutional Neural Network）系のベース技術。
2. リカレントニューラルネットワーク（RNN）とその派生
- 回帰結合層／RNN基本形／LSTM／双方向RNN／エンコーダ・デコーダ／Attention
→ 時系列データや自然言語処理で重要なやつ！
特にLSTMとAttentionがキーワード。忘却・記憶の制御構造が肝。
3. トランスフォーマーとAttention構造
- RNNの限界を超える新構造
- Self-Attention／Multi-Head Attention：文章中の「重要な部分」に自動で注目できる！
- クエリ・キー・バリュー：ここはまだちゃんと理解できてない…。イメージはできてきた！
→ 今の生成AI（GPT系）にもつながる、超重要構造。
4. オートエンコーダとその発展型
- 圧縮・再構築のネットワーク
- **変分オートエンコーダ（VAE）**までくると、生成系の話につながってきて面白い。
感想 ✍️🧠💥
- 数式が出てくるとちょっと苦手意識発動…（文系卒あるある？）
- でも、「なんとなく意味は分かってきた！」というレベルには近づいてきた気がする。
- トランスフォーマーとVAEは、ちゃんと手を動かして試してみたくなった。
明日の予定
次は「ディープラーニングの応用例」へ。
確率や最尤推定も出てきそうなので、ちょっと構えておきます…！
この記事にはアフェリエイトリンクを含んでいます。
コメント