G検定 練習問題
第19問
JDLA Deep Learning for GENERAL ／ 全 792 問
この問題は に最終確認しました
RNNでは系列が長くなるほど誤差逆伝播(BPTT)の過程で勾配消失が生じやすく、遠く離れた時刻間の依存関係を学習しにくいという課題がある。Transformerで採用されているSelf-Attentionは、この課題をどのようなしくみで緩和しているか。
つぎに、どうしますか
数はここで、仕上げは道場で。ここで数をこなしたら、道場へ。出るところだけの模試とテキストで、最短で仕上げる。 記述式・コマンド入力・模試まで本番形式で仕上げるなら資格道場へ。