深層学習入門：画像分類（5）Attention 機構 | SBテクノロジー (SBT)
こんにちは、データサイエンスチームの白石です。 前回は、マルチタスク学習を試してみて、犬猫分類器の精度向上を試みました。 結果としては、明確に改善した、と言い切れるほど大幅な改善はありませんでしたが、マルチタスクの導入によって精度が向上するケースも確認できました。 今回は、Attention 機構と呼ばれる仕組みを導入し、犬猫分類器の精度向上を試みます。 「機械学習導入支援サービス」の詳細はこちら Attention 機構とは何か Attention 機構は、現代の深層学習の花形と言える仕組みです。 Attention 機構というと、自然言語処理などでよく使われる技術だ、と思われる方もいらっしゃるかもしれません。歴史的には、Seq2Seq と呼ばれる自然言語処理などで使用されるリカレントニューラルネットワークベースのモデルに対して組み込まれ、大きな注目を集めました。近年では、機械翻訳のため
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
代表的な機械学習手法一覧 - Qiita
概要 本ページは、代表的な機械学習の手法の特性について独自に簡単にまとめたページです。 （ご意見、ご指摘等あったらご連絡ください。） 世の中のスタンダードなものとして下記もあるので、それを踏まえてご参照いただければと思います。 - ScikitLearn Choosing the right estimator - Microsoft Azure Machine Learning Studio の機械学習アルゴリズム チート シート - 朱鷺の杜Wiki 機械学習 教師データあり 回帰 (一般化)線形回帰 ロジスティック回帰 サポートベクターマシーン(SVM) 木 決定木（CART) 回帰木 ランダムフォレスト 勾配ブースティング木 ニューラルネットワーク(NN) パーセプトロン 畳み込みニューラルネットワーク(CNN) 再起型ニューラルネットワーク(RNN) 残差ネットワーク(ResNe
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
