TransformerやAttentionの分かりにくい点についてのメモ - StatsBeginner: 初学者の統計学習ノート
ChatGPTの「GPT」はGenerative Pretrained Transformerの略であり、TransformerというのはGoogleが2017年に発表した『Attention is all you need』という論文で提案されたディープラーニングの画期的なアーキテクチャで、その論文のタイトル通り「Attention」という機構だけを使い倒している点が特徴的である。 ……という話は色々なところで紹介されているのだが、私のような素人が読むと誤解してしまうような記述も少なくない。 「仕組みを分かっていない人がいい加減な説明をしている」というよりは、「仕組みをよく知っている人が、素人の気持ちをあまり考えずに説明している」という感じで、悪気は全くないと思うし誤解するのは不勉強なこちらが悪いのだが、読むほうとしては困ることも多い。 そこで、にわか機械学習ユーザである自分がall y
こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
機械翻訳に関する記事を読んで面白いと思ったこと（与太話） - StatsBeginner: 初学者の統計学習ノート
短いし大したことは言わないし正確に理解もできていないので、ブログ記事にするのもためらわれますが、Twitterの字数では書けないのでここに書きます。 以下の、機械翻訳の現状に関する記事を読み、大変参考になりました。 rekken.g.hatena.ne.jp それで学説史的に興味深いなと感じたのでメモしておきます。与太話です。 1960年代から70年代にかけて「認知革命」というアカデミアのムーブメントがあったと言われます。心理学、言語学、脳科学、計算機科学とかそういった分野にまたがる運動だったんだけど、心理学の方面から見た時によく言われるのは、「記号（表象）の関係をモデル化する」という研究が推し進められたのが特徴であったということ。それまでは、パブロフとかスキナーといった名前が有名だけど、「行動主義」という考え方があって、心の中身はモデル化することはできないから、外面的に観察できる「刺激」
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
