タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
ニューラルネットワークを用いてお絵描き途中の線からイラストを仕上げる「Sketch-RNN」のようなリカレントニューラルネットワーク(RNN)モデルとして作成された「dick-rnn」は、その名の通り「dick(おちんちん)」のイラストに特化したRNNです。 [P] I trained a recurrent neural network trained to draw dick doodles : MachineLearning https://www.reddit.com/r/MachineLearning/comments/g6og9l/p_i_trained_a_recurrent_neural_network_trained_to/ 「dick-rnn」を作成したのは海外掲示板・redditユーザーのrichardさん。同氏によると、「dick-rnn」はお絵描き途中の線からイラ
(本記事は数時間前からRWKVの手法について調べ始めた著者が、手法をまとめるためのメモ書きとして深夜テンション書いたレベルのものです。内容の正確さについて保証しないので各自最後にある参考文献の確認をお願いします。日本語の記事でRWKVの手法について解説されたものが見当たらなかったので、一部僕の見解が含まれますが英語版中国語版の翻訳程度に受け取ってもらえたら幸いです。中国語は一切読めないけど・・・） Introduction 昨今の生成系AIブームの中で、OpenAIが開発するChatGPT、特にGPT4の性能は目を引くものがあります。ですが、そのモデルを動かすための計算資源にも目を引くものがあり、LLaMA.cppなどローカルで動かそうとする試みは存在するにせよ、やはり一般の家庭でしかも現実的な電気代でGPT4を動かすという未来は遠そうです。 さて、そんな話題のChatGPTやGPT4です
QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm"
筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm
【理論から実践まで】動かしながら学ぶ！ゼロからわかる再帰的ニューラルネットワーク（RNN） - LABOT 機械学習ブログ
この記事では再帰的ニューラルネットワーク (RNN) について解説をします。RNN の理論的な説明から入り、Keras を用いて実際に RNN を動かしてみます。単純RNN (SimpleRNN), LSTM, 双方向RNN (bidirectional RNN), deep RNN を用いてモデリングをします。なおこの記事はGoogle Colaboratory で動かすことができ、実行しながら読むことをおすすめします。 ノートブックを開く 再帰的ニューラルネットワーク 再帰的ニューラルネットワーク（リカレントニューラルネットワーク、RNN)）は系列データのモデルです。 各時刻 $t_1, t_2, \cdots,t_n$で$\vec{x_1}, \cdots, \vec{x_n}$が入力されたときベクトル$\vec{y_1}, \cdots, \vec{y_n}$ を予測するモデルです
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
シングルGPUで動作するTransformer相当のRNNモデル RWKV-Raven-14Bを試してみた | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はシングルGPUで動作するTransformer相当のRNNモデル、という噂のRWKVについて試してみたいと思います。 RWKVとは TransformerベースのLLMと同等の性能を持つ、並列化可能なRNNモデルであり、Attentionフリー(Attention構造を持たない)なモデルです。 ライセンス形態がApache License 2.0かつ、シングルGPUでも動作する点が凄いところとなっています。 GitHub https://github.com/BlinkDL/RWKV-LM Huggin Face https://huggingface.co/BlinkDL Hugging Face側にモデルがいくつか公開されており、rwkv-4が付くものが最近よく話題で使用されているもので
この記事は中国のNLP研究者Jianlin Su氏が運営するブログ「科学空間」で掲載された解説記事の日本語訳です。 原文の掲載日は2024/3/18です。 苏剑林. (Mar. 18, 2024). 《时空之章：将Attention视为平方复杂度的RNN 》[Blog post]. Retrieved from https://kexue.fm/archives/10017 近年、線形時間の学習・推論計算量を持つRNNが、少なからずの研究者やユーザーから改めて注目され始めており、どこか「文芸復興」の様相を呈している。その代表作にRWKV、RetNet、Mambaなどが挙げられる。RNNを言語モデルとして使う際の最大の特徴は一回の生成が費やす空間・時間計算量が定数であることだ。系列全体でみると、定数の空間計算量と線形な時間計算量を持つことになる。もちろん、どんな物事にも両面性がある。Atte
今回の目的 前回はマルコフ連鎖を用いて、青空文庫で公開されている梶井基次郎の著作データから文章を生成しました。今回から数回に分けてディープラーニングの手法を用いて、文章の生成に挑戦してみましょう。 ここで一つ考えたいのは、文章というものの構造です。例えば、梶井基次郎の『檸檬』には「檸檬などごくありふれている。」という1文があります。これを分かち書きにすると「檸檬 など ごく ありふれ て いる 。」となりますが、これは「檸檬」→「など」→「ごく」→「ありふれ」→「て」→「いる」→「。」と形態素が連続して登場する（時系列）データだと考えられます。こうしたデータを扱うのに適したニューラルネットワークとしてRNNがあります。本連載でも「RNNに触れてみよう：サイン波の推測」などで少し触れました。今回はこのRNNを用いて文章を生成するための準備を、次回は実際に文章を生成する予定です。 ここで問題な
GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - BlinkDL/RWKV-LM: RWKV is an RNN with transformer-level LLM performance. It can be directly trained like a GPT (parallelizable). So it's combining the best of RNN and transformer - great performance, fast inference, saves VRAM, fast training, "inf
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
今更ですが、RNNについてです。 RNNもCNNと同様に約２年前に実装していましたが、なかなか書けませんでした。少し時間ができたので、書きます。 RNNですが、例によってMNISTを使って確かめます。 時系列データ RNNは、例えば、株価の推移、商品の売り上げなど時刻ごとに変化するデータの予測に用いられます。 次元としては、以下のような２次元データです。 (t, d) t:時系列長、d:説明変数 tは、月次データの12か月分であれば12、日々データで1週間分であれば7になります。 ここでは、MNISTの画像を時系列データとみなします。 MNISTの画像の例です。 以下のように、上部のピクセルから順に1時刻、2時刻となり最後が28時刻です。 (28,28)のデータになります。 スキャナで上から順番に読み込んでいくイメージです。 RNN（リカレントニューラルネットワーク） 時系列データは、前時
dick-rnn
a neural network trained to draw dicks
前回に引き続き、後編です。 www.takapy.work 前編の簡単な復習 言語モデル 言語モデルにおけるフィードフォワード型ニューラルネットワーク（word2vec）の問題点 RNN BPTT(Backpropagation Through Time) BPTTの問題点 Truncated BPTT Truncated BPTTのミニバッチ学習 RNN言語モデルの全体図 LSTM（ゲート付きRNN）とは RNNLMの問題点 勾配爆発への対策 勾配消失への対策 LSTM（Long short-term memory）の概要 LSTMに備わっているゲートについて outputゲート(o) forgetゲート(f) 新しい記憶セル(g) inputゲート(i) なぜLSTMだと勾配消失が起きにくいのか LSTMの改善案 最後に 前編の簡単な復習 前編では、コンピュータに単語の意味を理解させる
はじめに GW中になにか一つアウトプットしたいと思ったので、自分が最初見たとき、ん？と思ったLSTMについて詳しく書いてみようと思います。 ところどころ数式も交えながら、なるべくわかりやすく書いていきたい所存です・・・！ シーケンスモデルの分類 本題に入る前にまず、シーケンス（系列データ）についてまとめます。 シーケンスモデルは以下の分類ができます。 one to one 入力データも出力データも固定サイズのベクトルである一般のニューラルネット。 one to many 入力データはシーケンスではないが、出力データはシーケンスである。 例として、画像キャプショニングがある。 画像キャプショニングでは、入力は画像であり、出力は英語のフレーズになる。 many to one 入力データはシーケンスだが、出力データは固定サイズのベクトルである。 例えば感情分析では、入力はテキストベースであり、出
ニューラルネットワークに基づく時系列予測手法まとめ: LSTNet, RNN, LSTM, GRU - コンサルでデータサイエンティスト
LSTNetの論文*1を読む機会があったので、関連手法であるニューラルネットワークをベースとした時系列予測の手法についてまとめました。本記事では、RNNをはじめとして、その派生であるLSTM、GRU、LSTNetについて紹介していきます。 RNN (Recurrent Neural Network) RNN(Recurrent Neural Network) とは、ある層の出力を別の層の入力として利用するような再帰的構造を持ったニューラルネットワークです。 RNNの各時刻における中間出力は隠れ状態と呼ばれ、これは当該時刻tの時系列情報と前時刻t-1の隠れ状態を組み合わせて活性化したものです。 tanh(ハイパボリックタンジェント）を使った活性化は下式のように表すことができます。 RNNのメリットは、独立した各時点での情報だけでなく前後の時系列情報を活用することができることです。一方で、RN
The RWKV language model: An RNN with the advantages of a transformer
For a while, I’ve been following and contributing to the RWKV language model, an open source large language model with great potential. As ChatGPT and large language models in general have gotten a lot of attention recently, I think it’s a good time to write about RWKV. In this post, I will try to explain what is so special about RWKV compared to most language models (transformers). The other RWKV
RNNに触れてみよう：サイン波の推測
RNNとは RNN（Recurrent Neural Network）とは、「時系列データをうまく扱う」のに適したニューラルネットワークです。ここでいう「時系列データ」とは、連続する複数のデータが時間軸に沿ったものであったり、何らかの順序で並んでいたりするもののことです。数年間にわたる降水量のデータを日ごとにまとめたデータは想像しやすい時系列データの一つでしょう。あるいは「Python is great !」（Pythonはスゴイ！）という英単語の綴りもまた時系列データの一つといえます。この文は「主語 述語 形容詞 感嘆符」という4つの語が一定の規則に従って並べられたもので、こうしたものもRNNでは時系列データとして扱えます。 時系列データを扱う際に重要になるのは、ある時点のデータが、それ以降のデータに影響を与えている（と見なせる）という点です。例えば、サイン波について考えてみましょう。
はじめに 時系列データを入力にとり、今の時刻の入力に加えて前の時刻の「状態」も使って出力を決めるニューラルネットワークの形態に RNN (Recurrent Neural Network) があります。LSTM（Long Short-Term Memory, 長・短期記憶）が有名でしょうか。 時系列データとは、動画やテキストといった、列全体として意味を持つようなデータです。普通のニューラルネットワークは画像や文字といった、形式の決まったある1つのデータを入力に取るわけですが、それらが並んだ動画やテキストを扱うときには、個々の画像（フレーム）や文字はもちろん、その並びにも大きな意味がありますね。このようなデータをうまく扱う構造がRNNというわけです。 ただ普通の全結合層などと違って正直とっつきにくいと思います。私もそうです。 というわけで、まずはRNNが何をするものかを理解して、次に前の時刻
![[TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b5ee2ea695a4f978142bdd20e5ac6c9d7b09a2d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCVGVuc29yRmxvdyUyRktlcmFzJTVEJTIwJUU1JUE1JUJEJUUzJTgxJThEJUUzJTgxJUFBJUU2JUE3JThCJUU5JTgwJUEwJUUzJTgxJUFFUk5OJUUzJTgyJTkyJUU3JUI1JTg0JUUzJTgxJUJGJUU3JUFCJThCJUUzJTgxJUE2JUUzJTgyJThCJUUzJTgxJUJFJUUzJTgxJUE3JUUzJTgxJUFFJUU5JTgxJTkzJUUzJTgxJUFFJUUzJTgyJThBJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hZDJhOTBhODk3Njg4MDE3NTVlNTZlZjQ4YTUzZjFmNQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwZXZlcnlsaXR0bGUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTUwZWU3NmEwNDQwZGZmODkxNjA3MzdjYjhlZWE1ZWM0%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0e92f049f99f247997e54ac12c940237)
Attentionを理解するためにRNN、Word2Vec、LSTM、Seq2Seq、Attentionの順に整理してみた - Qiita
Attentionを理解するためにRNN、Word2Vec、LSTM、Seq2Seq、Attentionの順に整理してみた自然言語処理word2vecRNNAttention Attentionを理解するために、学習した事を整理します。 参考文献 ①「深層学習による自然言語処理」 講談社 坪井祐太 海野裕也 鈴木潤 著 ②「ゼロから作るDeep Learning2 自然言語処理編」 オライリー 斎藤康毅 著 ■RNN(recurrent neural network) 文献①によると、再帰ニューラルネットワーク（RNN）は可変長の入力列を扱うことに優れたネットワーク構造で、前の時刻の隠れ状態ベクトルと現時刻の入力ベクトル（または下層の隠れ状態ベクトル）を使って、現在の隠れ状態ベクトルを更新するとのこと。 う～ん、分かりにくいので絵にしてみました。 上図のxは入力、hは隠れ層です。時刻tで
今回の目的 前回は、分かち書きされたテキストから辞書や学習に使用するデータセットを作成して、訓練データをPyTorchのEmbeddingクラスのインスタンスに入力→RNNクラスに順伝播→全結合層に順伝播→辞書の要素数の出力を得るまでの手順を見てみました。 今回は今述べた処理を行うニューラルネットワークモジュール（クラス）、学習を行う関数などを定義して、実際に学習を行い、最終的に梶井基次郎の小説データからどんな文章が生成されるかまでを見ていくことにします。 前回に記述したコードで、辞書を作成する関数やデータセットやデータローダーを定義するコードなど、今回も使用しているものは今回のノートブックには冒頭に記述してあります（それらのコードを実行するには分かち書きされたテキストファイルwakati.txtが必要です。その作成方法は前回のノートブックの末尾に掲載しているので、そちらを参照してください
はじめに 時系列データを入力にとり、今の時刻の入力に加えて前の時刻の「状態」も使って出力を決めるニューラルネットワークの形態に RNN (Recurrent Neural Network) があります。LSTM（Long Short-Term Memory, 長・短期記憶）が有名でしょうか。 時系列データとは、動画やテキストといった、列全体として意味を持つようなデータです。普通のニューラルネットワークは画像や文字といった、形式の決まったある1つのデータを入力に取るわけですが、それらが並んだ動画やテキストを扱うときには、個々の画像（フレーム）や文字はもちろん、その並びにも大きな意味がありますね。このようなデータをうまく扱う構造がRNNというわけです。 ただ普通の全結合層などと違って正直とっつきにくいと思います。私もそうです。 というわけで、まずはRNNが何をするものかを理解して、次に前の時刻
![[TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6377d83eee7e2ef2b604800b251d7cd607309670/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVGVuc29yRmxvdyUyRktlcmFzJTVEJTIwJUU1JUE1JUJEJUUzJTgxJThEJUUzJTgxJUFBJUU2JUE3JThCJUU5JTgwJUEwJUUzJTgxJUFFUk5OJUUzJTgyJTkyJUU3JUI1JTg0JUUzJTgxJUJGJUU3JUFCJThCJUUzJTgxJUE2JUUzJTgyJThCJUUzJTgxJUJFJUUzJTgxJUE3JUUzJTgxJUFFJUU5JTgxJTkzJUUzJTgxJUFFJUUzJTgyJThBJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iYzFiOTA3ZDI3ODhiODM1NWRhOTc5ZjExYzYyNGMyNg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBldmVyeWxpdHRsZSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjhkMjI2NDg4YTBiMmM3NDA1YWEyMDMxMTY0NjYxMzM%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D4a2d9674d39f6b01b9c70ab1f5009fd3)
【Deep Learning研修（発展）】系列データモデリング (RNN / LSTM / Transformer) 第１回「イントロダクション」
【Deep Learning研修（発展）】（ https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt ）はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル（https://www.youtube.com/c/NeuralNetworkConsole/ ）でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第１回の動画です。系列データとは何か、どのような応用事例があるのか、そして本研修で扱う内容について説明しています。 [スライド4] Found in translation: More accurate, fluen
Introducing RWKV - An RNN with the advantages of a transformer
ChatGPT and chatbot-powered applications have captured significant attention in the Natural Language Processing (NLP) domain. The community is constantly seeking strong, reliable and open-source models for their applications and use cases. The rise of these powerful models stems from the democratization and widespread adoption of transformer-based models, first introduced by Vaswani et al. in 2017
第三次AIブームと呼ばれる昨今、さまざまな企業が積極的にAI（人工知能）を導入し始めており、私たちの生活にも溶け込みつつある状況です。スマートフォンでも気軽にAIを利用できるため、もはや欠かせない存在といっても過言ではないでしょう。 その中でも、チャットボットやスマートスピーカーに用いられている「自然言語処理」は、多くの価値を見出すことから特に注目されています。今回は、その自然言語処理に使われる「LSTM」について詳しくご紹介していきます。RNNとの違いについても解説していきますので、ぜひ参考にしてみてください。 ディープラーニングについて詳しく知りたい方は以下の記事もご覧ください。 ディープラーニングとは？仕組みやできること、実用例をわかりやすく紹介 LSTMとは、「Long Short Term Memory」を略した言葉であり、ニューラルネットワークに使用される層の一つです。このLS
Yoshihiko Suhara on Twitter: "せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl"
せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl
E資格対策振り返り（深層学習-ゲート付きRNN-GRU） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
E資格（JDLA Deep Learning for ENGINEER 2019 #2）対策として学習した深層学習の分野のうち、ゲート付きRNNのひとつGRU(Gated Reccurent Unit)を振り返ります。 GRU（Gated Reccurent Unit） 1.GRUとは何か 2.GRU全体像 3.リセットゲート（R） 4.仮の出力（） 5.更新ゲート（Z） 6.出力する要素（ℎ𝑡） GRU（Gated Reccurent Unit） 1.GRUとは何か LSTMと同様にシンプルなRNNの勾配爆発や、勾配消失の欠点を補うために開発されたゲート付きRNNです。 LSTMよりゲート数が少ない構成となっており、その分パラメータ数も少なく計算量が少なくて済みます。 では、今回も全体像から構成要素まで、順に振り返っていきたいと思います。 2.GRU全体像 GRUの全体像は以下の図のよ
今回は、PyTorch の RNN (Recurrent Neural Network) が内部的にどんな処理をしているのか確認してみる。 なお、ここでいう RNN は、再起的な構造をもったニューラルネットワークの総称ではなく、いわゆる古典的な Simple RNN を指している。 これを書いている人は、ニューラルネットワークが何もわからないので、再帰的な構造があったりすると尚更わからなくなる。 そこで、中身について知っておきたいと考えたのがモチベーションになっている。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.5.2 BuildVersion: 20G95 $ python -V Python 3.9.6 $ pip list | grep torch torch 1.9.0 もくじ もくじ 下準備 モデルを
kaz / AI Academy on Twitter: "「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz"
「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz
自然言語処理とは何？ ・自然言語は普段私たちが使っている言葉それをコンピュータで処理する技術を 自然言語処理（natural language processing nlp）という そして、実際何に使われてるの？ ・検索エンジニン（キーワード検索とか...） ・機械翻訳 ・予測変換 ・メールファイター ・みんな大好きalexa 色んな技術 ・形態素解析 →文章を単語に分割する技術 ・word2vec →文書内での関係性を踏まえて、単語をベクトルに変換 ・リカレントニュートラルネットワーク →時系列を扱うのが得意なニュートラルネットワーク ・seq2seq →RNNをベースにした文章生成モデル などなど... 建前は置いておいてとりあえず実装していきます。 今回は、文章の自動生成を行っていきます。 使うデータは宮沢賢治の「アメニモマケズ」をデータを使い（風であって宮沢賢治っぽい）文章を生成し
【深層学習】RNN の意味を徹底解説！【ディープラーニングの世界 vol. 8 】 #062 #VRアカデミア #DeepLearning
RNN は隠れ層の伝播が肝です。 数式を意味として捉える力を RNN シリーズで培ってもらえると嬉しい！ 【関連プレイリスト】 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP ご視聴ありがとうございました！ 良い動画だなと思っていただけたら、高評価、チャンネル登録お願いします！ 質問や感想など、気軽にコメントしてくださいね。 ========= Twitter: https://twitter.com/AIcia_Solid/ Logo: TEICAさん https://twitter.com/T_E_I_C_A Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん https:
バル＝イラン大学など、動画の顔をより自然に入れ替えるRNNベースの手法「FSGAN」発表 2019-09-22 バル＝イラン大学とイスラエル・オープン大学による研究チームは、画像や動画の顔の入れ替えと再現にRNN（Recurrent neural network）を用いたアプローチ「Face Swapping GAN（FSGAN）」を発表しました。 論文：FSGAN: Subject Agnostic Face Swapping and Reenactment Yuval Nirkin（Bar-Ilan University, Israel） Yosi Keller（Bar-Ilan University, Israel） Tal Hassner（The Open University of Israel, Israel） 本研究は、別の画像に顔を転送するRNNをベースとしたネットワークを
0. はじめに DeepLearningを使用した時系列/自然言語処理に関して調べたことをシェアしていく記事の第1弾です。第1回はRNN(Recurrent neural network)を扱います。 RNNの日本語記事はかなりありましたが、LSTMではなくRNNを使用した「sin波予測」以外のサンプルが少なかったり(というかほぼ無かった)Kerasを使用したRNN記事と比べて圧倒的にPyTorchで書かれた記事が少ないと感じたので、私なりに初心者でもわかるような直感的な表現を使いつつこの記事ではまとめていこうと思います。 RNNは今や古いので誰にも使われていませんが、いろんな分野の基礎になっているので理解しておくことは重要だと考えています。 例)テキスト解析、感情分析、文章翻訳、チャットボット、動画分析・・・etc なお、本記事では自然言語ではなく「時系列処理」に関してRNNを適応した例
![[PyTorch]RNNを使った時系列予測 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/15d341e244e0e932c8a85028d44684a3eb622ac2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUHlUb3JjaCU1RFJOTiVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSVBMyVFMyU4MSU5RiVFNiU5OSU4MiVFNyVCMyVCQiVFNSU4OCU5NyVFNCVCQSU4OCVFNiVCOCVBQyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OWQ4MTFiMGY2YTU2Yzg5YmM4MzA5ZmUxYmQwZTZmNjE%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwa3VfYV9pJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kN2RjYzYwMTZkOWE0ZjY4ZWU5YTc0ZDQxMTE5OTczZg%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D90343cf270ff718bd7c50c588370dcb3)
【自然言語処理】Deep Learningを使ってアンジャッシュ渡部のAIを作る【RNN】 - Qiita
はじめに アンジャッシュ渡部さん（以下敬称略）の記者会見が世間を賑わせましたね。 この記者会見を見て皆さんいろいろと思うところがあるとは思いますが、僕は以下の記事が気になりました。 https://sn-jp.com/archives/22422 今回の記者会見の受け答えで、渡部が特定のワードを連発していたというものです。 特に「本当に」というワードに限っては100回以上使われていました。 これだけ偏った語彙の言葉が連発された記者会見を見て、僕はこう思いました 渡部のセリフをディープラーニングで学習して、渡部っぽい文章を自動生成する渡部AIを作りたい！ そうして勢いのままにこの記事を書いています。 結構長くなってしまったので、手っ取り早く結果だけ知りたい人は最後の「実際にやってみた」だけでも読んでもらえればと思います。 自然言語処理の勉強をしながら書いたので間違ってる箇所や正確でない箇所が
The leading approaches in language modeling are all obsessed with TV shows of my youth - namely Transformers and Sesame Street. Transformers this, Transformers that, and over here a bonfire worth of GPU-TPU-neuromorphic wafer scale silicon. We opt for the lazy path of old and proven techniques with a fancy crypto inspired acronym: the Single Headed Attention RNN (SHA-RNN). The author's lone goal i
RNNを使った文章の自動生成 - どん底から這い上がるまでの記録
この記事ではRNNによる言語モデルを使った文章生成の方法（主にプログラム）について書いてみます。 はじめに 環境 実行環境 必要なライブラリなど 1. Wikipediaからデータを取ってくる ライブラリのインポート Wikipediaの記事をダウンロード 関連記事 2. 単語辞書を作り、学習データをインデックスに変換する 3. モデルの構成 ネットワーク パラメータとか 4. 学習する 関連記事 5. 学習モデルから文章の生成 バリエーションのある文章を生成する。 言語モデルのことをもっと知りたい方は ソースコード データの用意 学習コード 文章生成コード （おまけ）Google Colaboratoryを使った学習 はじめに 今回はRNNを使った文章の自動生成をやってみます。 今回やりたいことは単語を学習したモデル（言語モデル）に渡して、その出力結果から次の単語を予測。そしてその予測し
自動取引に使えそうな深層学習による時系列データ予測の手法まとめ (RNN, CNN, Transformer, ……)｜j26
深層学習系 基礎①：RNN, LSTM, GRU 昔は時系列で深層学習と言ったら基本 RNN 系しか考えられないような状況だったと思う。RNN は内部状態を時系列方向に渡す NN の総称で、内部状態の計算をイカしたやり方でやる RNN の一種が LSTM や GRU という関係。 いろんな亜種も提案されてきたけど、結局普通の LSTM, GRU が普通によく使われる印象。とある激ツヨ botter は LSTM, GRU でめっちゃ勝ってるっぽい……凄い。けど、かなりノウハウがある様子なので、普通に OHLCV を突っ込むだけで勝てるかは謎。 深層学習系 基礎②：CNN, Dilated CNNCNN は主に画像分類等で圧倒的な性能を発揮してきたが、時系列予測でも利用できる。画像では縦横方向の二次元の畳み込みを行うが、時系列データでは時間方向の一次元の畳み込みを利用する。 CNN の課題は
Daisuke Okanohara on Twitter: "RNNの時間遷移関数として、現在の状態と入力で定義されるODEの均衡点を返す関数を使うと、どれだけ遷移しても勾配が全く発散/消失せず、状態は均衡多様体上で安定して遷移できる。重要な問題を本質的に解決しておりRNNや深いNNのすごく… https://t.co/DlQjlclQKl"
RNNの時間遷移関数として、現在の状態と入力で定義されるODEの均衡点を返す関数を使うと、どれだけ遷移しても勾配が全く発散/消失せず、状態は均衡多様体上で安定して遷移できる。重要な問題を本質的に解決しておりRNNや深いNNのすごく… https://t.co/DlQjlclQKl
【Deep Learning研修（発展）】系列データモデリング (RNN / LSTM / Transformer) 第７回「Transformer」
【Deep Learning研修（発展）】（ https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt ）はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル（https://www.youtube.com/c/NeuralNetworkConsole/ ）でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第７回の動画です。前回のAttentionに続き、深層学習分野において大きなインパクトを与えた手法であるTransformerについて説明します。 [スライド5] Attention Is All You Need
はじめに この記事は筆者が学習上作成したnlpモデルを説明したものです。初学者向けの内容になります。具体的にはGRU,LSTM,RNNを使用して芥川龍之介を再現しました。 環境 Google Colaboratoryを使いますので、googleアカウントを持っている方なら誰でも使うことができます。 言語はPythonです。 Google Colaboratoryとは Googleが提供しているデータサイエンス用のノート型シェルです。言語はPythonだけでなく他の言語も対応しています。Google Colaboratoryは非常に手軽かつGPUを使用でき、機械学習や大規模の数理モデルの計算に通常のCPUだと30分かかるところを数分ほどで計算できます。 コードとコーパスの配布 こちらのgithubにて配布しております。 https://github.com/Kokusho-gif/nlp_a
🎍QDくん🎍Python x 機械学習 x 金融工学 on Twitter: "SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo"
SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIが描きかけのおちんちんを仕上げてくれる「dick-rnn」
RNNでTransformer並みの性能を実現するRWKVがやばい
【翻訳転載】時空の旅：Attentionは二乗時間RNN - Qiita
［文章生成］PyTorchのRNNクラスを使って文章生成を行う準備をしよう
ディープラーニングを実装から学ぶ（10-1）RNNの実装(RNN,LSTM,GRU) - Qiita
単語と図で理解する自然言語処理（word2vec, RNN, LSTM）後編 - ギークなエンジニアを目指す男
今度こそわかるぞRNN, LSTM編 - Qiita
[TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita
［文章生成］PyTorchのRNNクラスを使って文章を生成してみよう
[TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita
自然言語処理に使われるLSTMとは？RNNとの違いや特徴を紹介
Python: PyTorch の RNN を検算してみる - CUBE SUGAR CONTAINER
色々めんどくさいので作りながら学ぶ自然言語処理(RNN) - Qiita
バル＝イラン大学など、動画の顔をより自然に入れ替えるRNNベースの手法「FSGAN」発表
[PyTorch]RNNを使った時系列予測 - Qiita
Single Headed Attention RNN: Stop Thinking With Your Head
【GRU,RNN,LSTM】作家の作品をもとに作家らしい文章生成をしてみよう - Qiita
pocket.shonenmagazine.com
www.hodinkee.jp
camelletgo.blogspot.com
coconutsjapan.com
www.jstor.org
note.com/arai_dark