Applied-ML Papers
Curated papers, articles, and blogs on machine learning in production. Designing your ML system? Learn how other organizations did it. Star Table of Contents Data QualityData EngineeringData DiscoveryFeature StoresClassificationRegressionForecastingRecommendationSearch & RankingEmbeddingsNatural Language ProcessingSequence ModellingComputer VisionReinforcement LearningAnomaly DetectionGraphOptimiz
PyTorchで自然言語処理でよく使用されるTransformerを少ないコードで使用してみる
参考情報 今回は下記の記事を参考に記述しています。 https://pytorch.org/tutorials/beginner/transformer_tutorial.html 動作確認した環境はGoogle Colabになります。設定方法は下記の記事に記述しました。 Transformerとは複数のAttention処理を使用しているモデルになります。Attention Is All You Needで提唱された手法になります。 Transformerが出るまでLSTMなどのモデルが自然言語処理では一般的に使用されていましたが、LSTMなどのモデルは並列実行が難しく、学習、推論時にパフォーマンスを出すのが難しい問題がありました。 TransformerはAttentionをベースにしたモデルにしてLSTMで使われている処理を使わないようにすることで並列実行速度を上げただけでなく、あら
3つの要点 ✔️ Googleが軽量なCNN音声認識モデルを提案 ✔️ squeeze-and-excitationモジュールによってグローバルコンテキストを考慮 ✔️ Progressive Downsamplingによってコンピューティングコストを削減 ContextNet: Improving Convolutional Neural Networks for Automatic Speech Recognition with Global Context written by Wei Han, Zhengdong Zhang, Yu Zhang, Jiahui Yu, Chung-Cheng Chiu, James Qin, Anmol Gulati, Ruoming Pang, Yonghui Wu (Submitted on 7 May 2020 (v1), last revi
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。 GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた 一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。 この記事の流れは以下の通りです。 1. Transformer, GPT-2の説明 2. GPT-3のコンセプトと技術的な解説 3. GPT-3ので上手くいくタスク 4. GPT-3で上手くいかないタスク 5. 偏見や悪用への見解 ※ 有料設定していますが、投げ銭用の設定なの
時系列異状検知にもTransformer
3つの要点 ✔️ いよいよ多変量時系列異状検知にもTransformerが現れました ✔️ グラフも含めた深層学習により多変量の時系列の表現力は向上してきましたが、まだ単一時点に限ります ✔️ Transformerのグローバルおよび長期の連関に対しての表現力を活かして、改造したAnomaly-Attentionを含む2分岐の構造で従来のSOTAを超える性能を確認しています Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy written by Jiehui Xu, Haixu Wu, Jianmin Wang, Mingsheng Long (Submitted on 6 Oct 2021 (v1), last revised 13 Feb 2022 (this version,
1. はじめに はじめまして、この投稿がZennの初投稿となります。 初学者ゆえ至らない点や、不適切な表現があるとは思いますが都度ご指摘していただけると幸いです。 この記事についてですが、先月から自然言語処理を今のトレンドであるTransformerを主軸に勉強し始めており、インプットだけでなくアウトプットのためZennを書こうと思ったのがきっかけです。 (同様にQiitaにてベイズに関するアウトプットも行なっています。) また、参考資料については下にも書いてはいますが「Transformerによる自然言語処理」をメインにしています。 といってもこの本は誤翻訳がひどいので自分で調べながらやる必要があり、二度手間になるかもです。ただ内容としては初学者の自分でも理解でき、GitHubに公開されているJupiter Notebookと同時に進めれば誤翻訳もまあ修正できると感じたので個人的には良い
【2020/5/19追記】 SikuliX 2.0.Xが新たにリリースされました。新バージョンではTesseract 4.xが標準で搭載されているため、SikuliX 2.0.Xのインストールをオススメします。 SikuliX 2.0.4のインストール方法と基本的な使い方。変更点・追加機能も解説 記事執筆時点（2019/4/15)で最新バージョンであるSikuliX 1.1.4では、OCRエンジンとして「Tesseract 3.0.5」が使用されています。現状のSikuliXでも画像からある程度文字を認識できますが、まだまだ精度が良いとは言えません。 少しでも精度を上げるために、本ブログでも以下のように日本語化の方法や精度の向上方法を取り上げてきました。 【SikuliX】OCRによる文字の読み取りと日本語化の方法 【SikuliX】OCRの日本語読み取り精度を上げる３つの方法 しかし、根
kaggle: Avito Demand Prediction Challenge まとめ - copypasteの日記
はじめに コンペ概要 データの種類とタスク 評価方法 提出方法 勉強になる Kernel と Discussion [Avito EDA, FE, Time Series, DT Visualization ✓✓ | Kaggle Ideas for Image Features and Image Quality | Kaggle High Correlation Feature Image Classification Conf | Kaggle About image features & Image_top_1 features | Kaggle Aggregated features & LightGBM | Kaggle Simple CatBoost | Kaggle Fasttext starter (description only) | Kaggle text2imag
サイトマップ
金子研究室ホームページサイトマップ． 金子研究室ホームページでは，約2000ページを公開している．ページは，データベース関連技術，データの扱い，インストール，設定，利用，プログラミング，サポートページ，連絡先，業績に分けて構成している．サイトマップでは，ホームページ内の全てのページについてのサイトマップを示している． 【サイト構成】 人工知能 ３次元，地図 プログラミング 情報工学全般 インストール データ処理 支援 連絡先，業績など 金子邦彦研究室 ▶ サイトマップ ▶ サイト内検索 ▶ アクセスログ（直近28日分）, Google Search Console ▶ まとめページ（目次ページ） ▶ 人工知能応用，データ応用，３次元のまとめ ▶ Windows のまとめ ▶ Ubuntu の使い方 ▶ Python のまとめ（Google Colaboratory を含む） ▶ C/C++
KOT（Koopman Operator Theory）とは？ KOT（Koopman Operator Theory）は非線形なシステムに従う実験データ（制御状態、制御入力）を非線形な関数（エンコード関数）によって高次元空間へ写像することで、その高次元空間上では線形なオペレータ（クープマンオペレータ）に従い状態が変化していくと仮定する方法です。 発想としてはカーネル法に近いイメージになるかもしれません。 この方法で、ソフトロボット分野で今までのLSTMのモデリング以上に正確で高速にモデリング＋制御が可能になりました。具体的には100次元の写像によるモデリング＋50Hzの制御が可能になった例があります。 また、エンコード関数の行先の高次元空間が無限次元の場合、厳密に任意のシステムをエンコード関数とクープマンオペレータで表現できることが解っています。 先行研究は主に二つの方向に進化していて、
NVIDIA（エヌビディア）が主催する最大級のカンファレンスイベント「NVIDIA GTC（以下、GTC）」が、2021年11月8日（月）から11日（木）まで開催中だ。 本カンファレンスイベントは、AIやディープラーニングに関する最新情報や、各国の成功事例など、数々のセッションや技術トレーニングが用意されている。セッションの数は500を超え、NVIDIAのエキスパートたちをはじめとする、グローバルで活躍している研究者や、日本発のDXで業界を牽引するビジネスリーダーなどによる講演が予定されている。 参加費は無料。AIやDXの最新事例を知りたい方はもちろん、IT業界全体においても非常に注目を集めるイベントだ。 そんなGTCのなかで、ひときわ注目を集めているのがNVIDIAによるディープラーニングなどに関する研修プログラム「DLI」だ。残念ながら、本稿掲載時にはすでに今回のGTCでの日本向けのD
作ったもの 一文で言うと、YouTube上の動画など、単眼カメラで撮影された動画から、ダンスモーションを抽出し、VMDフォーマットで出力するプログラムを作りました。 次の動画のようなモーションを抽出できます。 動画からダンスモーションの抽出。時系列考慮した２ステージの3Dポーズ推定を使った。動画のフレームレートが十分であれば良い感じに抽出できる。 元のダンスとの比較動画：https://t.co/iOPOKI40ay pic.twitter.com/DFtRtr3IXg — Xiong Jie (@_xiongjie_) November 9, 2019 これは、私が、現在取り組んでいる仮想彼女プロジェクトの一環で、かわいい動きや仕草やダンスを仮想彼女AIに学習してもらうための学習データ集めに使うつもりです。他の用途にも使えるかもしれないので、今回使った3Dポーズ推定と関連手法を少しだけ記
本ページはアフィリエイトプログラムによる収益を得ています。 これまで読んだ機械学習関連の本をまとめていきます。理論系・実装系・ファイナンス系・読み物系と分類してまとめることにします。 理論系 瀧、『これならわかる深層学習入門』、講談社 元素粒子論を研究していた瀧さんが分野転向して書いた深層学習の教科書。素粒子論の人は割とこの本を読んだのではなかろうか。2018年くらいに読んだので、詳しいことは覚えてないが、読みやすかった印象はある。 斎藤、『ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装』、オライリージャパン 機械学習や深層学習の実装系の本を読む前は「一回Deep Learningをいじったことがある人が、理論的な面を知るのにいい本なのかな？あまりコードがなかったので、瀧さんの本の方が詳しかったような気がした。」という感想だった。しかし、実装系の
Keras のステートレスLSTMとステートフルLSTMの勉強です。 ネット上の情報をかき集めて自分なりに実装しているので正確ではないところがある点はご了承ください。 追記：ステートフルLSTMと hidden state に関して記事を書きました。 Keras のステートフルLSTMと hidden state の関係を調査してみた 目次 KerasのステートレスLSTMとステートフルLSTMについて 実験に使うモデルセットの説明(アルファベット予測) 実験1：「1 文字 => 1 文字」マッピング 実験2：「3 文字特徴ウィンドウ => 1 文字」マッピング 実験3：「3 文字タイムステップ・ウィンドウ => 1 文字」マッピング 実験4：バッチサイズ 実験5：hidden state の保存と設定 コード全体 本記事で作成したコードは以下です。 ※1ファイル完結です。 ※Google
DeepMindのAlphaシリーズ最新作「AlphaCode」が、競技プログラマーの標準レベル（Codeforces TOP 54%）に達したとの発表がありました。 AlphaCodeは今をときめくTransformer系のディープラーニングで、課題文を入力すると解答プログラムを出力する自然言語処理を行います。そうです、これはすなわちプログラミングをするプログラムです。マジかよ……。 詳しい手法については公式ブログや論文を参照してほしいのですが、DeepMindは別途いくつかの解答例について正誤あわせて確認できるデモサイトも用意していて、これがめちゃくちゃ面白いです。 ええ、こちとら天然物のプログラマーです。人工知能とやらが絵や写真を自動生成しはじめたあたりはまだ笑って眺めていられましたが、我々の崇高なるプログラミング領域を侵されるとなってはたまりません。いうて大したことないやろ的な、上
ACL2021のBest PaperのVOLTを日本語文書分類で試してみた結果...！ - Retrieva TECH BLOG
こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、先日開催された自然言語処理のトップカンファレンスである、ACL-IJCNLP2021でBest Paperとなった、VOLT（VOcabulary Learning approach via optimal Transport）を日本語文書分類で試してみた話をします。 概要 VOLTとは？ VOLTの概要 VOLT内部の尺度であるMUVについて VOLTのアルゴリズム 実験 実験設定 日本語文書分類タスクについて 分類モデルのハイパーパラメーターについて VOLTのハイパーパラメーターについて 実験結果 VOLTを使用しなかった場合と使用した場合の比較 VOLTを使用せずに最適な語彙サイズを決める まとめ 概要 一般
人工知能/画像認識技術を提供するアジラ、『行動認識』に関する3つの特許取得のお知らせ〜より軽量で正確な人物または動体の行動予測を可能に〜 ディープラーニングを活用した画像認識技術を提供する株式会社アジラ（本社：東京都町田市、代表取締役社長兼CEO：木村大介）は、より軽量で正確な行動認識（人物または動体の個体識別および行動予測）を可能にする技術に関する特許を取得したことをお知らせ致します。(特許番号：6525181、6525180、6525179) ■ 今回取得した特許について 今回取得した三件の特許は、行動推定及び対象数特定装置に関する特許です。 本技術は畳み込みニューラルネットワーク（Convolutional Neural Network: CNN）と再帰的ニューラルネットワーク(Long short-term memory: LSTM)等のディープラーニング技術を組み合わせて用いる
オプティムの R&D チームで Deep な画像解析をやっている奥村です。TensorRT 7 の変更点についてメモしました。非推奨機能に関するポリシーの明確化や、NLP、特に BERT に関するサポートの拡充、ありそうでなかった PReLU のサポートが気になった変更点です。 はじめに 気になった内容 非推奨機能に関するポリシー 一部のパーザーの非推奨化 PReLU のビルトインサポート 意訳 TensorRT 7.0.0.11 GA 主要な機能と改善 ループの使用 ONNX パーザーの動的 shape のサポート OSS の TensorRT コンテナ BERT における INT8 と混合精度最適化 量子化済みネットワークの使用 新しいレイヤー IFillLayer IIteratorLayer ILoopBoundaryLayer ILoopOutputLayer IParametr
時系列トランスフォーマーレビュー
3つの要点 ✔️ 近年発表され始めた時系列データ用Transformerの包括的レビュー ✔️ ネットワーク構造と、アプリケーション（予測、異状検知、分類）の両面から分類され、Transformerの強みや限界がレビューされています。 ✔️ 将来の展開として、事前学習、GNN、NASとの組み合わせについて解説されています。 Transformers in Time Series: A Survey written by Qingsong Wen, Tian Zhou, Chaoli Zhang, Weiqi Chen, Ziqing Ma, Junchi Yan, Liang Sun (Submitted on 15 Feb 2022 (v1), last revised 7 Mar 2022 (this version, v3)) Comments: Published on arxiv
需要予測 と ゼロ過剰 - Qiita
ちょっと長くなりますが、、やはり「手段」ではなく「目的」が最重要ですので、 少し詳しめに確認していきましょう。 目的①：機会損失（額、回数）の最小化 一番よくあるテーマで、「在庫切れ」による「売り逃し」（機会損失）の最小化です。 お客さんがせっかく買いに来てくれたのに、在庫切れは商売人としては悲しい限りです。 「機会損失額が合計いくらか？」（損失額の最小化） 「在庫切れが何回起きたか？」（回数の最小化、CS低下の回避） とパターンがあるので、目的は入念に確認する必要があります。 目的②：ロスの最小化 食品、薬剤などの消費、使用に期限がある商材の過剰在庫はロスの原因となります。 ロスは、経済的なデメリットもあれば、フードロス等の観点でも最小化したいものです。 特に消費・使用期限がある商材の需要予測では、 目的①（機会損失）のために在庫に余裕をもたせると、目的②（ロス）が達成できず 目的②（ロ
Since the 1940s, electric guitarists, keyboardists, and other instrumentalists have been using effects pedals, devices that modify the sound of the original audio source. Typical effects include distortion, compression, chorus, reverb, and delay. Early effects pedals consisted of basic analog circuits, often along with vacuum tubes, which were later replaced with transistors. Although many pedals
Supporting content decision makers with machine learning
by Melody Dye*, Chaitanya Ekanadham*, Avneesh Saluja*, Ashish Rastogi * contributed equally Netflix is pioneering content creation at an unprecedented scale. Our catalog of thousands of films and series caters to 195M+ members in over 190 countries who span a broad and diverse range of tastes. Content, marketing, and studio production executives make the key decisions that aspire to maximize each
機械学習入門書籍レビュー 機械学習書籍を6冊読んだのでメモがてらレビューを書いておく。 技術書は人文書に比べて内容が似通りがちなので、きちんと書き残しておかないと細かい内容の差異を忘れてしまう。とはいえ理系界隈では最終的に普遍性のある知見を醸成することが目的であり、解説書それぞれの差異を評価したい気運は薄いような気もするが。 最初に一応前置きしておくと、いつも素人知識を振り回している俺にしては珍しいことに、俺は機械学習に関しては素人ではない（別に玄人でもないが）。というのは分析哲学や現代思想に関しては学術的な背景が特にないのに対して、機械学習はあるということだ。動物が表紙に描いてあるタイプの標準的な書籍の内容は既に頭に入っているしフルスクラッチやフレームワークでの実装経験もある。 深層学習 (機械学習プロフェッショナルシリーズ) 作者:岡谷 貴之 発売日: 2015/04/08 メディア:
© 2023 Mizuho Bank, Ltd. All Rights Reserved. みずほフィナンシャルグループ リサーチ＆コンサルティングユニット みずほ銀行 産業調査部 生成AIの動向と産業影響 【総合編】 ～生成AIは産業をどのように変えるか～ （2023年12月） アンケートに ご協力をお願いします QR *日本産業の競争力強化や社会課題の解決に寄与しうる技術・イノベーション領域をとり上げるレポート バーコード未取得 みずほ産業調査74号 革新的技術シリーズ* 1 総合編目次 はじめに P2 1. 生成AIの概要と社会動向 P6 （1） 生成AIの概要～生成AIとは何か？ P6 （2） 生成AIをめぐる社会・市場動向 P13 （3） 主要国・地域の生成AI関連動向 P24 2. 生成AIが産業に及ぼす影響 P32 （1） 仕事の在り方の変化とビジネスへの影響 P32 （2）
最近注目を浴びるエネルギーベース生成モデルを用いた時系列予測
3つの要点 ✔️ 多変量時系列予測フレームワークScoreGradの提案 ✔️ エネルギーベース生成モデルと、スコアマッチングを使用 ✔️ 実世界のデータセットを用いてSOTA性能を確認 ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models written by Tijin Yan, Hongwei Zhang, Tong Zhou, Yufeng Zhan, Yuanqing Xia (Submitted on 18 Jun 2021) Comments: Published on arxiv. Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML) cod
AIとOCR技術を組み合わせたソリューションがビジネスプロセスの自動化と効率化を推進しています。この技術は、手書きや活字の文書からテキストデータを正確に読み取り、デジタル化することで、手作業によるデータ入力の時間とコストを大幅に削減します。 また、RPA（ロボティック・プロセス・オートメーション）と連携することで、業務効率化がさらに進みます。デジタル変革（DX）を推進する上で、業務効率を向上させることが可能です。 本記事ではAI-OCRの特徴やメリット、デメリットや製品の比較ポイント等を紹介します。この記事がAI-OCR導入を検討している方々に有用な情報を提供できれば幸いです。 AI-OCRとは？ AI-OCRとは、AI(人工知能)を活用したOCR（光学的文字認識）のことを指します。OCRとは、スキャナなどで読み込んだ画像に描かれた文字をテキストデータに変換する技術です。AI-OCRはOC
この記事の対象者 記事を書く目的 AIやディープラーニングという言葉が世にはびこって久しいですが、本当に意味をわかって話している人は少ない印象です。 いまの日本のように「AIには何ができるのか」という議論がテキトーになされている状態は非常に危険だと私は思います。 なぜ、このようにAIについてテキトーな議論がなされているかというと、機械学習の数学的な基礎をみなさんがきちんと理解していないからだと思っています。 基礎的な理論を理解さえしていれば、AIには何ができるのか、今後どのように進歩していくのかを簡単に予想できるはずです。 対象者 & 機械学習を学ぶためにあったほうがいい知識など この記事は、AIってよく聞くけどあんまりよくわからないなと思っているすべての人が対象です。 機械学習、中でも特にディープラーニングは、高校数学程度の知識があれば十分に理解可能です。 とはいえ、微分ぐらいは理解でき
Twi2Wiki（ツイトゥーウィキ）は、2020年に藤田洸介（ふじた こうすけ）、田中利夫（たなか としお）、山本孔次郎（やまもと こうじろう）により開発されたWebアプリケーションである。Twitterのプロフィール情報からウィキペディアの記事ページ風の文章を生成する機能を有する。 スマートフォンやパソコンに対応している。2020年をもってダイヤルパルス式黒電話のサポートが終了した。 画像をクリックしてアプリへ移動 Twi2Wiki（ツイトゥーウィキ）は、個人が手軽にウィキペディア風のプロフィールを作ることを目的として開発されたWebアプリケーションである。記事ページの生成には、テキスト情報が必要になる（詳細はシステムを参照）が、手軽さを重視し、当時既に普及していた Twitterのプロフィール文を用いる方法が採用された。 2015年に西野カナの「トリセツ」が流行ると、相手と関係を築く際
Self-Attention(+MultiHead)を図・ベクトル（行列）の両方で整理してみた。 - Qiita
はじめに Source Target Attentionを前回整理したので、これを前提に次はSelf-Attentionを整理してみます。前回分はこちらです↓ので、見ていただけると嬉しいです。 「Attentionを理解するためにRNN、Word2Vec、LSTM、Seq2Seq、Attentionの順に整理してみた」https://qiita.com/ta2bonn/items/c645ecbcf9dabd0c4778 参考元 Self-Attentionを整理するに当たり、こちらのサイトを参考にさせていただきました。 https://towardsdatascience.com/illustrated-self-attention-2d627e33b20a Self-Attentionとは まずそもそも何者？から入ります。Source Target Attentionはエンコーダーとデ
日本語Wikipedia入力誤りデータセット - LANGUAGE MEDIA PROCESSING LAB
日本語Wikipedia入力誤りデータセット (v2) † 本データセットはWikipedeiaの編集履歴から獲得した日本語入力誤りデータセットです。 Wikipediaの版間で差分を取ることで編集のある文ペアを取得し、それらに対しマイニングとフィルタリングを行うことで、入力誤りとその訂正文ペアを抽出しています。 データセットには、誤字・脱字・衍字・転字・漢字誤変換カテゴリの入力誤りが含まれており、合計約70万文ペアです。 詳細については参考文献を参照してください。 (なお、参考文献記載の上記カテゴリのデータに加えて、参考文献で構築した入力誤り訂正システムにおける対数尤度に基づいて収集した、その他カテゴリのデータも収録しています。) ↑ データ形式 † データは以下のようなjsonl形式です。 {"page": "104269", "title": "啓蒙思想", "pre_rev": "
この記事は五つの人気があるGitHub機械学習アイテムを紹介します。これらのアイテムは、自然言語処理（NLP）、コンピュータービジョン、ビッグデータなど、さまざまな機械学習の分野を含まれています。 1.PyTorch-Transformers リンク：https://github.com/huggingface/pytorch-transformers NLPはテキストの処理方式を変えて、その強さは言葉で説明できないほどです。 PyTorch-Tirans formersが最も遅く出現しましたが、各種NLPタスクに既にある基準を打ち破りました。PyTorchの実装などその他の需要な要素を含めて、初心者の入門を助けます。 下記の記事はPyTorch-Transformersを詳しく分析します。ご参照ください。 ①https://www.analyticsvidhya.com/blog/201
アマゾンジャパンは、EchoシリーズなどのAlexa対応スマートスピーカーに話しかける際、小声でささやくとAlexaも小声で返答する機能を年内に提供する。 アマゾンジャパンは9月26日、EchoシリーズなどのAlexa対応スマートスピーカーに話しかけるとき、小声でささやくとAlexaも小声で返答する機能を年内に提供すると発表した。深夜にアラームを設定したり、早朝に天気を聞いたりする場合でも、寝ている家族を起こす心配がなくなる。 小声で話すと小声で返答する機能は、英語版では「Whisper Mode」（ウィスパーモード）という名称で2018年10月から提供している。ささやき声は声帯の振動を伴わず、通常の音声よりも低い周波数帯域になることに着目。機械学習のLSTM（long short-term memory）を用い、入力した音声信号がささやきかどうかを判断する。 日本では26日に発表した新し
はじめに 時系列データを入力にとり、今の時刻の入力に加えて前の時刻の「状態」も使って出力を決めるニューラルネットワークの形態に RNN (Recurrent Neural Network) があります。LSTM（Long Short-Term Memory, 長・短期記憶）が有名でしょうか。 時系列データとは、動画やテキストといった、列全体として意味を持つようなデータです。普通のニューラルネットワークは画像や文字といった、形式の決まったある1つのデータを入力に取るわけですが、それらが並んだ動画やテキストを扱うときには、個々の画像（フレーム）や文字はもちろん、その並びにも大きな意味がありますね。このようなデータをうまく扱う構造がRNNというわけです。 ただ普通の全結合層などと違って正直とっつきにくいと思います。私もそうです。 というわけで、まずはRNNが何をするものかを理解して、次に前の時刻
![[TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b92d6630a4e5e7460a8e895a967bda1a78dfebd0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVGVuc29yRmxvdyUyRktlcmFzJTVEJTIwJUU1JUE1JUJEJUUzJTgxJThEJUUzJTgxJUFBJUU2JUE3JThCJUU5JTgwJUEwJUUzJTgxJUFFUk5OJUUzJTgyJTkyJUU3JUI1JTg0JUUzJTgxJUJGJUU3JUFCJThCJUUzJTgxJUE2JUUzJTgyJThCJUUzJTgxJUJFJUUzJTgxJUE3JUUzJTgxJUFFJUU5JTgxJTkzJUUzJTgxJUFFJUUzJTgyJThBJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz02YTdkYjM2YmE3OTYwZmM2MzY0MzRhMzk0MDgzZmEzNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBldmVyeWxpdHRsZSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjhkMjI2NDg4YTBiMmM3NDA1YWEyMDMxMTY0NjYxMzM%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D4a4f6132a933b9556fc50144d294bd70)
JDLA E資格合格体験記 - ぱたへね
無事E資格に合格したので、後に続く人の参考になればと思い合格体験記を書きます。 spec 試験勉強を始める前に、どれだけの知識・経験があるのかは勉強量に大きく差がでてきます。簡単に自分のスペックをまとめるとこんな感じです。 理学部物理学科卒 仕事で組込の画像処理を10年以上 CNNや物体検出は、推論をCで実装して人に教えられるレベル CourseraのMLコースを最後までやった ゼロから作るディープラーニングは①、②とも実装済み。 大学で習ってない数学（ベイズや情報理論）が全然駄目で、機械学習は少々、Deep Learningは画像系のCNN以外は実務経験も無しという感じです。画像処理（Computer Vision）では、普通に線形代数を使うので行列の苦手意識は無かったです。 作戦 認定講座はスキルアップAIを選びました。会社のお金で受講するのでなるべく安くするように指示があり、2社まで
AI礼賛時代に異議あり！ 少量データでリアルタイム学習を高精度に実現するリザーバコンピューティングとは？【デブサミ2020】
いまだ魔法の杖として誤解されたまま、バズワードとして浸透してきたAIだが、今のところAIで解決できる問題はさほど多くないのが実情だ。実際に深層学習を行うには、大量のデータと計算量が必要であり、お金と時間といった2つの大きなコストが発生するからである。こうした状況を打開する一手として、QuantumCoreが提供する新たな技術がリザーバコンピューティングだ。その真価について、同社の代表取締役である秋吉信吾氏が講演を行った。 講演資料：少量データで軽量な機械学習の手法について 株式会社QuantumCore 代表取締役 秋吉信吾氏 なぜリザーバコンピューティングが必要なのか リザーバコンピューティングとは、レーザーの波長や波動く水面など、ダイナミクス（ノイズソース）を持つさまざまな物質を利用したコンピューティングのこと。QuantumCoreでは、そのリザーバコンピューティングを活用した次世代
産学連携レポート「2019年度 人工知能学会全国大会 （第33回）」 | Recruit Tech Blog
自己紹介 データテクノロジーラボ部で販促領域におけるデータ活用の推進と、強化学習等を用いたR＆Dプロジェクトを担当している阿内です。今回、深層強化学習を用いたレコメンド手法に関する研究で人工知能学会に論文を投稿しています。 イベント紹介 2019年6月4日（火）〜6月7日（金）、 新潟県新潟市の朱鷺メッセ 新潟コンベンションセンターで開催された、2019年度人工知能学会全国大会（JSAI2019）に参加しました。この大会は情報工学系では国内最大級の学会で、産業界からも大きな関心が寄せられています。 今年の投稿は750件にものぼり、今回初めて設定された「国際セッション」には、80件もの発表投稿がありました。参加者は約3,000人。事前登録者数が想定を上回り、途中で打ち切られるほどの大盛況でした。 会場の様子 写真1：入り口看板 会場は新潟駅から徒歩20分の「朱鷺メッセ 新潟コンペンションセン
The making of Visual Studio IntelliCode's first deep learning model: a research journey - Visual Studio Blog
The making of Visual Studio IntelliCode’s first deep learning model: a research journey Introduction Since the first IntelliCode code completion model was shipped in Visual Studio and Visual Studio Code in 2018, it has become an essential coding assistant for millions of developers around the world. In the past two years, we have been working tirelessly to enable IntelliCode for more programming l
自然言語処理の歴史を巡る冒険 - Qiita
N/S 高等学校でプログラミング講師をしている Kuwabara です。 本記事は、筑波NSミライラボ Advent Calendar 2023 の18日目の記事です。 この記事では、自然言語処理の歴史（〜2023年）について、登場人物二人の掛け合いとともに、振り返っていこうと思います。AIについてあまり知らない方にも、何とか雰囲気をつかんでいただけるように頑張って書いたので、ぜひ読んでいただけると幸いです。 はじめに シグマ「ふんふんふふーん」 オメガ「ハロー、シグマ。ごきげんだね」 シグマ「やあ、オメガ。今、ChatGPTで遊んでいたんだ」 オメガ「そうなんだね」 シグマ「すごいよなあ、ChatGPT。いったいどんな仕組みなんだろ。人間が裏で頑張って返事してくれているとしか思えないよ」 オメガ「確かにね！ あ、そうだ。せっかくだしさ、今日は一緒に自然言語処理について学んでみる？」 シグ
パラメータ数の計算まとめ NN , CNN , Embedding , SimpleRNN, LSTM, GRU CNN, NN(Dense) model = models.Sequential() model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3))) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Conv2D(64, (3, 3), activation='relu')) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Conv2D(128, (3, 3), activation='relu')) model.add(layers.MaxPoolin
![[図解]ディープラーニングのパラメーター数ってどうやって数えるんだっけという人へ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cf301be6cca304f7ed2f2fa376a2a832507be237/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JTlCJUIzJUU4JUE3JUEzJTVEJUUzJTgzJTg3JUUzJTgyJUEzJUUzJTgzJUJDJUUzJTgzJTk3JUUzJTgzJUE5JUUzJTgzJUJDJUUzJTgzJThCJUUzJTgzJUIzJUUzJTgyJUIwJUUzJTgxJUFFJUUzJTgzJTkxJUUzJTgzJUE5JUUzJTgzJUExJUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgzJUJDJUU2JTk1JUIwJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgxJUE5JUUzJTgxJTg2JUUzJTgyJTg0JUUzJTgxJUEzJUUzJTgxJUE2JUU2JTk1JUIwJUUzJTgxJTg4JUUzJTgyJThCJUUzJTgyJTkzJUUzJTgxJUEwJUUzJTgxJUEzJUUzJTgxJTkxJUUzJTgxJUE4JUUzJTgxJTg0JUUzJTgxJTg2JUU0JUJBJUJBJUUzJTgxJUI4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1hOTlkYTdlMzFiYzllOWQyM2Q4MGFkNGUzYjZkMTBjMA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBQaG9lYm9vb28mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTliMjZmYzAzZWI0ZTc0ZTA3MmEzM2FmMTg3ZTAwOTBk%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D5d4031ad026b272f946f72acf32e2e19)
理数系ネタ、パソコン、フランス語の話が中心。 量子テレポーテーションや超弦理論の理解を目指して勉強を続けています！ 「ディープラーニングと物理学 原理がわかる、応用ができる：田中章詞、富谷昭夫、橋本幸士」（Kindle版）（参考書籍） 内容紹介： 人工知能技術の中枢をなす深層学習と物理学との繋がりを俯瞰する。物理学者ならではの視点で原理から応用までを説く、空前の入門書。物理は機械学習に役立つ!機械学習は物理に役立つ! 2019年6月22日刊行、286ページ。 著者について： 田中章詞： 研究者情報、arXiv.org論文 博士(理学)。2014年大阪大学大学院理学研究科物理学専攻博士後期課程修了。現在、理化学研究所特別研究員(革新知能統合研究センター/数理創造プログラム) 富谷昭夫： ホームページ、Twitter: @TomiyaAkio、arXiv.org論文 博士(理学)。2014年大
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
超軽量なCNN音声認識モデル！Google開発「ContextNet」を解説！
超巨大高性能モデルGPT-3の到達点とその限界｜akiraTOSEI
Transformerアーキテクチャと自然言語処理の発展
【SikuliX】Tesseract 4を導入してOCR精度を爆上げする方法
クープマン作用素理論×ディープラーニング×非線形制御
「AI人材不足は日本だけの話ではない」NVIDIAが直接手掛けるAI研修プログラム | Ledge.ai
動画からダンスモーションを抽出してみた。 - Qiita
これまで読んだ機械学習本のまとめ - YS Blog
KerasのステートレスLSTMとステートフルLSTMの違いについて - Qiita
競技プログラミングAI「AlphaCode」のコードレビューをしてみた 😱 - Qiita
人工知能/画像認識技術を提供するアジラ、『行動認識』に関する3つの特許取得のお知らせ
TensorRT 7 でさらに快適な高速推論 - OPTiM TECH BLOG
Deep Learning for Guitar Effect Emulation
20/10/17 機械学習入門書籍レビュー - LWのサイゼリヤ
生成AIの動向と産業影響【総合編】～生成AIは産業をどのように変えるか～（2023年12月）
AI-OCRとは？OCRとの違いや種類・導入メリット・比較のポイントを解説
機械学習・ディープラーニング初心者のためのおすすめ勉強順序 - Qiita
Wikipediaは書く時代から生み出す時代へ ~ Twitterからの自動生成 - Qiita
大人気のGithub機械学習アイテムをご紹介 5選 - ScrapeStorm - Qiita
アレクサに小声で話しかけると小声で応答、日本でも年内スタート もう寝ている家族を起こさない
[TensorFlow/Keras] 好きな構造のRNNを組み立てるまでの道のり - Qiita
[図解]ディープラーニングのパラメーター数ってどうやって数えるんだっけという人へ - Qiita
ディープラーニングと物理学 原理がわかる、応用ができる：田中章詞、富谷昭夫、橋本幸士 - とね日記