Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 南カリフォルニア大学、Facebook Reality Labs、Facebook AI Researchによる研究チームが開発した「PIFuHD」は、1枚の人物写真から衣服を着た人体3次元モデルを高解像に再構築する深層学習フレームワークだ。指や顔の特徴、衣服のひだといった細かい情報や、見えていない箇所まで3Dで再現する。 人物の3Dモデルを忠実に作成する場合、従来は「Light Stage」と呼ばれる、全方位に多数のカメラやセンサーを配置した球形ドーム型キャプチャーシステムが用いられてきた。しかし、Light Stageは高価なため一般的に導入は難しい。そこで1枚の画像から深層学習を用い
キャラクターの自動生成と写真の3D化を組み合わせた技術がすごい。クリエイティブ産業向けに好みのキャラクターや高精細な3Dモデルが簡単に生成可能
株式会社Preferred Networksは、クリエイティブ産業向けに好みのキャラクターや高精細な3Dモデルが簡単に生成できるデジタル素材生成システムを発表した。 同社はこの技術を使ったミュージックビデオを公開。主人公はキャラクター自動生成システムが生成したキャラクターを元にデザインされ、スマートフォンや背景の文房具などのアイテムは高精細3Dモデル生成機能を用いて実物から生成されたものが元になっている。 画像は株式会社Preferred Networks公式サイト内 Newsページより この技術の根幹にあるのは、2Dキャラクターを自動で生成する「Crypko」と、実在の物品を専用の3Dスキャナで取り込み3Dモデルを作るシステムのふたつだ。 「Crypko」は、深層学習の一種であるGAN（Generative Adversarial Network）を利用し、高品質の2Dキャラクターの立ち
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場 ONNX Runtime WebがWebGPUに対応。Webブラウザ上でさらに高速な推論処理が可能になった。Stable Diffusion Turbo全体をWebブラウザ上で高速に実行可能で、RTX4090を用いた場合1秒以内で結果が出力される。 ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします
QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm"
筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm
前モデル買った人のことを思うと切なすぎる：Nvidia RTX 2060／2070 Super レビュー2019.07.08 19:00110,165 Alex Cranz - Gizmodo US ［原文］ （ そうこ ） ほんのちょっとの差なのに…。 今年1月にでた同シリーズのNvidia GPUを買った人が涙目必至という新商品Nvidia RTX 2060 Super GPU、米Gizmodo編集部がさっそくレビューしてきました。 今年の1月、Nvidia RTX 2060 GPUが発売された時、前モデルから価格が2倍近い、パフォーマンスは悪くないけど驚くこともないとレビューしていました。が、それでも買った人はいるでしょう。買っちゃった人には本当悪いけど、Nvidia RTX 2060 Super GPUがでました。 2060に350ドル使っちゃった人はもちろん、もっと高い2070や
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
Deep Learning（深層学習）をこれから学びたいという方を対象にした、導入のための解説動画です。 Neural Network Console Youtubeチャンネル https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 再生リスト「Neural Network Console チュートリアル（クラウド版）」 https://www.youtube.com/playlist?list=PLg1wtJlhfh227oiXbVJOwXCuCoKo3dOU9 再生リスト「Neural Network Console チュートリアル
第1回 初めてのニューラルネットワーク実装、まずは準備をしよう ― 仕組み理解×初実装（前編）：TensorFlow 2＋Keras（tf.keras）入門 機械学習の勉強はここから始めてみよう。ディープラーニングの基盤技術であるニューラルネットワーク（NN）を、知識ゼロの状態から概略を押さえつつ実装してみよう。まずはワークフローを概観して、データ回りの処理から始める。
本記事は Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation（論文, リポジトリ）のサーベイ記事です。 日鉄ソリューションズ（NSSOL）様での研究開発インターンの一環として執筆しました。 今回紹介するのは、ざっくり言えば、自然言語で記述された質問からSQLクエリを生成するタスク（Text-to-SQL）において、文脈自由な中間表現を導入して性能を上げた研究で、提案モデルはIRNetと呼ばれています。 この研究ではSpider (論文, サイト) というデータセットを用いています。Spiderは従来のText-to-SQLデータセットよりも複雑な事例を多く含んでいます。 Spiderの公式サイトで挙げられている難易度が中くらい（Meidum）の例がこちらです： 複数テーブ
第3回 ディープラーニング最速入門 ― 仕組み理解×初実装（後編）：TensorFlow 2＋Keras（tf.keras）入門（1/3 ページ） いよいよ、ディープラーニングの学習部分を解説。ニューラルネットワーク（NN）はどうやって学習するのか、Pythonとライブラリではどのように実装すればよいのか、をできるだけ簡潔に説明する。
はじめに 以下の Tweet で言っている"長い旅路"の詳細です。完全にポエムかつ長文*1、しかも自己陶酔を多分に含んだ自分語りです。 暇かつ心に余裕があって何でも寛大に許せそうな場合にお読みください。 奇跡の solo gold を獲得し、遂に Kaggle Master になりました！ Kaggle と出会ってから4年半、一念発起して分析コンペに本気で取り組み始めてから1年半、長い旅路でした。 今までチームを組んだり議論したりして下さった皆さん、本当にありがとうございました！これからもよろしくお願い致します！ pic.twitter.com/IzWin2rioa— 俵 (@tawatawara) 2020年3月18日 話をしよう。あれは２年... いや５年くらい前の話だったか... といった感じの、むかーしむかしからの話*2。Kaggle と出会ってからの人生(の一部)の紹介みたいなも
グーグル超えで話題「DeepL翻訳」の実力はいかに？ キング牧師の演説で検証〈AERA〉（AERA dot.） - Yahoo!ニュース
独ベンチャー企業発の「DeepL翻訳」が、グーグル翻訳より高評価を受けている。AERA 2020年7月27日号は、その実力を検証した。 【表】グーグル、が堂々の1位！「辞めたけど良かった企業」ランキング100はこちら！ ＊ ＊ ＊ 「もう、単に英語ができるだけの翻訳者は生き残れません。（インターネット上で文章を翻訳できる）翻訳エンジンでかなりのレベルの訳ができる時代になってしまい、専門分野を持っているか、ネイティブと同程度の知識がないと仕事ができなくなると感じています」 こう話すのは、英語翻訳も手がけるフリーランスの男性（34）だ。男性の元にはここ数年、日本語をゼロから訳すのではなく、クライアントが翻訳エンジンで訳したとみられる英文を校正する仕事が舞い込むようになった。「そこそこ正確」なものが多く、当然ながら仕事の単価は下がる。以前は時折あった「意味さえ通じればいいから早く」というオー
共和党大統領予備候補のドナルド・トランプ氏が、中国系ソーシャルメディアアプリのTikTokをアメリカで全面的に禁止しようとする動きについて懸念を表明しました。これは、議会が可決すれば禁止法案に署名すると述べたジョー・バイデン大統領の見解とは対照的です。 Trump says TikTok ban would empower Meta, slams Facebook https://www.cnbc.com/2024/03/11/trump-says-a-tiktok-ban-would-empower-meta-slams-facebook-as-enemy-of-the-people.html TikTok ban: House vote set for Wednesday morning https://www.axios.com/2024/03/11/tiktok-ban-congr
ライス大学研究チーム、GPUを使わずにディープラーニングを高速化するアルゴリズムを開発：行列の乗算ではなく、ハッシュテーブルで解決可能な探索問題に ライス大学のコンピュータサイエンス研究者チームが、GPUのようなアクセラレーションハードウェアを使用することなく、ディープラーニングを高速化できるという「Sub-Linear Deep Learning Engine」アルゴリズムを開発した。
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
ニューラルネットワーク入門
Pythonコードで理解するニューラルネットワーク入門 ニューラルネットワークの仕組みや挙動を、数学理論からではなく、Pythonコードから理解しよう。フルスクラッチでニューラルネットワーク（DNN：Deep Neural Network）を実装していく。 第1回 Pythonでニューラルネットワークを書いてみよう（2022/02/09） 本連載（基礎編）の目的 ・本連載（基礎編）の特徴 ニューラルネットワークの図 訓練（学習）処理全体の実装 モデルの定義と、仮の訓練データ ステップ1. 順伝播の実装 ・1つのノードにおける順伝播の処理 ・重み付き線形和 ・活性化関数：シグモイド関数 ・活性化関数：恒等関数 ・順伝播の処理全体の実装 ・順伝播による予測の実行例 ・今後のステップの準備：関数への仮引数の追加 第2回 図とコードで必ず分かるニューラルネットワークの逆伝播（2022/02/16）
小猫遊りょう（たかにゃし・りょう） on Twitter: "ソニーの研究者の方が作っている、ディープラーニングの解説動画。1本の動画の長さはおよそ10分程度で、全部で65本も用意されている。youtubeにアップされていて、かつ、日本語で見れる解説動画の中では桁違いにクオリティが高い。… https://t.co/zwNrtTRV0B"
ソニーの研究者の方が作っている、ディープラーニングの解説動画。1本の動画の長さはおよそ10分程度で、全部で65本も用意されている。youtubeにアップされていて、かつ、日本語で見れる解説動画の中では桁違いにクオリティが高い。… https://t.co/zwNrtTRV0B
ディープラーニングに向くのは「100点を取らなくていい現場」 東大・松尾研発のVC代表が語る“AIの狙い目”（1/2 ページ） 「ディープラーニングに向いているのは、100点を取らなくていい現場。大事だけれどクリティカルじゃない領域がいいんです」――こう話すのは、東京大学・松尾豊研究室発のベンチャーキャピタル・Deep30代表の田添聡士さんだ。Deep30は、ディープラーニング技術を開発・提供する企業に特化して投資するファンド。調理ロボットを開発するコネクテッドロボティクスや、「GAN」（Generative Adversarial Network：敵対的生成ネットワーク）で架空のアイドルの顔画像を自動生成する技術を開発したデータグリッドなどに投資している。 さまざまなベンチャーに投資する中で、ディープラーニングでビジネスインパクトが出せそうな領域が分かってきたという。ベンチャーキャピタル
Mohamed Ali Habib氏は、シリアで第2の規模をほこるアレッポ大学（シリア最大規模の大学はダマスカス大学）でコンピュータサイエンスを専攻する大学院生です。同氏がMediumに投稿した記事「アンドリュー・エン教授のアドバイスによる機械学習キャリアの築き方と研究論文の読み方」では、アンドリュー・エン教授のオンライン講座で語られたアドバイスが紹介されています。 アンドリュー・エン（Andrew Ng）氏は、英語圏で最も有名なオンライン講座サービスCourseraを設立してAI関連の講義を担当しているスタンフォード大学の教授です。同氏は、アメリカにおいて日本の松尾豊東京大学教授のような立ち位置にいると言えばわかりやすいでしょう。 研究論文の読み方と機械学習エンジニアのキャリア構築法についてアドバイスした同教授の講座に感銘を受けて、Ali Habib氏は聴講した講座をまとめる記事を執筆す
数式処理システムのMathematicaや質問応答システムのWolfram Alphaを開発したStephen Wolfram氏が「What Is ChatGPT Doing … and Why Does It Work?」（ChatGPTは何をしていて、なぜそれがうまく機能するのか？）と題するブログ記事を発表しました。 この記事は、とても分かりやすい言葉で、沢山例を挙げて詳しく説明していますので、ChatGPTの仕組みを理解したいと思っている人には必読の記事だと思います。 ブラウザの翻訳機能を利用して日本語で読むこともできますが、易しい言葉で書かれた文章であるにも関わらず、これを完全に理解するのは簡単なことではありません。 前半は大規模言語モデル、ニューラルネットワーク、Transformerなどの仕組みについて相当詳しく説明しており、後半はChatGPTに関するWolfram氏独自の解
Pythonで基礎から機械学習始めました 最近、とあることがきっかけで「自分が機械学習の基礎を全然分かってなかった」と改めて痛感したので、1から学び直してみることにしました。 といっても、本を読むだけだとすぐ忘れてしまいそうなので、自己学習を兼ねてアウトプットしてみることにしました。以下に固定ページ作りました。今後、少しずつアップデートしていく予定です（まだ単回帰を勉強したところまでです）。 アウトプットの重要性 最近Twitterで見たのですが、ラーニングピラミッドといって、インプットするより、アウトプットするのが遥かに学習の定着に効果的らしいです。 ちなみに上図を引用させていただいたラーニングピラミッドの誤謬という論文では、ラーニングピラミッドは怪しい！と書いてありました（笑） 確かに、数字は怪しげな感じですが（綺麗過ぎるので）自分自身の経験上も、人に教えたり、ブログ等でアウトプットす
![Pythonで基礎から機械学習の勉強するシリーズをはじめました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0153c91147d4b84de7fbac87f6c3ee8222b4131/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190905%2F20190905002807.png)
Google Researchの神資料を読み解いてみる①【Deep Learning Tuning Playbook】 - Qiita
はじめに 研究しなきゃなのはわかってるが何から始めればいいんだ、とりあえずでモデル組んだけどまともに動かん。なにがダメなのか分からねぇ、どこをどういじれば何がどう変わるんだ、、、と日々悲鳴をあげている中、Google Researchの研究者による、Deep Learning Tuning Playbook（ https://github.com/google-research/tuning_playbook ）が公開されました。 どうやら深層学習ネットワークをチューニングする際の考え方やら注意点を、Googleの神たちがまとめてくださっているようです。これは読んでおこうと思い、自分の読解とメモついでに和訳してみることにしました。 【注意】 翻訳アプリそのままではなく、一応多少自分なりに解釈して理解したいということで、一部抜けてたり言い回しが違ったり、そのまんま和訳になっているとは限りませ
The Windows Subsystem for Linux BUILD 2020 Summary
This year at an all virtual BUILD conference we had many exciting announcements for the Windows Subsystem for Linux (WSL)! This blog post gives you a summary of all the WSL news, including what’s available now and what you can expect in the future. WSL’s BUILD news at a glance Available this month Support for WSL 2 distros is coming this month in the Windows 10 May 2020 Update Docker Desktop relea
機械学習・ディープラーニングの学習を入門レベルで挫折しないために - orangeitems’s diary
入門レベルで挫折しないために 初心者が無料で勉強できる良教材いろいろまとめを読み、AIを支える技術、具体的には機械学習やディープラーニングについて興味を持ったので入門記事を読み進めてみました。具体的にはChainer Tutorialです。 tutorials.chainer.org このチュートリアルは、機械学習やディープラーニングの仕組みや使い方を理解したい大学学部生以上の方に向けて書かれたオンライン学習資料です。 とはじめに書いてあったので大丈夫か‥と。 おそらく読み進められた方もいらっしゃると思うのですが、「うーんわからん」と離脱するポイントがいくつも見えましたのでまとめておきます。読み進める前に本記事を読めば離脱が防げるかもしれません。 学習を進める上で重要なポイント Chainer Tutorialの意義（全体を通して） AIを「使う」ために、ここまで詳しい数学やPython・
2023/04/25に、東京大学本郷キャンパスで発表した、荒居秀尚と本田志温 の資料になります。
PyTorch vs. TensorFlow、ディープラーニングフレームワークはどっちを使うべきか問題【2021年】
連載目次 昨年10月、同タイトルの記事を公開して好評だった。今回は、2021年に向けた、そのアップデート記事となる。 ディープラーニング（深層学習）を実装する場合、専用のライブラリ／フレームワークを用いるのが一般的だ。ディープラーニングが流行してから直近5年ほどの間に、次々と新しいフレームワークが登場した。現在、主要なものを挙げると、 TensorFlow： 2015年登場、Google製。一番有名で、特に産業界で人気 Keras： 2015年登場、作者がGoogle社員。使いやすくて簡単。TensorFlow 2に同梱され標準API化 PyTorch： 2016年登場、Facebook製。この中では新興だが、特に研究分野で人気急上昇中 Chainer： 2015年登場、日本のPreferred Networks製。2019年12月に開発を終了し、PyTorchへの移行が推奨されている な
“実在しないリアルな顔”を自在に編集できる「StyleRig」 StyleGANで生成した顔の向き、表情、照明を制御
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 独MPI Informatics、仏Technicolor、仏Valeo.ai、米スタンフォード大学による研究チームが開発した「StyleRig」は、機械学習が生成したリアルな、だが実在しない人物の顔（静止画）を自在に編集できるシステムだ。 顔の向きや表情、光の当たり方などを変更できる。 今回の手法は、GAN（Generative Adversarial Network）を用い、リアルな顔画像を生成するNVIDIAの「StyleGAN」をベースにしている。 StyleGANは、高解像度の人物画像や2つの顔を組み合わせた合成画像を生成するスタイル変換ネットワークで、実在しないがリアルな顔を出
収録した音声をそのままテキストに自動で文字起こしするSpeech to Text(STT、音声テキスト変換)モデルや、入力したテキストを自動音声で読み上げるText to Speech(TTS、テキスト音声変換)モデルをオープンソースで開発する企業が「Coqui」です。 Coqui https://coqui.ai/ Coquiの創設者たちはもともとFirefoxやThunderbirdの開発で知られるMozillaに在籍していました。創設者たちは音声技術が大企業によって独占され、オープンソースで提供されなくなるかもしれないと考え、独立して企業を立ち上げ、オープンソースの音声認識エンジンを構築したとのこと。 CoquiのSTTモデル「Coqui STT」のリポジトリはGitHubにホストされています。Coqui SSTの特徴は、あらかじめ音声ライブラリが用意されているのではなく、あらかじめ
論文解説 EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention
この記事は、NTTコミュニケーションズ Advent Calendar 2019の18日目の記事です。 昨日は @yusuke84 さんの記事、WebRTC Platform SkyWayのサポートについて考えていること でした。 メリークリスマス！ はじめに 会社のAdvent Calendarということで、当初はある程度流れに忖度して技術的なTipsを書こう！ とか考えて、Neural Networkについてネタ探ししてたのですが、結局自分が興味のある話、それも実装よりも理論一辺倒な話に落ち着いてしまった、本記事はそんな成れの果てです。 （まあ１人くらい暴走しても良いですよね、きっと） というわけで、Neural Networkを用いた物理系の表現について、少し前から気になってる話をツラツラと書いていきます。そのうちに、この辺の話を端緒に新規性のある手法を論文化するから、それ相応の評価
TL; DR 社内に眠るダークデータ、会議関連のデータを活用することで、有識者検索エンジンを作ります。 こんなやつ これで、社内の有識者やその有識者へのコンタクトパスを探せるようにします。 1. 背景。。。 1.1 働き方改革とはなんぞ 働き方改革あるあるとして、ジタハラがよく言われますね。 ジタハラ： 残業時間削減のための具体策がないまま、社員に「残業をするな」「定時に帰れ」などと退社を強要すること とあります。真面目な皆さんは、言われたとおりに帰ります 持ち帰ってサービス残業することになります。 んなアホな！！！ 1.2 会議・・・減らしてみる？ 朝日新聞によると、 大企業でのムダな会議の損失 年間６７万時間と１５億円 だそうですよ。単刀直入に聞きます。 あなた、会議減らせます？ 15億円削減できたら、ゴーン氏くらい報奨があってもいいんじゃない？ 世の中には、こんなにたくさんのノウハウ
最適輸送と自然言語処理
2022-03-14, 言語処理学会 第28回年次大会でのチュートリアル「最適輸送と自然言語処理」のスライドです。当日利用版から増補改訂しました。 講演動画 (YouTube)
AIと聞くと「人間の脳を模倣したもの、あるいは人間の脳を上回る性能を持つもの」という印象を持つ人も多いかもしれません。しかし、軍事科学や安全保障の研究を行うアメリカのサンディア国立研究所に勤めるフランシス・チャンス博士は、人間の脳ではなく「トンボの脳」をモデルにしたAIの開発を行っているとのことです。 Fast, Efficient Neural Networks Copy Dragonfly Brains - IEEE Spectrum https://spectrum.ieee.org/fast-efficient-neural-networks-copy-dragonfly-brains 人間の脳には全体で860億個もの神経細胞(ニューロン)があるといわれており、高度な認知能力を必要とするさまざまなタスクを実現しています。一方、昆虫が持つニューロンはせいぜい数十万～100万個程度です
flairを使って最速でNLPのベースラインモデルを作る - moriyamaのエンジニアリング備忘録
自然言語処理に限らず、機械学習関連のプロジェクトではスタート時は、なるべく複雑なコーディングをせずにシンプルなベースラインモデルを低コストで作成し、そこからデータの傾向やタスクの複雑さを把握することが重要です。 ところが自然言語処理では前処理のコストが高く、最低限でも単語分割、ベクトル化、深層学習を用いる場合は事前学習された埋め込みベクトルを準備する必要があります。その後は他のタスクと同様にモデルの保存方法や、予測のパイプラインで悩みポイントを抱えることが多いと思います。 最近はAutoMLを始めとした機械学習の自動化が進歩し、初手から高性能なモデルをブラウザ上で数クリックで作成できますが、中身がブラックボックスである故に前述のデータの傾向やタスクの複雑さを把握することを目的とした場合には適切とは言えない側面があります。 本記事では自然言語処理を対象にモデルの中身が参照可能でかつ少ないコー
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience training neural networks. This implementation is missing tons of features on purpose to keep it as simple as p
導入 本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり
0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステップだよ パラメータ$\mathbf{w}$の周辺で最大の損失をとる$\mathbf{w+\hat{\epsilon}(w)}$を求めるよ $\mathbf{w+\hat{\epsilon}(w)}$における損失を求めるよ 2.の損失に対する勾配でパラメータ$\mathbf{w}$を更新するよ SAMは一言で言ってしまえば、「パラメータ周辺での最大の損失を求めて、それが下がる方向でパラメータを更新する」ものだよ ImageNetやCIFARを含む9つの画像分類データセットでSoTAを更新したよ ラベルへのロバスト性も高いよ 1. SAMの説明 SAMは至ってシンプルです。というのも、今までは損失が最小になるパラメータを学習させていました。ただ、SAMは損失が最小かつその周りも平坦となっ
グリーンバック不要で前景を精密に抜き出す、深層学習を用いたAlpha Matting技術「HAttMatting」 2020-07-04 大連理工大学、 大連大学、鄭州大学、北京工商大学による研究チームが開発した「Attention-Guided Hierarchical Structure Aggregation for Image Matting」は、1枚の画像から被写体である前景を精密に抽出するAlpha Matting技術だ。 本手法の出力結果 Alpha Mattingとは グリーンバック等の特殊な撮影環境を必要とせず、自然状態の画像から前景を抽出し背景と分離するタスクをAlpha Mattingと呼ぶ。画像から前景のAlpha値を抽出する処理をMattingと呼び、 Alpha値を各画素に持つ画像をAlpha Matteと呼ぶ。 Trimapを用いた既存研究 Alpha Mat
化学反応におけるDeep learningの適用 - Preferred Networks Research & Development
近年様々な分野に対してDeep learningの応用が研究されてきています。 化学の分野でも物性値の予測モデルや、化合物の生成モデルの研究などが盛んになってきています。最近では、有機化合物の合成を行う際に必要な化学反応の予測をDeep learningで行うという試みが行われてきているのでその先行研究サーベイをしました。 サーベイ資料はこちらのSlideshareにアップロードしています。 問題設定：反応予測および逆合成経路探索 化学反応で、反応物 (reactant) AとBを触媒 (reagent) Cの下で反応させたときに 生成物 (product) D ができたようなプロセスは Reaction SMILES を用いると “A.B.C>>D” というように表すことができます。 ここで、 AとBとC から何ができるか？ （答えはD）を予測する問題を順方向の反応予測問題と呼び、Dを作
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIで1枚の人物写真から高精細3Dモデル作成 Facebookなど開発
前モデル買った人のことを思うと切なすぎる：Nvidia RTX 2060／2070 Super レビュー
2020年、Deep Learningをはじめましょう！
第1回 初めてのニューラルネットワーク実装、まずは準備をしよう ― 仕組み理解×初実装（前編）
自然言語からSQLを自動生成するDeep Learning技術 - Qiita
第3回 ディープラーニング最速入門 ― 仕組み理解×初実装（後編）
Kaggle と出会ってから Master になるまで、そしてこれから。 - 俵言
【後藤弘茂のWeekly海外ニュース】 人間の脳から産まれたディープラーニングのプルーニング
ドナルド・トランプが「TikTokを禁止すると国民の敵Facebookに力を与えてしまう」と発言
ライス大学研究チーム、GPUを使わずにディープラーニングを高速化するアルゴリズムを開発
平井デジタル相会議、音声データをほぼ廃棄 デジタル庁の発足前：朝日新聞デジタル
ディープラーニングに向くのは「100点を取らなくていい現場」 東大・松尾研発のVC代表が語る“AIの狙い目”
アンドリュー・エン教授のアドバイスによる機械学習キャリアの築き方と研究論文の読み方 | AI専門ニュースメディア AINOW
Wolfram氏によるChatGPTの仕組みと機能に関する解説について｜IT navi
Pythonで基礎から機械学習の勉強するシリーズをはじめました - karaage. [からあげ]
東京大学大学院経済学研究科 「ICTと産業」基盤モデルと産業
自動文字起こしや自動音声読み上げモデルをオープンソースで開発する「Coqui」メンバーは元Mozillaエンジニア
ニューラル言語モデルの�研究動向（NL研招待講演資料）
認めたくないものだな… Neural Networkの力学系表現というものを - Qiita
社内の会議情報を機械学習して有識者検索エンジンを開発するというHRTechしてみた - Qiita
効率的なミサイル迎撃用のAIを開発する研究者が「トンボの脳」をコピーする意味とは？
GPT in 60 Lines of NumPy | Jay Mody
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)｜shi3z
SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ - Qiita
グリーンバック不要で前景を精密に抜き出す、深層学習を用いたAlpha Matting技術「HAttMatting」