この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
最初に ブログの更新は凄い久々ですね 殆どの方は知らないと思いますが僕は2017年8月に「7年後で待ってる」というiOS・Android向けゲームをリリースしました 7年後で待ってる（Nintendo Switch） 7年後で待ってる（iOS） 7年後で待ってる（Android） そこから3年半、アプリのDL数は600万まで伸びました そして記事のタイトル通り海外でヒットしたり映像化オファーが来たりとあれやこれやあったわけですが、そこら辺を宣伝も兼ねてちょっと色々書こうと思うので良かったら読んでいって下さい 最初に 「7年後で待ってる」を制作する前 6円の稼ぎ UnityとCocos2d 1000円って凄い 「7年後で待ってる」完成 リリース 急上昇ランキング DLC？ 最初のメール 中国語版リリース 多言語展開 二通目のメール ハリウッド 良くないことは続く その他いろいろ その他の嬉し
このページでは，人工知能や深層学習を学んだことのない方向けに，それらを学ぶためのロードマップを紹介しています． ここでは対象者として「情報系以外の大学生向け」と「社会人向け」を想定し，それぞれ10時間・200時間で人工知能や深層学習について一通りの内容を学ぶことを念頭に作成しています． もちろん限られた時間で全てを学ぶことは不可能ですが，人工知能や深層学習を身につけるためにどのように学び進めていけば良いかわからない方は，是非参考にしてください． また，フォローしてみようと思ったロードマップがある場合は，各教材をやり始める前にそのロードマップを最後まで読むことをお勧めします．
渡辺明名人、１秒間に8000万手読むコンピュータを購入しディープラーニング系のソフトも導入（１）（松本博文） - エキスパート - Yahoo!ニュース
【渡辺明名人】37歳。名人・棋王・王将の三冠を保持し、現将棋界の序列１位。近年はコンピュータ将棋（AI）を用いての綿密な研究でも知られる。ほとんどの棋士を相手に勝ち越し「現役最強」とも言われるが、棋聖戦五番勝負では藤井聡太棋聖に挑戦して敗れた。 （７月某日、LINEにて、渡辺名人が研究用の新しいマシンの購入を検討しているという話になり） 渡辺 将棋ソフト用のパソコンと最新のソフト事情について教えてもらいたいんですけど。 松本 それなら水匠開発者の杉村達也さんが適任です。ご紹介しますよ。 渡辺 ディープラーニング系のソフトってなに？ってところですよ、私は（笑） 松本 ますますちょうどいい。私もそのあたり、さっぱりわからないので（笑）。ところで新しいマシンを買うのだと、たとえば藤井聡太さんみたいなモデルはCPUだけで50万円らしいですね。 松本 ということは、トータルで予算80万円ぐらいですか
深層学習の数理
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku61.6K views•43 slides Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida15.5K views•38 slides
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を
［速報］マイクロソフト、自然言語をプログラミング言語にAIで変換、新ノーコード機能をPower Appsに搭載。AI言語モデル「GPT-3」を採用。Microsoft Build 2021
［速報］マイクロソフト、自然言語をプログラミング言語にAIで変換、新ノーコード機能をPower Appsに搭載。AI言語モデル「GPT-3」を採用。Microsoft Build 2021 マイクロソフトは、オンラインで開催中の開発者向け年次イベント「Microsoft Build 2021」で、ローコード／ノーコード開発ツール「Power Apps」に、英語で説明すると自動的にその機能をプログラミング言語の「Power Fx」に変換してくれる新機能の搭載を発表しました。 Power FxはExcelの数式をベースにしたプログラミング言語で、今年の3月に発表されたばかりです。 参考：Excelの数式をベースにしたプログラミング言語「Microsoft Power Fx」登場。オープンソースで公開予定。Microsoft Ignite 2021 これによりプログラミングせずに、Power A
0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、
前置き すごく手間のいる作業が存在していた。ざっくり スプレッドシートを複製 運用管理ツールからjsonを複数DL シミュレータ実行 シミュレータ実行結果をスプレッドシートに貼り付け 目視で結果確認（NGならリトライ） スプレッドシートからExcelファイルexport メール＆Slackで報告 実質的な作業時間としては10~20min（リトライあるともっと）かかるが、色んなツールが必要だからとにかく面倒。 図にするとこんな感じ 環境 masOS Mojave ver10.14.6 Python 3.7.3 pip 19.2.2 激効率化（自動化）した結果 パラメータ指定なしのコマンド一つで、欲しかったExcelファイルが作成されるようにした 自動化のポイント 1. 運用観点 無駄は無くしていこうな方針で2点対応。 1-1. スプレッドシートの廃止 シミュレート結果の確認＋Excelファイ
この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この１年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の１つである Stable Diffusion v1 について調べてみました！*1 では早速本題に入りたいと思います！ Stable Diffusion v1 とは？ Denoising Diffusion Probabilistic Model（DDPM） 学習時の動作 for
1億DLを突破 オードリー・タン氏も認める詐欺電話・SMS防止アプリ「Whoscall」とは？：台湾で2人に1人が利用（1/3 ページ） 「お荷物の住所が不明でお預かりしております」「プライム会費のお支払方法に問題があります」――。こんなSMS（ショートメッセージ）を受け取ったことがある人は多いのではないか。近年、SMSから偽サイトに誘導し、個人情報を盗む「フィッシング詐欺」が急増している。こうした詐欺SMSや迷惑電話を防ぐ台湾発のアプリ「Whoscall（フーズコール）」が世界で1億ダウンロードを超え、規模を拡大している。直近では福岡市が詐欺防止に向けて活用するなど、国内でも熱い視線が注がれている。一体、どのようなアプリなのか。創業者に話を聞いた。 電話が鳴ると、スマートフォンの画面上に「迷惑電話」「詐欺電話」といったアラートが表示される。「郵便局配達員」や「〇〇銀行」といった具合に、電
著作権の消滅などによりパブリックドメインとなった楽譜や音楽などを無料で公開する国際楽譜ライブラリープロジェクト(IMSLP)のウェブサイトでは、主にクラシック音楽の楽譜や音源データが42万5000点以上収録されています。どのような音源や楽譜データがあるのか、実際に使って確かめてみました。 IMSLP: Free Sheet Music PDF Download https://imslp.org/wiki/Main_Page IMSLPのトップページはこんな感じ。日本語にも対応しており、言語を日本語に変更するには下へスクロール。 「日本語」をクリックすると、メニューバーなどの一部を除いて言語が日本語に変換されます。 楽譜をダウンロードするにはメニューバーから「Scores」をクリック。 作曲者名や国別、時代などから楽譜を探すことができます。例えば「作曲者から」をクリックすると…… アルファ
はじめに この度は個人でmeta翻訳という翻訳サービスを開発しました。 現在Google翻訳を筆頭に、機械翻訳サービスは乱立していて、業界としてレッドオーシャンだと思いますが、meta翻訳は複数ある翻訳サービスの中でも日本語⇄英語の翻訳では最高精度だと自負しております。 なので、個人でも頑張ればレッドオーシャンに突っ込めるくらいの機械学習サービスを開発できるというお話しをしたいと思います。 ※個人開発とは思えないくらい高精度なので是非一度使ってみてください。 meta翻訳の精度 まず初めにmeta翻訳の精度を簡潔に紹介したいと思います。 専門的な文章を翻訳する場合 「storm surge」など、専門的な単語にきちんと対応できています。 また、「power」が「電力」と訳されているように、専門的な文脈も識別して翻訳します。 口語的な文章を翻訳する場合 実は専門的な文章よりも口語的な文章の方
3DSとWii Uの「ニンテンドーeショップ」サービス終了迫る！ 今のうちに買っておくべきDLソフト「私はこれを買いました」
3DSとWii Uの「ニンテンドーeショップ」サービス終了迫る！ 今のうちに買っておくべきDLソフト「私はこれを買いました」 ライター：本地健太郎 今年（2022年），ニンテンドー3DSは発売から11年，Wii Uは10年を迎えた。多くの4Gamer読者にとって，さまざまなゲームの思い出が詰まっているハードだろう。 そんな3DSとWii Uの「ニンテンドーeショップ」は，2023年3月28日9：00をもってサービスを終了する。 3DSとWii Uのニンテンドーeショップへの残高の追加は2022年8月30日に停止されているが，「ニンテンドーネットワークID」と「ニンテンドーアカウント」を連携することで，Webサイトなどからニンテンドーアカウントに残高の追加が可能だ。これを活用すれば，クレジットカードやニンテンドープリペイドカードを使用して，ソフトや追加コンテンツ，ゲーム内アイテムを購入できる
※一部の抜粋です クリスタ素材配布サイトの「CLIP STUDIO ASSETS」から、2022年4月現在でDL数が1万～2万台の人気おすすめの漫画用原稿ペンをまとめました。DL数3万越えは別のページにまとめてありますので先にそちらをご覧になるのがおすすめ。 ※ASSETSの検索機能が弱く漫画向けのペンだけヒットさせるのが難しい為に、クリスタ触りたての人がざっと一覧で見れるようにと作成したリストなので、ある程度使用したことがある方には無意味だとは思います。筆圧など使いやすさや合うかは人それぞれで人気＝良いというわけではありませんので、あくまで検索の補助としてどうぞ。 調べた時点でのDL数なので、既に範囲のDL数を超えている可能性があります。今後見直して移動したりDL数の範囲を変えるかもしれません。 カラー・グレースケール向けの様なものは除外しています。 DL数だけで全て羅列すると凄い数にな
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
【特集】「『予測』という名の欲望」全記事はこちらから読めます ■人間にはAIの考えが分からない？ ――ディープラーニングは、大量の「教師データ」を読み込み、入力する変数と、出力する変数との間の関係を見つけ出します。その関係が分かれば、新たなデータを入力したとき、出力が予測できるというわけですが、なぜ人間はそのプロセスを理解できないのでしょうか？ おもにふたつの要因があります。質的なものと、量的なものです。量的な問題は、すごくシンプルです。ディープラーニングの内部で動くパラメータ（母数：システムの内部で動く情報）が多すぎるので、その大量・複雑なデータを人間の直感につなげることが難しい、という話です。最近は、多いものでは1億個を超えるパラメータから出力を予測します。じゃあ、その1億個をざっと人間が見てなにか分かるのかといえば、分からない。これが基本的に起こることです。 ――大量の変数という意味
本チュートリアルに関してのご質問は、SIGNATEにて開催中のコンペティションサイト( https://signate.jp/competitions/443 )のフォーラムにおきまして、新規のスレッド（ディスカッション）にてご質問していただけますと幸いです。 また、本チュートリアルに関してのご要望があれば、Githubリポジトリ( https://github.com/JapanExchangeGroup/J-Quants-Tutorial )の Issues からご意見をいただけますと幸いです。 (なお、投稿の際には、過去に同じご要望がないかご確認ください。) 2021-01-29: 初版リリース 2021-02-05: 誤字や表記の修正を中心に改良 2021-02-12:
小規模モバイルゲームはいかにして100万DLを達成したのか。「ローグウィズデッド」のマネタイズを学ぶ ライター：高橋祐介 room6のkohei氏 2023年12月17日に東京・新橋で開催されたインディーゲーム開発者向けのカンファレンス「Indie Developers Conference 2023」より，「100万DLを達成するための小規模モバイルゲームの開発と運営」のセッションレポートをお届けしよう。 2022年9月のリリースから1年3か月で100万ダウンロードを達成し，Google Play ベスト オブ 2023ではインディー部門で大賞を受賞したスマートデバイス用の放置RPG「ローグウィズデッド」（iOS / Android）は，どのような考えをもって作られ，サービスが行われてきたのか。同作を制作・運営するroom6のkohei氏より語られた。 セッション冒頭でkohei氏は，ロ
writeout.ai
Transcribe and translate any audio file. Upload your audio file and get a transcript in seconds. Writeout.ai is a free online transcription service.
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）好評発売中！：https://www.amazon.co.jp/d/4065347823 連絡先: @joisino_ (Twitter) / https://joisino.net/
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models
パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った背景まで丁寧に解説します。
![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】 - Qiita
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？【2020年12月版】RaspberryPiTensorflowLitexnnpack 1. はじめに 今から半年前の2020年6月、ラズパイ４上でTensorFlow Liteを使った様々なAI認識アプリを動かしてみて、その動作速度をまとめました。 当時のTensorFlowはバージョン2.2でしたが、現在は 2.4(rc4) へと進んでいます。進化が極めて速いDeepLearningの世界において、この半年間でTensorFlow Liteはどう変化したでしょうか。もし「手持ちのアプリは何も変えてないのに、TensorFlow Liteを新しくするだけでめっちゃ速く動くようになったぜ」というのだと嬉しいですよね。 本記事では、前回計測に用いたアプリを再び最新版のTensorFlow Lite環
近似最近傍探索の最前線
MIRU 2019 チュートリアル http://cvim.ipsj.or.jp/MIRU2019/index.php?id=tutorial 松井 勇佑（東京大学生産技術研究所）http://yusukematsui.me/index_jp.html ベクトルの集合を前にして新たにクエリベクトルが与えられたとき、そのクエリに最も似ているベクトルを高速に探す処理を近似最近傍探索という。近似最近傍探索は画像検索をはじめ様々な文脈で用いられる基本的な操作であり、速度・メモリ使用量・精度のトレードオフの中で様々な手法が提案されている。本チュートリアルでは、アプローチや対象とするデータの規模に応じて近年の手法を分類し、その概観を示す。また、各手法に対応するライブラリを紹介し、大規模データに対する探索を行いたい場合にどのように手法を選択すべきかの道筋を示す。
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
超関数型プログラミング
この記事はFOLIO Advent Calendar 2022の23日目です。 ソフトウェア2.0 ソフトウェア2.0 という新しいプログラミングのパラダイムがあります。これは Tesla 社のAIのシニアディレクターだった Andrej Karpathy が自身のブログ記事（"Software 2.0"）で提唱した概念で、 ニューラルネットワーク のような最適化を伴うプログラムを例に説明されています。 従来のプログラム（Software 1.0）は人間が命令に基づいたプログラムを作成し、望ましい挙動を行わせます。それに対してニューラルネットワークのようなプログラム（Software 2.0）では人間はある程度の自由度をパラメータという形で残したプログラムを作成し、「入出力のペア」や「囲碁に勝つ」というような教師データや目的を与えてプログラムを探索させるというものです。 画像出典: "So
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． (追記)動画版も公開しました！全38時間の3部作という超大作です 【日本一の高評価】機械学習超入門講座(前編&後編)を公開しました!! 【ついに3部完結】機械学習超入門講座の本番編を公開しました!! いやーついに長かったデータサイエンス入門機械学習編35回分の記事を書き終えました！！ 本記事はそのまとめです．目次として使ってください． 目次 線形回帰 第1回: 機械学習とは？なにをしているのか？ 第2回: 線形回帰の損失関数をわかりやすく解説 第3回: 最急降下法を図と数式で理解する(超重要) 第4回: 正規方程式を完全解説(導出あり) 第5回: scikit-learnを使って線形回帰モデルを構築する 第6回: 線形回帰の係数の解釈の仕方(p値) 評価 第7回: (超重要)過学習と汎化性能を理解する(
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 していきます。 それでは早速最適化アルゴリズムとは何
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
GitHub - Valkyrja3607/tuning_playbook_ja: ディープラーニングモデルの性能を体系的に最大化するためのプレイブック
現在，ディープニューラルネットワークを実際にうまく機能させるためには，驚くほど多くの労力と推測が必要です．さらに悪いことに，深層学習で良い結果を得るために実際に使われるレシピが文書化されることは稀です．論文では，よりきれいなストーリーを提示するために，最終的な結果に至ったプロセスは無視され，商業的な問題に取り組む機械学習エンジニアには，一歩下がってそのプロセスを一般化する時間はほとんどありません．教科書は，たとえ著者が有用な助言を提供するために必要な応用経験を有していたとしても，実用的な指針を避け，基本原理を優先する傾向がある．このドキュメントを作成する準備をしていたとき，私たちは，深層学習で良い結果を得る方法を実際に説明する包括的な試みを見つけることができませんでした．その代わりに，ブログ記事やソーシャルメディア上のアドバイスの断片，研究論文のappendixから覗くトリック，ある特定の
日本語処理にも革命！？分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】
日本語処理にも革命！？分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】
〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 3 回】 「積ん読」と「体重増」の悩みを AutoML で解決しよう | Google Cloud 公式ブログ
〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 3 回】 「積ん読」と「体重増」の悩みを AutoML で解決しよう 前回は、AutoML Tables による EC サイトの LTV 分析事例を紹介しました。今回は、同じ AutoML Tables を、より身近な課題の解決に使う方法を紹介します。 その課題とは、筆者自身が抱えていた 2 つの悩みです。ひとつは、スキャンして PDF で保管している書籍の「積ん読」を大量に抱えていたこと。もうひとつは、自宅作業ばかりで増え続けてしまっている体重です。 この 2 つの課題を一挙に解決するソリューションとして筆者が思いついたのが、「PDF 書籍をオーディオブックに変換する」という方法です。読みたかった書籍をオーディオブック化しておけば、ランニングしながら積ん読を解消できます。 この動画のように、Cloud Sto
AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介｜逆瀬川
AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 自動コミットメッセージ生成ツールについてコミットメッセージ生成というと、https://whatthecommit.com/ を思い出すかたも多そうですが、いまではコードを解析して自動でコミットメッセージを生成できる時代になりました。 OpenAI/Codex(GPT-3のプログラミング版)を用いた『auto-commit』、BEATを用いた『commit-autosuggestions』の2つの導入方法、使用方法を紹介します。 これらを使って「commit message 書き方」を検索する日々から開放されましょう。 auto-commit1. 概要https://github.com/m1guelpf/auto-commit/ こちらはOpenAIのCodexを用
はじめにMachine Learning部門の近江です。ストックマークでは、自然言語処理技術の研究開発を行っています。 先日、弊社のTech Blogにて弊社が公開している言語モデルを紹介しました。 ストックマークが公開した言語モデルの一覧と振り返り 今回は、言語モデルがプロダクトにおいて実際にどのように利用されているかについての一例を紹介します。 ニュース記事の構造化マーケティング、新規事業開発などの調査業務では、調査を行う人が書籍、ニュース記事、ホームページなどの情報を網羅的に調べ、整理し、報告書などにまとめていきます。その際に扱う情報は膨大であり、そのため調査業務には多くの時間と労力がかかります。 弊社のプロダクトである「Astrategy」は機械学習を用いてニュース記事から特徴となる情報を抽出し、構造化することで、大量のニュース記事を効率的に俯瞰し、さらに新規事業開発などに繋がりう
はじめに 2020年も，機械学習コミュニティでは多くの新しい成果が見られました．2019年に引き続き，1年を振り返ってもっとも面白かった論文を10本紹介したいと思います． * 本記事は，私のブログにて英語で書いた記事を翻訳し，適宜加筆修正したものです． ** 記事中の画像は，ことわりのない限り対象論文からの引用です． 論文10選（公開順） 普段から，読んだ論文を簡単にまとめてツイートしているので，それを使って公開日順に振り返っていきます．対象はおおまかに「2020年に公開された論文」と「2020年に学会・雑誌で発表されたもの」とします．全くの主観で選んでいるので，私の興味範囲である深層学習および応用研究に偏っている点はご容赦ください． 紹介するのはこちらの10本です！ Rigging the Lottery: Making All Tickets Winners PIFuHD: Multi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-3の衝撃 - ディープラーニングブログ
ゲームを作ったらハリウッドから映画化オファーが来た話 - Hirayaブログ
人工知能・深層学習を学ぶためのロードマップ | 東京大学松尾研究室 - Matsuo Lab
30分で完全理解するTransformerの世界
なぜGoogle Meetの背景ぼかしが最強なのか（一般公開版）
画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita
めちゃくちゃ手間のかかっていた手作業をPython使って激効率化した話 - Qiita
Stable Diffusion の仕組みを理解する - ABEJA Tech Blog
1億DLを突破 オードリー・タン氏も認める詐欺電話・SMS防止アプリ「Whoscall」とは？
無料で42万点以上の楽譜や音源データをダウンロード可能な「国際楽譜ライブラリープロジェクト」
世界最高の翻訳サービスを個人で開発した話【meta翻訳】 - Qiita
【ClipStudio】DL数1万～2万台の漫画原稿用ペンまとめ - 物覚え雑記帳
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
人間が深層学習のAIを理解できないのには、理由がある：朝日新聞GLOBE＋
J-Quants-Tutorial
小規模モバイルゲームはいかにして100万DLを達成したのか。「ローグウィズデッド」のマネタイズを学ぶ
https://twitter.com/developer_quant/status/1551910433858400256
学習が何で律速してるか、把握してますか？ - arutema47's blog
僕たちがグラフニューラルネットワークを学ぶ理由
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW
Deep Learning ideas that have stood the test of time
【無料】データサイエンス入門:機械学習編全35回まとめと目次
【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
大規模モデルを支える分散並列学習のしくみ Part1
YouTubeなどの動画共有サイトで公開されている動画をダウンロードできるコマンドラインツールyoutube-dlをGUI化した「ViDL for Mac」がリリース。
BERTによるニュース記事の構造化：企業名抽出
2020年のおもしろかったDL/ML論文10選 - Qiita
twitter.com
www.kayac.com
www.hanmoto.com
www.sugiwakai.jp
oyayubisan.hatenadiary.jp
kuragebunch.com