メタ、「GPT-3並み」の大規模言語モデルを研究者向けに無償提供
メタ（旧フェイスブック）AIラボは、自社開発した大規模言語モデル「OPT」を研究者向けに無償で提供を開始した。オープンAIの「GPT-3」と同じパラメーター数を持つ。同モデルの構築方法や訓練方法の詳細も公開しており、巨大テック企業の取り組みとしては異例だ。 by Will Douglas Heaven2022.05.09 56 11 メタ（旧フェイスブック）AIラボは、オープンAI（OpenAI）の先駆的なニューラル・ネットワーク「GPT-3」の驚くべき能力と有害な欠陥の両方を継承する新しい大規模言語モデル「OPT（Open Pretrained Transformer）」を作成し、研究者向けに提供を開始した。同モデルの構築方法や訓練方法の詳細も公開する。巨大テック企業の取り組みとしては異例のことだ。 「自社の研究を他者が精査できることは、研究にとって重要なことだと強く思っています。他の研
Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
DeepMindのAlphaFold2、タンパク質立体構造予測コンペ(CASP14)でブッチギリ１位
Preetham Venkatesh @PreethamVi This is historic. The #CASP14 results are out, and #AlphaFold2 by @DeepMind has outperformed everyone by quite a margin. The results could well mean that the protein folding problem has largely been solved, which would be one of the biggest scientific advances in recent times. pic.twitter.com/cVusrzhtxQ 2020-11-30 17:47:22 Masakazu Sekijima @m_sekijima @rincha1204 今ま
「生成Deep Learning」は久しぶりにワクワクするAI関係の本だった - karaage. [からあげ]
「生成Deep Learning」を読みました 生成に特化したAIの本「生成Deep Learning」を読みました。 生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする 作者:David Foster発売日: 2020/10/05メディア: 単行本（ソフトカバー） 独創力とは、思慮深い模倣以外の何ものでもない とは18世紀フランスの哲学者ヴォルテールの言葉とのことですが、AIによる模倣と創造の境界に関して考えさせられるような本でした。 本の内容は、オートエンコーダからはじまりGANでの画像生成、文章生成、音楽生成。アテンション、強化学習の世界モデルまでとタイトル通り生成系のAI技術を幅広くカバーしています。 結構骨太で、AIの本は1冊目という人が読む本ではなくて、何冊かAI関係の書籍を読んで、ある程度自分で実践して、生成系のAI（Auto Encoderと
![「生成Deep Learning」は久しぶりにワクワクするAI関係の本だった - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e716f3414d0fb9918c8f114d6308be989b9ecd8/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20201030%2F20201030014348.jpg)
gpt2-japaneseの使い方 (1) - mediumモデルによる日本語テキスト生成｜npaka
「gpt2-japanese」の「mediumモデル」が公開されたので、AIによる日本語テキスト生成を試してみました。 1. gpt2-japaneseのインストール (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip install -r requirements.txt2. モデルのダウンロード「mediumモデル」を「gpt2-japanese」フォルダにダウンロードします。 # mediumモデルのダウンロード !wge
バーニーおじさんのルール（Uncle Bernie's rule）とは？
連載目次 用語解説 機械学習におけるバーニーおじさんのルール（Uncle Bernie's rule）とは、ニューラルネットワークの重みパラメーターの数に対して、最低限その10倍以上の訓練データ量が必要となる、とする経験則のことである。訓練データの数量の目安とされるが、定理ではなく、あくまで経験則である。その出典（後述）も古く（＝最近のディープラーニングに適用できるかどうかは不明で）、数学的に証明されているわけでもないので注意が必要だ。 孫引用になってしまうが1990年（NIPS 1989）の論文の一節を引用すると、 Rules of thumb suggesting the number of samples required for specific distributions could be useful for practical problems. Widrow has sug
月ノ美兎さんの音声合成ツール(Text To Speech) を作ってみた - Qiita
何をした？ Youtube上に公開されている動画の音声から、ディープラーニング技術を用いた音声合成ツールを構築しました。 今回対象にしたのは、バーチャルユーチューバー・にじさんじの委員長こと 月ノ美兎 さん（Youtubeチャンネル） です。 ※選出理由は、単純に私がYoutube上で一番推している方だからです。 成果 動画から抽出した音声と、音声を文章に起こしたテキストの組み合わせのデータセット約50分ぶんを教師データとして学習した結果 ※学習に必要なデータ量は最低でも1時間程度と言われているので、まだまだ足りていません… 月ノ美兎さんの音声合成ツールを作ってみた https://t.co/YVdWW9vREb via @YouTube — K2 (@K2ML2) May 29, 2020 発話内容が不明瞭な箇所がありますが、一応ご本人の声に近い音声を作成することができているかと思います
「AIきりたん」がすごい - すずしめにっき
ゆうべ、そろそろ寝ようかなと思っていたらものすごいものが投下され、興奮して結局3時半まで起きてしまいました。 ということで、昨晩公開された「AIきりたん」こと歌声合成エンジンNEUTRINO1について（今の興奮をあとで思い返すためにも）書いておきます。 AIきりたんとは とりあえずこれを聴いてみてください。 これが合成音声か！？と思ってしまうような仕上がりですが、これがAIきりたん……歌声合成エンジンNEUTRINOによって生成されたきりたんの歌声です。 NEUTRINOはSHACHIさん(@SHACHI_KRTN)によって製作されたフリーウェアで、昨晩公開されました。その標準の同梱ライブラリの1つが東北きりたんのものなので、そちらのことが「AIきりたん」または「AIシンガーきりたん」と呼ばれているというわけです。 ニューラルネットワークを用いた歌声シンセサイザー【NEUTRINO】を公開
オープンソースの機械学習向けハイパーパラメータ自動最適化フレームワーク Optunaを正式公開 - 株式会社Preferred Networks
株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、オープンソースソフトウェア（OSS）の機械学習向けハイパーパラメータ自動最適化フレームワークOptuna™（オプチュナ）の初のメジャーバージョンとなるv1.0を公開しました。Optuna β版のコードをほとんど変更することなく、そのまま動作させることが可能です。 機械学習、深層学習において高精度の訓練済みモデルを獲得するために、訓練時のアルゴリズムの挙動を制御する複雑なハイパーパラメータ*1 の最適化は不可欠です。 Optunaは、ハイパーパラメータを最適化するための試行錯誤を自動化し、優れた性能を発揮するハイパーパラメータの値を自動的に発見します。2018年12月にβ版をOSS公開して以来、多くのコントリビュータに開発協力をいただきながら、OSSコミュ
競馬予測AI「Mamba」の思考に迫る - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
Dwango Media Villageの孝橋です。 昨年DMVでは競馬予測AI「Mamba」を開発し、2回の競馬予測AIプロジェクトを実施しました。 1つ目は2018年3月から6月まで、ニコニコ生放送で「人工知能募金」という公式番組を放送し実際に馬券を購入しました。 ユーザーから動物愛護団体への募金を集め、それと同額をドワンゴが用意して競馬で運用し、その利益も募金するという内容でした。 本運用の3ヶ月間で回収率135%、テスト期間を含めた4ヶ月間でも回収率100%を超える好成績を納めました。競馬予測AIプロジェクト「人工知能募金 -あなたの募金を増やします-」結果発表 競馬予測AI「Mamba」の本運用期間の回収率は135.13% 寄付総額は倍増の107万4090円 2つ目は2018年10月から12月まで「Mamba 2nd Season」という、ユーザーの買い目をMambaが評価するW
AI技術により超高精度な歌声合成を実現
株式会社テクノスピーチ（所在地：名古屋市千種区、代表取締役：大浦 圭一郎、以下 テクノスピーチ）と国立大学法人名古屋工業大学 国際音声言語技術研究所（所在地：名古屋市昭和区、代表：徳田 恵一、以下 名古屋工業大学）は、このたび人間の声質・癖・歌い方をこれまでになく高精度に再現できる歌声合成技術を開発いたしました。 テクノスピーチと名古屋工業大学は共同で音声合成・歌声合成技術の研究・開発に取り組んでおり、これまでに業務用カラオケ機器「JOYSOUND」や音声創作ソフトウェア「CeVIO Creative Studio」等に音声合成・歌声合成技術の導入を進めてきました。本研究では、特定の歌唱者の約２時間の歌声データベースに対して、深層学習等のAI技術を適用することにより、歌唱者の声質・癖・歌い方を学習しました。合成の際は、任意の歌詞付き楽譜を入力するだけで高品質な歌声を合成することができま
MITら、ロボットに家事などの日常的なタスクを学習させる3Dシミュレータ「VirtualHome」発表
MITら、ロボットに家事などの日常的なタスクを学習させる3Dシミュレータ「VirtualHome」発表 2018-06-02 MIT（マサチューセッツ工科大学）、トロント大学、マギル大学、リュブリャナ大学の研究者らは、ロボットに家事などの日常的なタスク含め多様なタスクを学習させるための訓練用3Dシミュレータ「VirtualHome」を発表しました。 論文：VirtualHome: Simulating Household Activities via Programs 著者：Xavier Puig, Kevin Ra, Marko Boben, Jiaman Li, Tingwu Wang,Sanja Fidler, Antonio Torralba 本稿は、エージェントに特定のタスクに到達するための必要な一連のアクションを学習させるシステムを提案します。 ロボットは、人間と違って1を言え
ディープラーニングの力で結月ゆかりの声になってみた
目次 （背景）自分の声を結月ゆかりにしたい。前回はあまりクオリティが良くなかったので、手法を変えて質を上げたい。 （手法）声質変換を、低音質変換と高音質化の二段階に分けてそれぞれ学習させた。画像分野で有名なモデルを使った。 （結果）性能が飛躍的に向上し、かなり聞き取れるものになった。 （考察）精度はまだ改善の余地があり、多対多声質変換にすることで精度が向上すると考えられる。今回の結果を論文化したい。 デモ動画 背景多くの人が可愛い女の子になりたいと思っている。 ＣＧ技術やモーションキャプチャ技術の向上により、姿は女の子に仮想化できるようになってきた。 しかし、声に関してはまだまだ課題が多い。 声質変換は「遅延」「音質」「複数話者」などの難しい課題がある。 今回は、自分の声を結月ゆかりにするための、低遅延で実現可能な高音質声質変換を目指した。 手法大きく分けて３つの工夫をした。 画像ディープ
頭の中にあるイメージを脳の活動データから機械学習を用いて画像化することに成功
頭にコードを挿して脳から記憶やイメージをデータとして出力するというシーンをSF小説や映画で見ることがありますが、fMRI(機能的核磁気共鳴)によって視覚化した人間の脳の活動を機械学習で分析することで、脳内にあるイメージを実際に視覚化できるかもしれないと、京都大学の研究者とATR(株式会社国際電気通信基礎技術研究所)の研究者によって提案されています。以下の論文の中では、実際に頭に思い浮かべたイメージを機械学習を用いて画像に出力することに成功したと報告されています。 Deep image reconstruction from human brain activity | bioRxiv https://www.biorxiv.org/content/early/2017/12/30/240317 人間の視覚情報は、大脳後頭葉にある「視覚野」という部位で階層的に処理されるということが分かってい
さくらインターネットの機械学習ナイトで発表してきました | やねうら王 公式サイト
私のほう、発表資料の準備があまり出来てなくて、そして、こういう発表に不慣れで聞きづらかったと思う。聞きに来てくれた人たちには申し訳ない。 私としては、もっと経験を積みたいので、今後もこういう機会を大切にしていきたい。今回、会場を提供してくださった、さくらインターネット様、そして、発表の機会を与えてくれた有山さんに感謝いたします。 あと、おまけとして、以下に発表内容の一部を文章として丁寧に書き残しておく。(注 : 発表予定になかったことをその場の思いつきで延々と話したので、当日はこんなにうまくしゃべれてませんでした。) >>> 書き起こしここから やね「DeepMindがAlphaZeroと囲碁と将棋、チェスの3つのソフトを作ったよ、という論文を発表しました。3日前のことです。ご存知の方、挙手願いします。」 (場内の7割ぐらいの人が挙手) やね「DeepMindはAlphaGoという囲碁ソフ
機械学習案件を納品するのは、そんなに簡単な話じゃないから気をつけて - Qiita
はじめに 昨日のTwitterで書いたこちらが非常に反響を呼びました。 半年間かけたデータ解析の仕事が全くうまくいかなかった 今回の失敗は契約書に納品物を明記していなかったこと 機械学習の依頼は学習済みモデルのファイルを納品しただけでは、先方は検収できず、結果支払いを受けられない この教訓をひとりでも多くの人に知ってもらいたい — キカガク代表 吉崎亮介 (@yoshizaki_kkgk) 2017年11月20日 そうなんですよね。 全く先方が悪いわけでもなく、私自身が「機械学習のお仕事＝解析」だと思いこんでいたことが失敗の始まり。 結局のところ、機械学習系のプロダクトを依頼されて、学習済みモデルを作成して即納品とはいかず、検証結果を示されないと検収できないよとなってしまうので、結局アプリケーション側まで組み込まないと納得感はないんですよね。 この検証とは、訓練データと検証データを分けた時
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1枚の写真から人物の居場所を探す。超絶難易度の高いゲーム「さとしを探せ！」が14年の月日を経てついにクリア : カラパイア
GitHub - Hiroshiba/become-yukarin: Convert your voice to favorite voice
Microsoft、文章から本物のような画像を生成する人工知能を開発 ～人の「注意する」概念をモデル化し「常識」も学ぶ
