OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
カオス理論で知られる複雑な状況を「機械学習」によって正確に予測する技術が開発されている
気象などの自然現象を完璧に予想することは不可能であることがカオス理論によって知られており、中でも「蝶が羽ばたいたというわずかな影響によって状態が大きく変わり得る」というバタフライ効果なども有名です。しかし、そのカオスと呼ばれる複雑な世界を「機械学習」で正確に予測する研究が進められ、際立った予測精度を実現しています。 Machine Learning’s ‘Amazing’ Ability to Predict Chaos | Quanta Magazine https://www.quantamagazine.org/machine-learnings-amazing-ability-to-predict-chaos-20180418/ メリーランド大学のエドワード・オット博士の研究チームは、カオスを機械学習で予測するシステムを研究開発しています。研究では「reservoir comput
マイクロソフト、Windows 10に機械学習の実行環境とAPIを備えた「Windows ML」搭載へ。Windowsを学習済みモデルの実行プラットフォームに
マイクロソフトは、Windows 10に機械学習専用のAPI「Windows ML」を搭載すると、3月7日に米国で開催したイベント「Windows Developer Day 2018 March」において明らかにしました。 Windows MLには大きく分けて2つの側面があります。1つは、あらかじめ学習済みのモデルをONNX形式として読み込んでWindows 10上で実行するという、Windowsマシン上での機械学習実行環境の提供です。クラウドに依存することなく、学習済みモデルをローカルで実行できます。 「ONNX形式」とは、マイクロソフト、Facebook、Amazon Web Servicesが協力して策定している学習済みモデルの共通フォーマット。またWindows MLが提供するツールを用いてCaffeやCNTKの学習済みモデルの読み込みもサポートするとのこと。 そして2つ目は、そ
「人工知能でいい感じの成果を出してくれ」という偉い人の脳内はどうなっているのか – ところてん – Medium
この記事は、前出の本に入れる予定だったコラムのうちの一つです。 正確にいうと、本に入れる予定だったけど、メイン側で締め切りをぶっちぎっていたら、コラムを追加できるような空気じゃなくなって、書くのをやめたものです。 本の宣伝を兼ねて、没にしたコラムに日の目を見させて、あわよくば第二版で入ればいいなー、という内容です。 データサイエンティストの頭の中「偉い人たちは頭がおかしい」と言っても、それは相対的なものであるため、比較対象であるデータサイエンティストの頭の中を覗いてみましょう。 データサイエンティストは組織におけるデータ活用状況について、レベル分けして考えます。そして、基本的に前のレベルが実現できなくては、次のレベルに進むことはできないと考えています。 以下のレベル分けは私が適当に思い描いているものですが、同業者なら大よそ一緒なんじゃないかと思います。 Lv0: データ収集、ログ設計Lv1
AIなどあらゆる技術を駆使し全自動でニュースまとめ＆作成＆配信する「Toutiao」急成長の秘密
機械学習を用いてコンテンツを生成・提供する中国発のニュースアグリゲーションアプリ「Toutiao」は、近年急激な成長を遂げています。そんなToutiaoがどうやって成長を遂げてきたのかについて、ベンチャーキャピタルのYコンビネータが分析を行っています。 The Hidden Forces Behind Toutiao: China’s Content King http://blog.ycombinator.com/the-hidden-forces-behind-toutiao-chinas-content-king/ 中国の大手IT企業であるByteDanceが開発するToutiaoは、ニュースフィードやYouTube、Techmemeなどをひとつにしたようなアプリで、中国では毎日1億2000万人以上の人々が使用している超人気アプリです。Toutiaoで興味深いのは、「ムービーやニュー
適当に描いた図形が「ネコ」へ自動変換される「edges2cats」
適当な落書きから写真のような画像に変換してくれる「pix2pix」というアルゴリズムとGoogleのオープンソースの機械学習ライブラリ「Tensorflow」をもとに開発された、一筆書きのようなラフな図形でも猫画像に自動変換してくれるツールが「edges2cats」です。簡単にかわいい猫画像が作れるようになったのかと思いきや、悪夢画像を生成するGoogleの人工知能「DeepDream」を使ったかのような猫画像が大量生産されています。 Image-to-Image Demo - Affine Layer http://affinelayer.com/pixsrv/index.html edges2catsで落書きを猫画像に変換するサンプルがコレ。2000枚の猫画像を使って機械学習させており、かなりの精度で猫画像が生成されるように見えます。 ……が、しかし、これは描き手の画力にかなり左右され
機械学習に挑んだ一年間 – 機械学習について一から学び、仕事に活用するまでの道のり | POSTD
この記事は、去年私が書いた「Machine Learning in a Week（機械学習に挑んだ一週間）」という記事の続編です。その記事では、私が5日間集中的に機械学習を学び、のめり込んでいった経緯について説明しています。 機械学習に挑んだ一週間 一般の人にとって機械学習の分野に足を踏み入れるのは、無謀なことに思えるでしょう。medium.com 私は順調なスタートを切った後も、時間を見つけて勉強を続け、およそ一年後には、仕事で機械学習を活用した初プロジェクトを立ち上げることができました。そのプロジェクトでは、さまざまなタイプの機械学習や自然言語処理（NLP）の技術を駆使して、 Xeneta の 潜在顧客の特定 を行っています。 趣味でやっていたことが仕事になって、とても嬉しかったです。 同時に、仕事として機械学習を利用するのは博士号を持つ限られた人だけだ、という思い込みも払拭されました
「アイドルの顔画像ジェネレーター」をGoogleの機械学習システム「TensorFlow」を応用して開発した人が現る
Googleはディープラーニング・機械学習用のシステム「TensorFlow」をオープンソースとして公開しており、これを応用してディープラーニングできゅうりを選別する「きゅうり仕分け機」を開発した農家も現れています。そんなTensorFlowと画像生成ニューラルネット「DCGAN」を組み合わせて、ゼロからアイドルの顔画像を生成するという試みも行われています。 TensorFlowによるDCGANでアイドルの顔画像生成 - すぎゃーんメモ http://memo.sugyan.com/entry/20160516/1463359395 TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など - すぎゃーんメモ http://memo.sugyan.com/entry/2016/10/12/084751 「TensorFlowによるDCGANでアイドルの顔画像生成」を行っ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Magic Generator
Google Colaboratory