学習データに最適化されすぎて本来の目的が達成できなくなる「過学習」と同様の現象はAIだけでなく社会全体で起こっているという主張
機械学習における過学習(過剰適合／オーバーフィッティング)とは、AIが学習データのみに最適化されてしまい、未知のデータに対する予測能力が低くなってしまうという現象です。そんな過学習と同様の現象が機械学習分野だけでなく社会全体のさまざまな場面でも発生していると、Google傘下の人工知能研究所・Google Brainの研究者であり近年の画像生成AIに広く用いられている「拡散モデル」の論文執筆者でもあるJascha Sohl-Dickstein氏が主張しています。 Too much efficiency makes everything worse: overfitting and the strong version of Goodhart’s law | Jascha’s blog https://sohl-dickstein.github.io/2022/11/06/strong-Go
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
「スマート」ガラスを用いた画像認識技術――電源も電子回路も不要 - fabcross for エンジニア
「スマート」ガラスを通過する光線が、後方面（右端）で光エネルギー集中スポット・パターンを生成し、ディープラーニングにより手書き数字の識別が可能になる。 IMAGE COURTESY ZONGFU YU ウィスコンシン大学の研究チームが、電源や電子回路、センサーなどを必要としない「スマート」なガラスを用いた画像認識技術を考案した。サブ波長サイズの気泡や異相が多数配置されたガラス材料において、画像から発射された光が反射や回折、吸収を繰り返した後、ガラス後方面で一定の光エネルギー集中スポットを生じることを利用し、ディープラーニングを通じて画像認識を実現するというもので、研究成果は、2019年7月8日発行の『Photonics Research』誌8月号に掲載されている。 顔認識をはじめとして、人工知能ニューラルネットワークによる画像認識は、様々な分野で開発されている。画像認識におけるひとつの問題
NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える - 渋谷駅前で働くデータサイエンティストのブログ
(Fig. 1 from Rumelhart, Hinton & Williams, Nature, 1986) これはちょっとした小ネタです。僕自身はニューラルネットワーク (Neural Network, NN)の学術的専門家でもなければ況してやNNの研究史家でもないので、たかだか僕自身がかつて脳の研究者だった頃に把握していた事由に基づいて、極めていい加減な私見を書いているに過ぎないことを予めお断りしておきます。よって、この辺の事情に詳しい方いらっしゃいましたら、後学のためにも是非ご遠慮なくツッコミを入れて下さると有難いですm(_ _)m 先日のことですが、@tmaeharaさんがこんなことを呟いておられました。 オリジナル論文 https://t.co/kXfu8jIat3 これです．本当にただチェインルールで微分して勾配法しているだけにしか見えない……．— ™ (@tmaehara
Googleの事前学習済みモデルを手軽に利用出来るTensorFlow Hub - Technical Hedgehog
自然言語処理におけるword2vecや画像処理におけるInceptionなど、一般的に広く用いられているモデルを上流で用いる事は多くあります。汎用的な知識を扱えるメリットがある一方、学習には大量のデータセットの準備と膨大な学習時間がかかってしまいます。 この問題に対して、あらかじめ学習させた状態のモデル(事前学習済みモデル)を用意しておき上流に転移させる方法があります。本記事ではその事前学習済みモデルについて、Googleが提供するのライブラリであるTensorFlow Hubを紹介します。 TensorFlow HubはGoogleの大量リソースを用いて学習したモデルを手軽に実装できるほか、自作したモデルを別環境で利用しやすいように自作することも可能です。本記事では概要と特徴、利用方法を紹介します。 今回説明するTensorFlow Hubの利用方法、作成方法について実験したコードはGi
IBM、100万個の「演算するメモリ群」で作られた非ノイマン型マシンで機械学習のデモを発表。従来のコンピュータより200倍高速で高効率と － Publickey
IBMは相変化メモリを用いてメモリ群が演算能力を持つ非ノイマン型コンピュータのデモに成功したと発表した。これは「Computational Memory」、演算するメモリによる新しいコンピュータの姿を切り開くものだ。 現在のコンピュータのほとんどは「ノイマン型」と呼ばれるアーキテクチャで実現されています。 ノイマン型アーキテクチャは、メモリにデータを記憶し、そのデータを処理する際にはデータをプロセッサに移動して処理をし、結果をまたメモリに移動して保存する、という仕組みになっています。 データはつねにメモリとプロセッサのあいだをつなぐ「バス」を通じて行き来しなければならないため、大量のデータを高速に処理しようとしてもこのバスの部分の帯域や速度がボトルネックになり、一定以上の性能向上が難しくなります。 ノイマン型のコンピュータはこのバスによるボトルネック、いわゆる「フォン・ノイマン・ボトルネッ
「日本は機械学習パラダイス」 その理由は著作権法にあり
「日本は機械学習パラダイスだ」。こう提言したのは、早稲田大学法学部教授の上野達弘さんだ。 なぜなのか。その理由は、日本の著作権法にある。 日本の著作権法では、「情報解析を行うために著作物を複製すること」が、営利・非営利問わず認められているのだ。世界にもまれな規定だという。 著作権・AIに詳しい弁護士・柿沼太一さんが10月2日に都内で開いた「AIビジネス法務・知財セミナー」の内容から、機械学習と日本の著作権法の関係についてまとめる。 キモは「著作権法47条の7」 機械学習とは、大量のデータをプログラムに解析・学習させることで、プログラムが自らデータの特徴を見つけ出し、分類・整理できるようにする手法。例えば、大量の猫の写真を学習させ、猫の特徴を学んだモデルに、新たな動物の写真を入力すると、猫か猫ではないかを判別する――といったイメージだ。 機械学習を行うためには、大量のデータをAIプログラムに
Deep Learningの理論的論文リスト - Obey Your MATHEMATICS.
§1はじめに Deep Learningってどのくらい理論的に解明されているのか？ってやっぱり気になりますよね。 それに関して、次のQuoraのスレッドに非常に有益なコメントがあります。 When will we see a theoretical background and mathematical foundation for deep learning? - Quora How far along are we in the understanding of why deep learning works? - Quora 深層学習界の大御所であるYoshua Bengio、Yann LeCunの二人が 実際ディープラーニングの理論的理解ってどうなのよ？？ って質問に直々にコメントしています。 LeCunのコメントの冒頭を少し引用しますと; That’s a very active
Azure Machine LearningとIoTを駆使して室温予測システムを構築してみた - がりらぼ
はじめに 今回は自宅の室温予測システムを構築してみました。 前回はいろいろテキトーに書いてたので今回はかなりまじめに書いていきます。 イメージとしてはNHKのNextWorldで描かれてる世界 それをできるだけAzureを駆使して構築してみたいと思います。 システム構成図 システムの構成図はこんな感じ Arduinoで室温を計測 ↓ Azure Mobile Servicesに送信 ↓ SQL Azureデータベースに貯めこむ ↓ そのデータを使ってAzure MLであらかじめデータの傾向を学習しておく ↓ Mobile Service Schedulerで毎朝8時にAzure MLからその日の室温の予測値を取得してTweet ↓ Mobile Service Custom APIを使ってWindowsストアアプリに今日の室温予測値を表示 という感じでいきたいと思います。 データ計測部 I
時系列分析Ｉ ――ARMAモデルと時系列分析
連載バックナンバー はじめに 今回は時系列分析について紹介します。ビジネスで生成されるデータの多くが“時間“の項目を含む時系列データで、1週間の傾向や季節変動などを分析する際など、さまざまな場面で時系列の分析が必要となります。 時系列分析（Time Series Analysis）とは？ 時系列分析（Time Series Analysis）は、株価や為替レートなど金融関連の時間とともに変化するデータを分析し予測するために発達してきました。「時系列計量経済学（Time Series Econometrics）」などの学問の中で論じられているデータ分析の中では、比較的歴史のあるテーマです。それだけに、定式化するためのさまざまなモデルが提案されていて、1つの変量を分析するためのモデルだけでも、表1のように多くのモデルがあります。 略称 説明 AR
社会人が統計学や機械学習を学ぶなら「落下傘方式」で - 渋谷駅前で働くデータサイエンティストのブログ
今日何気なく呟いたツイートが、見ていたら結構RT&favされていた模様で。 社会人が統計学とか機械学習を独習するには、いわゆる「落下傘方式」が良いと思う。必要な時にその項目だけ学んで実践する。その繰り返しで学問体系のマス目が埋まっていけば良し。あと、初めに体系立ったテキストを分からなくても良いので通読するのも良し。だいたいの地図が頭に入る。— TJO (@TJO_datasci) 2014, 3月 31 この後も色々補足で呟いたんですが、せっかくなので簡単にまとめたものを書いてみました。これから社会人で統計学や機械学習を学ぼうと考えている人の参考になれば嬉しいです。 あ、これはベタな言い方をすれば「データサイエンティスト（死語）になるにはどうしたら良いか」にもつながる話なんですが、ここではもっと広く「統計学や機械学習を使う仕事をしたいと思ったらどう独習するべきか」という話にしておこうと思い
2013年秋版：データサイエンティストを目指すなら揃えておくべき10冊 - 渋谷駅前で働くデータサイエンティストのブログ
5ヶ月前に書いた記事がだいぶ陳腐化してきた*1気がするので、それ以降出版された書籍や、他にも学術的知識を得るだけでなく「データサイエンティストとして働く上で必要なスキル」について書かれた書籍などを加えて、「2013年秋版」の10冊をチョイスしてみました。 これはあくまでも「データサイエンティストを目指す上で必要な素地が既にある程度備わっている人」向けのスタートアップとしての10冊です。実際にはこの10冊では知識が足りなくなる場面の方が多いので、その場合は適宜発展的な書籍に当たってどんどん独習していくことをお薦めします。逆に、本当にゼロからスタートする初学者の人にはこれでもかなり辛いかもなので、今回は見なかったことにしてください、ということで。。。 そうそう、相変わらずですが僕個人はアフィリエイトやってないので、こちらのリンクから書籍を購入されても儲かるのは僕ではなくはてなです（笑）。 （※
Hadoop + HiveからUDFでお手軽に機械学習を回せるライブラリ"hivemall"がリリースされたとのこと - 渋谷駅前で働くデータサイエンティストのブログ
TL上にものすごーく刺激的な情報が飛び込んできたので、思わずご紹介。 一部の方にはお伝えしておりますが、hive/hadoop上でスケーラブルに機械学習（今のとこクラス分類、回帰分析）を行うライブラリをオープンソース(LGPL)でリリースしました。mahout等より扱いやすい&スケーラブルなはず。 https://t.co/eBGmoW66V0— myui (@myui) 2013, 9月 30 ということで、ご本人のツイートにもあるようにGitHubに一式全て上がっています。ライセンスもLPGLなので自由に使えるという素晴らしさ。これ職場の分析マシンにもcloneしようかな（笑）。 myui/hivemall Wikiページを見ると、このライブラリの使い方が書いてあるんですが。。。何が凄いって、何とHiveクエリを書く要領で機械学習まわりの演算を全て実行できてしまう！というところ。ちょっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【poke2vec】ポケモンの役割ベクトルの 学習とその分析・可視化 / pyconjp-poke2vec
死にゆくアンチウイルスへの祈り
GitHub - kaonashi-tyc/zi2zi: Learning Chinese Character style with conditional GAN
Engadget | Technology News & Reviews
IBM Developer