LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;
LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co
人間が深層学習のAIを理解できないのには、理由がある：朝日新聞GLOBE＋
【特集】「『予測』という名の欲望」全記事はこちらから読めます ■人間にはAIの考えが分からない？ ――ディープラーニングは、大量の「教師データ」を読み込み、入力する変数と、出力する変数との間の関係を見つけ出します。その関係が分かれば、新たなデータを入力したとき、出力が予測できるというわけですが、なぜ人間はそのプロセスを理解できないのでしょうか？ おもにふたつの要因があります。質的なものと、量的なものです。量的な問題は、すごくシンプルです。ディープラーニングの内部で動くパラメータ（母数：システムの内部で動く情報）が多すぎるので、その大量・複雑なデータを人間の直感につなげることが難しい、という話です。最近は、多いものでは1億個を超えるパラメータから出力を予測します。じゃあ、その1億個をざっと人間が見てなにか分かるのかといえば、分からない。これが基本的に起こることです。 ――大量の変数という意味
ネコを愛するあまり顔認識技術搭載のネコ専用監視装置を作った猛者が登場
by Vik Approved 機械学習を使った顔認証技術は精度の向上に伴ってiPhoneのFace IDに使われたり、中国では警察の捜査に使われたりしています。そんな中、オランダの男性が「猫の顔認証デバイスを作成した」と話題になっています。 This Guy Made a Facial Recognition Device for His Cat - Motherboard https://motherboard.vice.com/en_us/article/a34q3e/facial-recognition-diy-pets-cats-dogs Engineer builds cat facial recognition device to notify them of their cat - Business Insider http://www.businessinsider.co
AIで2chに悪口書いてる人を特定してみた。 - ちょいちょいブログ
個人アプリ開発者という職業柄？ 2chに悪口を書かれることがたまにあるので 書き込みをした人をAIで特定してみようと思います。 まず、ツイッターの内容がリアルタイムに書き込まれているので 犯人はフォロワーであることは間違いないと思います。 夢を奪ってごめんよ… pic.twitter.com/vhbAHhPobE — ちょいちょい🎢 (@ChoiChoiAdv) 2017年8月18日 フォロワーを全員判断させるのはめんどそうなので まずは下記を参考に容疑者を洗い出します。 detail.chiebukuro.yahoo.co.jp そういえば、ツイートにこんなリプが これで容疑者は２人に絞られました。 以降、犯人のプライバシーに配慮してS氏、P氏と呼ばせて頂きます。 やりたいことはこんな感じです。↓ 1. お二人のツイート内容をChainerに食わせて、いい感じに文章の癖とかをAIが学習
Deep Learningで「いらすとや風人間画像生成モデル」を作った話（DCGAN、Wasserstein GAN） - ぬいぐるみライフ？
フリー素材サイト「いらすとや」に出てくる人間風の画像を自動生成するモデルをDeep Learningで作りました。実装にはGoogle製のライブラリ「TensorFlow」と機械学習アルゴリズムの「DCGAN」「Wasserstein GAN」を用いています。 以下は生成された人間画像のうちそれなりにきれいなものの一例です。頬のところが赤くなっていて何となく本家いらすとやの特徴を捉えられていると思います。 「いらすとや」とは？ 実装した手法の概要 DCGAN、Wasserstein GANについて Generator Discriminator GeneratorとDiscriminatorの学習 学習や実装の詳細 Generator、Discriminatorのネットワーク構成やパラメーター 訓練データ その他 学習経過 モデルを検証する 入力にバイアスを掛けていい画像を出やすくする ま
ドメインにより意味が変化する単語の抽出 - にほんごのれんしゅう
ドメインにより意味が変化する単語の抽出 立命館の学生さんが発表して、炎上した論文を、わたしもJSAI2017に参加していた関係で、公開が停止する前に入手することができました 論文中では、幾つかのPixivに公開されているBL小説に対して定性的な分類をして、終わりという、機械学習が入っていないような論文でしたので、わたしなりに機械学習を使ってできることを示したいという思いがあります。（そんなに大変な問題でないように見えて、かつ、問題設定も優れていたのに、なぜ…） 炎上に対して思うところ(主観です) PixivのBLのコンテンツを参照し、論文にハンドル名を含めて記述してしまっており、作家の方に精神的な不可をかけてしまうという事件がありました。 非常にRTされている代表的なツイートは、以下のようになっています。 （該当ツイートは盗用との指摘を受けたので消しました、検索すれば出るものなで、大乗だと
Ruby でニューラルネットワーク - Qiita
MNIST のデータを使って Ruby で手書き数字を認識する ゼロから作るDeep Learning ――Pythonで学ぶディープラーニングの理論と実装 は deep learning の入門書として、素晴らしい本です。 Python で書かれた多数の例題を通じて、具体的に deep learning の仕組みについて学んでいくことができます。 ただ、私はふだん、Ruby でプログラムを書くことが多いので、Ruby でニューラルネットワークを実装してみたら、どうなるか興味がありました。 「3章 ニューラルネットワーク」のある例題を Ruby に書き直してみました。 使い方は、Github レポジトリの README.md を参照してください。 NMatrix という行列のライブラリを使っているだけで、他には特別なニューラルネットワーク用のライブラリは使用していません。そのため、ソースコ
スーパーファミコンのソフトをTensorFlowで学習させてみる！ - Qiita
学習方法 ゲームキャプチャ + アクションで報酬(game score)を与えそれを学習させる。 game scoreの取得については、ROMのバイナリ情報を解析する必要があります。 この辺はあまり詳しくありませんが海外にROMの情報が出ているとのことです。 ニューラルネットワークアーキテクチャ 学習関数は定番のReLU。教科学習のアルゴリズムは勾配降下法(Adam)でやってます。 ReLU 勾配降下法 ニューラルネットワークの外観 手順 ⅰ.エミュレータの準備 エミュレータの動作に関しては処理が複雑なのでgitにあげておきます。 https://github.com/tsunaki00/siva_game ※ 他のマシンで試してないので動くかわかりません。 エミュに興味あるかたは海外のgitなどをぐぐってみてください！ ⅱ.ROMの抜き出し 上記にも記載しましたが、ROMの抜き出し方法は
ディープラーニングの有名ライブラリ5種を最短距離で試す半日コース（TensorFlow, Chainer, Caffe, DeepDream, 画風変換） - その後のその後
「いつか勉強しよう」と人工知能／機械学習／ディープラーニング（Deep Learning）といったトピックの記事の見つけてはアーカイブしてきたものの、結局2015年は何一つやらずに終わってしまったので、とにかく一歩でも足を踏み出すべく、本質的な理解等はさておき、とにかく試してみるということをやってみました。 試したのは、TensorFlow、Chainer、Caffe といった機械学習およびディープラーニングの代表的なライブラリ／フレームワーク3種と、2015年に話題になったディープラーニングを利用したアプリケーション2種（DeepDream、chainer-gogh）。 （DeepDreamで試した結果画像） タイトルに半日と書きましたが、たとえばTensorFlowは環境構築だけなら10分もあれば終わるでしょうし、Chainerなんてコマンド一発なので5秒くらいです。Caffeは僕はハ
Googleの猫認識 (Deep Learning) - 大人になってからの再学習
今から約1年前（2012年6月下旬ごろ）、ネット上で下の画像とともに 「Googleの研究開発によってコンピュータが猫を認識できるようになった」 というニュースが飛び回り、あちこちで話題になった。 例えば、次のようなサイトで大きく取り上げられた。 ・Google、大規模人工ニューロンネットワークを用いた研究成果を紹介|日経BP社 ITニュースPRO ・猫を認識できるGoogleの巨大頭脳 | WIRED.kp ・Google、脳のシミュレーションで成果……猫を認識 | RBB TODAY これらのサイトの記事では、だいたい次のように紹介されている。 今回の研究成果では、コンピューターは猫がどういうものであるか人間に教えられること無く、自力で理解した。 http://www.rbbtoday.com/article/2012/06/27/90985.html 1週間にわたりYouTubeビデ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
長文日記