1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
魔術として理解するお絵描きAI講座｜深津 貴之 (fladdict)
やればやるほど呪術化する、AI画像錬成について。 以下は、その道の専門家にはメッチャ怒られるかもしれない、雑なロジックと制御講座。 いちおうメジャーなサービスでは、共通して動作するノウハウ（DALL-E2, MidJourney, StableEiffusion, DiscoDiffusion, crayon, dall-e mini 他）。 雑に理解する画像AIのしくみ対話型のAIにとって、呪文プロンプトとは画像錬成の方向性ベクトルを定めるものにすぎない。 たとえば、以下は「I love apple」で錬成された画像の例である。どうにも、ふわっとしたものが出てくる I Love Apple「Apple」という方向性ベクトルは、「リンゴ」「青リンゴ」と「アップルコンピューター（旧レインボーロゴ」「アップルコンピュータ（新ロゴ）」など、複数の可能性を同時に持つからだ。 つまり、「Apple」
画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita
0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
ゴリゴリの文系がＡＩをほぼ独学した半年 - Qiita
ゴリゴリの文系（偏差値４０前半）がAIを学んだ半年 どうも、ゴリゴリの文系です。 商業高校卒業したあと、文系学部にいったので、そこらへんの文系とは格が違います。 文系界のサラブレットです。 肝心な数学力ですが、高校で数学Aまで勉強して、大学で数学入門とっただけです。 つまり、戦闘力0.1ぐらいです。 これから勉強する人に向けてポエムをつらつらと書いていきます。 やってきたこと 実装から始めたい人はある程度参考になるかと。 理論から始めたい人は微積、線形代数、確率統計の基礎を習得してからcouseraに行くのが良いのではないでしょうか。（個人の感想です。） 独学はモチベドリブンでやんないとしんどいので自分でカスタマイズしていってください。 0ヶ月目 会社の研修でプログラミングの基礎を習得。 ここでJavaを勉強してそこそこ組めるようになりました。 研修が終わってから2日くらいかけて、pyth
ディープラーニングさえあれば、競馬で回収率100%を超えられる - Qiita
pohotos by Ronnie Macdonald 「AIが人間の仕事を奪う」と言われ始めてしばらく経ちますが、今や「幻滅期に入った」なんて言われ方もしています。おかげで僕は仕事を奪われることもなく、毎日満員電車に揺られています。奪う奪う詐欺もいいとこです。 そんなAIの発展にはもう少し時間がかかりそうな一方で、学べる環境は簡単に手に入るようになりました。触るなら、皆が幻滅しかかっている今な気もします。ということで、今更ですがAIの力を知るべく、ディープラーニングに触れてみることにしました。 いろいろ試したのですが、ここでは結果をメインに「無知の状態から勉強しても、ディープラーニングでこれぐらいは楽しめるよ」ということを伝えてみます。プログラムはお手本になるようなものではないので、見たい人だけに有料で公開してみます。 Kaggleでディープラーニングのお手並み拝見 最初にディープラーニ
翻訳：AIの冬は確実に近付いている (Filip Piekniewski) - Qiita
この記事は、Filip Piekniewski氏のブログ記事 "AI Winter Is Well On Its Way" の翻訳です。 追記：Filip Piekniewski氏による本記事への補足も合わせてご覧ください。 翻訳：AIの冬はますます近付いている (Filip Piekniewski) AI Winter Is Well On Its Way ここ数年、ディープラーニングはいわゆるAI革命の最前線に位置付けられてきた。そして、多くの人が信じてきたところによると、ディープラーニングは我々をシンギュラリティ (汎用人工知能) という驚異の世界へと導いてくれる銀の弾丸なのだという。2014年、2015年そして2016年には多くの投資が行なわれ、AlphaGo のように新しい境界線が押し広げられていった。テスラといった企業は、CEOの口を通して完全な自動運転車はすぐ近くに迫っている
結構バズったので、AIによる自動着色の現状とその使い方についてまとめた～～人工知能技術の衝撃～～ - Togetter
自動着色ソフト（style2paints V4）が誰でも無料で使えるようになった。このソフトが生み出した様々な作品と、それを見た人々の反応をまとめました
【保存版】Pythonでデータサイエンスするための全体像と、必要な学習項目を初心者向けにまとめてみたよ！｜Dai
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]
ディープラーニングおじさん 私の会社には「ディープラーニングおじさん」がいます。「います」といっても私が勝手に一人で心の中でそう呼んでいるだけですが…ともかく、今日はその「ディープラーニングおじさん」が、機械学習経験ゼロから、最終的に会社を動かすまでの華麗なる軌跡を紹介したいと思います。 なお、会社に関する情報は、私の都合である程度、虚実入り混じった情報になることご了承ください。今回の話で伝えたいことに関しては、影響は無い範囲とは思っています。 ディープラーニングおじさんの華麗なる軌跡 自分のツイートを「ディープラーニングおじさん」で検索したら、最初に引っかかったのが2016年10月ころでした。もう1年半くらい前ですね。 自分も個人で少しだけディープラーニング試したりしてるので、ディープラーニングおじさんに少しだけ自分の知ってる情報を提供してみたけど、おじさん何も聞かずに特攻しててワロタw
![私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/71762e78be72331ac96492b2337551ed398703d4/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20180426%2F20180426235611.jpg)
東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]
新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開 以下のようなサイトが無料公開されていました。 学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。 そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。 そ
![東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/78e7c0ea2c263bc676ec2c74bae93e76d7853fd9/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20180127%2F20180127134253.png)
Deep Image Prior
Example results on several image restoration problems. We use deep neural networks, but we never train/pretrain them using datasets. We use them as a structured image prior. Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example ima
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
東大のディープラーニング公開講座がヤバくていろいろ考えさせられた件｜加藤貞顕
１カ月ほど前から、東京大学の松尾研のディープラーニング公開講座に行っている。 ネットで募集していたのであわてて申し込んだら、とんでもない数の人が集まっていて熱気がすごい。学部生、院生、社会人、あわせて300人以上が同時に授業を受けている。 初回こそ、人工知能概論のような話だったけれど、2回目以降はものすごい速度で授業が進む。そして宿題の量と質もすごい。2回と3回目の授業だけで、普通の学校の半年分くらいの内容になっている気がする。東大、ほんとにやべーよ。 毎回、授業の冒頭は「ふんふん、そうか」とはじまるのだけれど、終わり間近に大量のサンプルコードを見せられて、それをすごい勢いで説明され、最後にゴツイ宿題が出る。授業終了後は、ポカーンってなる（授業中にぜんぶ理解しているひと、どれくらいいるんだろう）。 友人の物書堂の社長の広瀬くん（iPhone辞書アプリ開発の大御所！）も、たまたまいっしょに講
人工知能本読みすぎて飽きたけどその中でも記憶に残っている本を紹介する - 基本読書
この数年人工知能バブルかってぐらい人工知能関連本が出まくっていて、最初の頃は律儀に一冊一冊読んでいたもんだが、だんだん飽きてきた(そりゃ読みまくってるんだからそうだ)。やれ人工知能に仕事が奪われるだとか奪われない仕事はなんだとかの話は定番だが、定番すぎてそうそう新しい解釈が出てくるわけではない。消える仕事は消えるし、残る仕事の分野もだいたい明らかになってきている。 とはいえそれでも読んでいると「おお、これは視点が良いな」と思えるものもあり、そういうのは読んでいて楽しい。その書き手はやっぱり基本的には専門的な知識を持っている人たちだ。認知ロボット工学者であったり、AI研究所に勤めていたり、機械学習の専門家だったりする。最後のはまた特殊事例といえるが、本稿ではそうした人工知能本飽きた僕の中で記憶に残っている本をいくつか紹介してみようと思う。 まずは基本的なところを教えてくれる一冊 シンギュラリ
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/kanae_udemy/status/1560872379240579072
「ゼロから作るディープラーニング」を動画でまとめている人がいたので紹介します。｜Dai
Deep Learning
TechCrunch | Startup and Technology News
