1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
ホームブリューLLMの時代
ホームブリューLLMの時代 2023.12.13 Updated by Ryo Shimizu on December 13, 2023, 13:11 pm JST AIの自家醸造(ホームブリュー)が世界的に流行りつつある。 最も有名なのはCivitAIのような、さまざまなキャラクターや衣装、ポーズをフィーチャーしたものだろう。 civitaiのサイトに行けば、世界中の趣味人が作った「自家醸造の」AIモデルを眺めることができる。GPU搭載マシンがあれば、ダウンロードしてきて自宅で「自家醸造」することもできるし、Civitaiにお金を払えば誰かの自家醸造モデルを使って違う絵を描くこともできる。 こうした自家醸造モデルの多くは、LoRAという形式で配布されている。LoRAはより規模の大きなAI(この連載ではニューラルネットを単にAIと呼ぶ)を部分的に微調整するもので、ファイルサイズを小さく抑え
オープンソースの失われた10年と「オープンソースAI」の行方
オープンソースの失われた10年と「オープンソースAI」の行方 2023.12.13 Updated by yomoyomo on December 13, 2023, 07:34 am JST 今年も残り少なくなり、2023年を振り返る記事が出始めてますが、来年を占うというのも年末にありがちだったりします。今年最後は、自分もそういうのをやろうかぼんやり考えていたのですが、先月におけるOpenAIのサム・アルトマンの電撃的解任から数日後の復活という劇的な展開、そして2023年を通して悪目立ちし続けたイーロン・マスクの広告出稿を停止した世界的大企業である広告主に対して「くたばれ」と言い放つ自爆行為を目の当たりにすると、毒気が抜けるというか、一寸先のことすら何も分からんよ、という気分にもなります。 来年の今頃、AGI（汎用人工知能）が人類を支配してても驚かないっすね（投げやり）。 オライリー・メ
生成AI以後
生成AI以後 2023.09.21 Updated by Ryo Shimizu on September 21, 2023, 10:05 am JST 生成AIが「民主化」されたと言えるのは、昨年8月24日のStableDiffusionの公開を起点として良いだろう。 StableDiffusionは破格の性能のAIを、誰でも買える程度のコンピューティングパワーのコンピュータで、自由に改造して使うことができると言う意味で、真の民主化を達成した。 それから一年が経過して、昨年末にはChatGPTが注目を集め、現在では単に「AI」と言えば生成AIを指すようになった。 生成AIであるかそうでないかの違いは、その構造というよりも扱う情報量の違いでしかない。 AIが扱うデータは全て行列の集合の集合(またはその集合)、これをテンソルと呼ぶが、あるテンソルを入力したときに別のテンソルに変換するというも
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!?
意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ
生成AIで執筆時間を大幅短縮。果たして「書く」とはどういうことか?
生成AIで執筆時間を大幅短縮。果たして「書く」とはどういうことか? 2023.07.30 Updated by Ryo Shimizu on July 30, 2023, 10:54 am JST 7月26日、幻冬社新書から「教養としての生成AI」が発売された。教養シリーズである。 3月ごろはほぼ毎日執筆依頼が来てAIの研究をする時間が削られるなど本末転倒なことが起きていた。ようやく今回の「教養としての生成AI」と、来月の「検索から生成へ」でひと段落する。他にも大量に来ていたが、時間が勿体無いので断った。 幻冬社は新聞広告を打つらしい。果たして、いまどき新聞広告で本は売れるのか?しかし僕は本のプロではないので、プロがそう思うんだからそこはお任せするとしよう。 お任せするといえば、この本も次の本も、ChatGPTがほとんど書いた。 従って、執筆時間は10時間ほどで、そのうち半分はChatGP
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
日本でも重視されるべき「公益テクノロジー」とそのための人材
日本でも重視されるべき「公益テクノロジー」とそのための人材 2022.10.12 Updated by yomoyomo on October 12, 2022, 17:25 pm JST 『暗号技術大全』、『セキュリティはなぜやぶられたのか』、『超監視社会――私たちのデータはどこまで見られているのか？』などの著書で知られる情報セキュリティ分野の第一人者のブルース・シュナイアーは、2019年あたりから「Public-Interest Technology（公益テクノロジー、公益のためのテクノロジー）」という言葉をよく使うようになりました。 その初期に書かれた「公益のためのサイバーセキュリティ」を読むと、インターネットのセキュリティという重要な政策課題について、技術的な観点から議論できる政策立案者がほとんどおらず、また一方で政策立案者と議論できる技術者もほとんどいないことへの危機感が伝わりま
帝国の興亡
帝国の興亡 2022.10.03 Updated by Ryo Shimizu on October 3, 2022, 05:12 am JST イタリアの探検家、アメリゴ・ヴェスプッチは43歳にして初航海に出かけた。 彼の航海の記録は1503年に論文「新世界」として発表され、ドイツで出版された。以来、その大陸は彼の名にちなんでアメリカと呼ばれるようになった。 ヴェスプッチが探検したのは主に南米で、コロンブスが発見したのはカリブ海のプエルトリコで、厳密には北米大陸を発見したわけでもない。 それから一世紀後にイギリスのバージニア株式会社が国王ジェームズ一世から勅許を得て、メリーランド州、バージニア州、カロライナ州の開拓を開始した。 アメリカ大陸への植民はビジネスであり、入植者は実質的にバージニア会社の社員と見做されていた。 しかし、先住民族との戦いや疫病といった障害から、最初期の200人の入
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
ぼんやり上司の修行
ぼんやり上司の修行 2021.05.31 Updated by Ryo Shimizu on May 31, 2021, 07:00 am JST 少し前、「ぼんやり上司とガツガツ上司」というエントリを書いたところ、これの反響がなかなか大きかった。ちなみにここに書いたようなことと関連したことはこちらのYouTubeでも少し語っている。 今回は「ぼんやり上司」としての立場を受け入れた自分が、どのように「ぼんやり上司道」を極めようとしているのかという話を少し掘り下げてみる。 まず大前提として、「ぼんやり上司」で仕事がうまくいくのは、部下が優秀だからである。 身もふたもない話だが、優秀な部下がいるか、部下が優秀な人間に育つか、どちらかの条件がないとその部署は多分潰れる。方向性だけぼんやり示されても、自分の頭で判断できない部下ばかりだったら部署が成立しないのだ。 ただ、「ぼんやり上司」が優秀な部下
ぼんやり上司とガツガツ上司、どっちが良いか
ぼんやり上司とガツガツ上司、どっちが良いか 2021.05.21 Updated by Ryo Shimizu on May 21, 2021, 08:45 am JST 「もっと派手に、若々しく」とか「うーん、違うんだよなあ」と、ぼんやりした指示しか出してくれない上司と、「ここは赤で」「明日までに見積書を書け」みたいにガツガツ仕事を進めてしまう上司、どっちがいいか、という問題について最近考えたことがあった。 ガツガツ上司の場合、部下はストレスは感じるがやりやすい。 上司が欲しがるものが明確化されているので、「赤にしろ」と言われれば赤にすればいいし、「見積書を書け」と言われれば書けばいいからだ。 それに引き換え、ぼんやり上司の下にいると、部下は苦労する。 なにしろ何をして欲しいのか明かされない。何をすればいいのか自分で考えなくてはならない。そして、何かやって持って行ったとしても、ぼんやり上
なぜ、イギリスのデジタル・トランスフォーメーションが進んでいるのか？
なぜ、イギリスのデジタル・トランスフォーメーションが進んでいるのか？ Why UK's digital maturity is high 2021.01.25 Updated by Mayumi Tanimoto on January 25, 2021, 13:57 pm JST 前回は、Infosysの「Digital Radar 2019」という調査から、デジタル・トランスフォーメーションに対する企業の問題意識が変わってきていることを紹介しました。 翌年の「Infosys Digital Radar 2020: Breaking through the digital ceiling」では、各国のデジタル成熟度も調査しています。 例えば、イギリスのデジタル成熟度インデックスは60.7と高水準で、グローバル平均の57.4より高くなっています。アメリカは55.1、ドイツが54.8です。とは
2021年、AIには何ができて、何ができないか
2021年、AIには何ができて、何ができないか 2021.01.04 Updated by Ryo Shimizu on January 4, 2021, 10:02 am JST AIは近年、驚くような変化が毎月のように訪れている。 筆者の主宰する私塾では、上級会員向けに月に一回、AIに関する最新情報をシェアし、考察を加えるといったことを4年ほど続けている。 始めた当初は「そんなに毎月話すことがあるだろうか」と不安だったが、恐るべきことに毎月色々なことが起きているのでここ数年全く退屈するということがない。 そんなわけで、一年前には想像もつかなかったようなことがAIで実現している。2020年だけでも、GPT-3、ImageGPT、VisionTransformer、AlphaFoldといったイノベーションがあった。 特にGPT-3に関しては、GPTそのものは2019年末に発表されていたもの
イギリス政府業務のDX、日本は20年遅れている
イギリス政府業務のDX、日本は20年遅れている DX of UK government administration 2020.12.18 Updated by Mayumi Tanimoto on December 18, 2020, 16:14 pm JST イギリスは、政府業務のデジタルトランスフォーメーション（DX）という点では、私のざっくりとした感覚では日本の20年先を行っています。イギリスの2000年ぐらいが今の日本の感じでしょうか。 日本では、イギリスについては伝統と古臭さが支配するようなイメージを持っておられる方が多いようですが、実はデジタル化に関してはとても大胆で、かなり斬新なことをやっています。 例えば政府の事務に関してですが、その多くがデジタル前提で、アナログでの処理が徹底的に廃止されています。対納税者の事務作業だと、対面業務や紙がほぼ完全に近い状態で存在しません。
会社経営の真実がわかる277ページ
会社経営の真実がわかる277ページ 2020.12.11 Updated by Ryo Shimizu on December 11, 2020, 09:43 am JST 会社に郵便が届くと、最近は僕の手元にくるまでにタイムラグが有る。 昨日、届いていた本を見たら、あまりのヒキの強さに一気に全部読んでしまった。 本書は筆者の友人でもある合同会社ゲンロンの東浩紀氏による、「経営奮闘記」である。 東氏は数年前に体調を崩して合同会社ゲンロンの代表を交代するが、そこに至るまでの10年間にも及ぶ紆余曲折と苦悩といったものがあまりにも赤裸々に描かれている。 筆者の知っている事件もあれば、知らなかった事件もあり、彼がどれほどの苦労をしてこれだけの会社を経営してきたのかということがわかる。 会社を10年続けるというのは非常に大変なことだ。 10年間成長を維持するというのはもっと大変である。 本書の中で、
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃
AIの想像力が人間を超えるとき。深層強化学習のブレイクスルー、D3RLの衝撃 2020.10.08 Updated by Ryo Shimizu on October 8, 2020, 11:13 am JST 「最近のAIがすごい」と言われてからもう6年ほどが経過した。 なかでも人目を引いたのは、なんといっても2016年のAlphaGoだろう。最難関ゲームの一つと言われる囲碁において、人間のトップ棋士に対しAIが圧勝したのである。 これは「深層強化学習」というAIだが、実際のところ、「深層強化学習」を実用的に利用した例はまだ少ない。 多くのAIベンチャーやAIベンダーが扱う「AI」技術は、古典的な統計解析か、時折ニューラルネットを使っているくらいで、「深層学習」ではあっても「深層強化学習」とは完全に別物である。ラジオもコンピュータも同じ電気で動くものだが別物であるのと同じだ。 深層強化学
なぜシリコンバレーには外国人労働者が多いのか？
なぜシリコンバレーには外国人労働者が多いのか？ Why does Silicon Valley has got many foreign workers? 2020.07.04 Updated by Mayumi Tanimoto on July 4, 2020, 10:00 am JST トランプ大統領が最近決定した、高度な技術を持つ労働者のためのH-1Bビザ発給の一時停止が話題です。 ホワイトハウスは、これはアメリカ国内の雇用を生み出すためだとしているのですが、テック業界やその他の高度な知識や技能が必要な業界にいる人からすると、非現実的なことがよくわかります。 テック業界では、スキルがある人は企業間の取り合いになってます。そして、アメリカのテック業界は外国人だらけですが、これは国内の教育では必要なスキルを持った人を養成できていないからです。 アメリカの小学校から高校のカリキュラムを見る
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
