驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
Apple Vision ProはHoloLensの完成形。現時点での限界値｜shi3z
昔は海外の電波を発する新製品は国内で使用できなかったが、今は総務省の技適の特例制度を利用することでいち早く試すことができる。 「海外法令」云々のところで多少つまづいたが、これはFCC IDを検索すれば解決した。 https://fccid.io/BCGA2117 VisionProのFCC IDはBCGA2117だった。 これで準備完了。 吾輩は、かつては1990年代にキヤノンのMR(混合現実感)システムや理化学研究所のSR(代替現実感)システムを試し、大学院の履修生をやっていた頃はVR特講を受講し、学生対抗国際VR(人工現実感)コンテストに参加したこともある。htc Viveでいくつかのデモを作り(ほとんどは非公開)、Oculusもほとんど持ってるくらいはHMD好きである。片目リトラクタブルHMDで自転車の走行を支援するシステムのデモも2008年頃に作った。 2017年には機械学習したM
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
enchantMOON発売から今日で5周年。この五年で起きたことを振り返る - THE長文日記
なんで七夕に設定しちゃったんだろう。 もともと記念日を覚えるのが苦手なので忘れないという意味では悪くないのだが、毎年七夕が来ると思いだしてしまう。 あの地獄のような日々からもう五年が経った。 本当は6月中に発売したかったんだけど、中国で製造がようやく始まったと思って帰国したら、ソフトが初回起動で必ずハングアップするみたいな状態で、これは絶対に間に合わないから7月7日出荷にしようと決断したのだった。 中国からリモートでソフトウェア開発を管理するというのはほとんど不可能に近かった。これは僕の見通しが甘かったのだ。 あれから現在に至るまで、同規模の、つまりOSからUIからプログラミング言語からオーサリング環境までまるごと全部作る、みたいなプロジェクトは大企業のものも含めてまだ聞いたことがないから、やはり挑戦としてはかなりクレイジーなものだったのだろう。まあいいのだ。クレイジーなことがしたかったん
enchantMOONとはなんだったのか。
enchantMOONを作ったUEIの清水CEOによる、enchantMOONとはなんだったのか、という一連のつぶやき。 自分で後で読むためにまとめました。 一連の呟きが終了したようなので、ひとまず編集完了とします。
enchantMOON S-IIに関する文章を善意の第三者が広告読みの技法で読み下してみる。 - あそことは別のはらっぱ
なんか、enchantMOONの新バージョンが出るらしいですね。今まで持っていた人もソフトウェアアップデートで新製品と同等の内容が受けられるとか。 リンク先にはenchantMOON開発の偉い人であるところのid:shi3z氏がいろいろ経緯とかそういうものを書いているのですが、まあ長い。その上宣伝も兼ねているので美辞麗句が並んでいます。 私、過去のエントリを見てもわかるとおりenchantMOONの購入者です。やはり、こういうコトに関する文句は買った人だけに言える資格があるのではないか、そういう気持ちでそのエントリを読み下してみようと思います。 読み下すにあたって、採用する仮定は以下の3つです。 不利なことは書かないことはあるかもしれないが、嘘は書かれていない。 いろいろ裏事情が読み取れる場合は、一番下世話な理由を想像する。 過小表現、過大表現もあるかもしれないが、一番セコい方向の内容を想
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews
長文日記
enchantMOON S-IIとは? - UEI shi3zの日記
長文日記
長文日記
長文日記