速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
OpenAIがBingを活用したGoogle対抗のウェブ検索サービスを開発中か
「ChatGPT」を展開するOpenAIが、Google検索に対抗することを目指す新しい検索サービスの開発に取り組んでいると報じられました。新たな検索サービスは、Microsoftの検索エンジンであるBingを活用するとみられています。 OpenAI Develops Web Search Product in Challenge to Google — The Information https://www.theinformation.com/articles/openai-develops-web-search-product-in-challenge-to-google ChatGPT Creator OpenAI May Take On Google With Its Own Internet Search Tool https://www.slashgear.com/15181
マイクロソフトの生成AI、テスト企業が語る本音
This copy is for your personal, non-commercial use only. Distribution and use of this material are governed by our Subscriber Agreement and by copyright law. For non-personal use or to order multiple copies, please contact Dow Jones Reprints at 1-800-843-0008 or visit www.djreprints.com. https://jp.wsj.com/articles/early-adopters-of-microsofts-ai-bot-wonder-if-its-worth-the-money-68ac702c
「Xbox生産は続ける」 MS幹部が社員に約束 ゲーム機市場撤退を否定 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
マイクロソフトがXbox事業での大きな方針転換を決めたとのうわさが、世間を騒がせている。今週の正式発表を前に、すでに社内では火消しの動きが出ているようだ。 ジャーナリストのシャノン・リャオによると、マイクロソフトのXbox部門は6日、経営陣が社員と対話するタウンホールミーティングを実施。同部門トップのフィル・スペンサーが社員に対し、マイクロソフトはゲーム機市場から撤退するわけではなく、今後もXboxを作り続けると断言すると同時に、Xbox事業の戦略は今後も「複数種類のデバイス」にゲームを展開するものになると説明したという。 Xbox部門の社員に対して、今後もXboxを作り続けることを約束しなければならないというのは、信じられない状況だ。この背景には、マイクロソフトが自社製ゲームをプラットフォームに縛られずプレイできるという「Xbox Play Everywhere」の理念を優先し、ゲーム機
マイクロソフトの『パルワールド』買収試み、もはやほぼ確実に | Forbes JAPAN 公式サイト（フォーブス ジャパン）
マイクロソフトは来週、Xbox事業での大きな方針転換を発表する見通しだ。メディア報道によると、これまでXbox独占だった『Starfield』などの看板タイトルをPlayStation向けに発売することを決めた可能性がある。これを受け、Xboxの将来を悲観する見方が広がっているが、1つはっきりしているのは、マイクロソフトがゲーム事業から撤退するつもりはないということだ。戦略が変わったとしても、サブスクリプションサービスの「Game Pass」向けであれ、XboxあるいはPS向けであれ、自社から人気ゲームを多く輩出したいことに変わりはない。 だからこそ、この混沌とした状況の裏で、別のことが起きているのは間違いないと、私は考えている。マイクロソフトはきっと、『Palworld / パルワールド』開発元のポケットペアを買収し、爆発的ヒットを飛ばした同作を手に入れようと画策しているに違いない。他の
BitLockerの回復キーを一瞬で奪取する激安デバイスが作り出されてしまう
Windows 10 ProやWindows 11 ProなどのWindows上位エディションにはストレージ暗号化機能「BitLocker」が搭載されており、攻撃者にPCを分解されてストレージを抜き取られた場合でも情報の閲覧を防ぐことができます。ところが、BitLockerの暗号化解除用の回復キーを一瞬で奪取できるデバイスがセキュリティ系YouTuberのstacksmashing氏によって開発されてしまいました。 Breaking Bitlocker - Bypassing the Windows Disk Encryption - YouTube ◆BitLockerの回復キーを奪取する実例 以下はLenovo製のノートPCで、BitLockerによるストレージ暗号化が施されています。 ノートPCのカバーを外し始めるstacksmashing氏。 カバーを外したら、回復キー奪取用デバイ
Apple Vision ProはHoloLensの完成形。現時点での限界値｜shi3z
昔は海外の電波を発する新製品は国内で使用できなかったが、今は総務省の技適の特例制度を利用することでいち早く試すことができる。 「海外法令」云々のところで多少つまづいたが、これはFCC IDを検索すれば解決した。 https://fccid.io/BCGA2117 VisionProのFCC IDはBCGA2117だった。 これで準備完了。 吾輩は、かつては1990年代にキヤノンのMR(混合現実感)システムや理化学研究所のSR(代替現実感)システムを試し、大学院の履修生をやっていた頃はVR特講を受講し、学生対抗国際VR(人工現実感)コンテストに参加したこともある。htc Viveでいくつかのデモを作り(ほとんどは非公開)、Oculusもほとんど持ってるくらいはHMD好きである。片目リトラクタブルHMDで自転車の走行を支援するシステムのデモも2008年頃に作った。 2017年には機械学習したM
テスラ、「マグニフィセント７」から脱落も 代わりはＡＩ関連企業か
２月２日、米電気自動車（ＥＶ）大手テスラが業績で苦戦しているため、超大型７銘柄、いわゆる「マグニフィセント・セブン」から同社が脱落し、代わりに人工知能（ＡＩ）関連企業が入る可能性が専門家の間で取り沙汰されている。１月８日撮影（２０２４年 ロイター/Dado Ruvic） [２日 ロイター] - 米電気自動車（ＥＶ）大手テスラが業績で苦戦しているため、超大型７銘柄、いわゆる「マグニフィセント・セブン」から同社が脱落し、代わりに人工知能（ＡＩ）関連企業が入る可能性が専門家の間で取り沙汰されている。 アップル(AAPL.O), opens new tab、マイクロソフト(MSFT.O), opens new tab、グーグル親会社アルファベット(GOOGL.O), opens new tab、アマゾン・ドット・コム(AMZN.O), opens new tab、エヌビディア(NVDA.O), o
AWS、IPv4アドレスへの課金が今月からスタート。1カ月約500円
Amazon Web Services（AWS）は、サービスを外部に公開するためのパブリックなIPv4アドレスに対して、1個1時間あたり0.005ドルの課金を今月（2024年2月）からスタートしています。パブリックなIPv4アドレスへの課金は、Amazon EC2、Amazon RDSを含むAWSの全てのサービスが対象です。 1時間当たり0.005ドルは1日当たりに換算すると0.12ドル、1カ月を30日とすると1カ月当たり3.6ドル。1ドル140円換算で1カ月当たり504円です。 パブリックなIPv4アドレスへの課金は昨年（2023年）7月に発表されており、予定通りに実行されたことになります。 参考：AWS、IPv4アドレスの使用に課金、1時間当たり0.005ドル。2024年2月1日から 最大手のAWSがIPv4有料化に踏み切った意味 インターネットで広く使われているIPv4アドレスは、1
話題のゲーム「パルワールド」早くも1200万本突破－記録的販売ペース
新作ゲーム「パルワールド」の販売本数が1200万本を突破したと、同作を開発したポケットペアが１日に発表した。発売から約２週間での達成となり、ゲーム史上最も速いペースで売れたタイトルの１つとなった。 「銃を持ったポケモン」と一部のファンに呼ばれている同作では、プレーヤーは協力しながら「パル」と呼ばれるモンスターを捕獲。パルを戦わせたり、基地を作らせたりしながら広大な世界を探索する。パソコン（ＰＣ）ゲーム配信プラットフォームの「Ｓｔｅａｍ（スチーム）」と米マイクロソフトの家庭用ゲーム機「Ｘｂｏｘ」向けに先月19日に発売された。 発表によるとスチームでの販売本数が1200万本。Ｘｂｏｘでは定額制サービス「Ｘｂｏｘゲームパス」などを通し700万人がプレーをした。パルワールドの初動売り上げは、発売から３日で1000万本を売り上げた「ゼルダの伝説」最新作には及ばないものの、18日で1200万本を達成し
『パルワールド』の勢いが止まらない 総プレイヤー数1900万突破＆マイクロソフトがサポート明言
ポケットペアによるアクションアドベンチャーサバイバルゲーム『パルワールド』が、Steam版とXbox版の総プレイヤー数1900万人を突破した。Xbox版でも700万人以上にプレイされており、公式サイトではポケットペア社へのさまざまなサポートが発表されている。 🎉総プレイヤー数１,９００万人突破🎉 #パルワールド 発売から約2週間で、1,900万人もの方々にプレイ頂きました! ありがとうございます! ･Steam版 約1,200万本 ･Xbox版 約700万人 引き続き、最優先で障害や不具合を対応中です。 今後とも #ポケットペア の応援よろしくお願いします! pic.twitter.com/zS1QKE6MSY — パルワールド/Palworld 公式 (@Palworld_JP) January 31, 2024 『パルワールド』はXbox Game Passにも含まれており、爆発的
Microsoft、AI「Copilot」のAzure好調で予想を上回る増収増益
米Microsoftが1月30日（現地時間）に発表した第2四半期（2023年10月～12月期）の決算は、売上高は前年同期比17.6％増の620億2000万ドル、純利益は33.1％増の218億7000万ドル（1株当たり2ドル93セント）だった。「Copilot」などのAI統合を進めたクラウド部門が順調だった。 売上高、純利益ともにアナリスト予測（売上高は611億2000万ドル、1株当たりの純利益は2ドル78セント）を上回った。 サティア・ナデラCEOは発表文で「われわれは、AIについて語ることから、AIを大規模に適用することに移行した。技術スタックのあらゆる層にAIを導入することで新たな顧客を獲得し、あらゆる分野で新たなメリットと生産性の向上を促進している」と語った。 部門別では、Azureやサーバー製品を担うIntelligent Cloud部門全体の売上高は20％増の258億8000万ド
マイクロソフト時価総額一時3兆ドル超 生成AI需要への期待背景 | NHK
アメリカのIT大手、マイクロソフトの株価が上昇し、企業の価値を示す時価総額が一時、初めて3兆ドル、日本円でおよそ440兆円を超えました。業務提携するアメリカのベンチャー企業、オープンAIと開発する生成AIの需要への期待が高まっていることが背景にあります。 24日のニューヨーク株式市場でマイクロソフトの株価は上昇し、企業の価値を示す時価総額が一時、初めて3兆ドル、日本円でおよそ440兆円を超えました。 アメリカの上場企業ではIT大手アップルの時価総額がおととし1月に初めて3兆ドルを超えています。 ニューヨーク株式市場では、世界で利用が急速に拡大する生成AIの需要への期待が高まり、関連するIT企業や半導体メーカーの株価の上昇傾向が続いています。 マイクロソフトは、生成AI、ChatGPTを開発するアメリカのベンチャー企業、オープンAIと業務提携していて、オープンAIへの投資額は、これまでに13
当社の利用終了パソコンに関する一部のSNS投稿につきまして
事業共創プログラム OPEN HUB for Smart World 未来をひらく「コンセプトと社会実装」の実験場 OPEN HUB for Smart Worldは、社会課題を解決し、わたしたちが豊かで幸せになる未来を実現するための新たなコンセプトを創り、社会実装を目指す事業共創の場です
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マスク氏、オープンＡＩとアルトマンＣＥＯを提訴 契約違反で
創設9カ月のAI新興、シリコンバレーの巨人に挑む
Microsoftによって“殺された”製品を集めて祀った仮想墓地「Microsoft Graveyard」／Google版もあるよ【やじうまの杜】
値下げが難しいPS5、他社にゲーム供給するMS ゲーム専用機ビジネスの変化【西田宗千佳のイマトミライ】
