驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
PNGファイル爆発しろ！
まえがき Web上で広く利用されるPNG(Portable Network Graphics)フォーマットは、デジタル画像を変化させずに小さいデータサイズへ変換する圧縮技術の一種です。PNGフォーマットはオリジナル画像を完全復元可能な可逆(lossless)圧縮ですから、JPEGフォーマットのように画像を歪めてしまう非可逆(lossy)圧縮ほどは小さくできません。それでもオリジナルのデジタル画像データの半分程度まではサイズ削減可能な画像圧縮アルゴリズムと言われています。[1] そげぶ いいぜ てめえが何でも思い通りに圧縮出来るってなら まずはそのふざけた幻想をぶち壊す!! （スペース都合によりAA省略） 本記事では、PNGフォーマットを画像データ圧縮(compress)用途で利用するのではなく、オリジナル画像データよりも遥かに巨大なPNGファイル を生成します。 PNGフォーマットでは任意
計算複雑性理論を知らないやつが何をやらかすか教えてやろう。 ある業務用..
計算複雑性理論を知らないやつが何をやらかすか教えてやろう。 ある業務用Webシステムは検索結果の表示件数を5/10/20件から選べるようになっててて，URLのパラメーターで「?n=20」とかやって送ってた。メニューからは三つの値しか選べないが手で書き換えれば100とか200とか選べる穴が空いてた。 で，よりによってメモリ使用量がO(n^2)になるコードを書いていやがった。n=500でOutOfMemoryError。リモートから面白いようにサービスを落とせた。 CSを知ってるやつなら，コードを書いた瞬間から「これnの上限チェック入れないとまずいな」とわかるんだよ。というか，普通にこのコードはまずいと考えてアルゴリズムをなおして，O(1)でDBレコード全件持ってきても落ちないコードにできてたはず。
数理最適化の参考書
専門家が執筆した数理最適化の書籍を紹介しています． 適当に書籍を並べただけですので内容については各自で確認をお願いします． 数理最適化全般 数理最適化の概観を知りたい人向け 穴井宏和，数理最適化の実践ガイド，講談社，2013． 数理最適化を現実問題の解決に活用するプロセスを知りたい人向け 岩永二郎，石原響太，西村直樹，田中一樹，Pythonではじめる数理最適化（第2版） ―ケーススタディでモデリングのスキルを身につけよう―，オーム社，2024． 三好大悟，Excelで手を動かしながら学ぶ数理最適化：ベストな意思決定を導く技術，インプレス，2023． 株式会社ビープラウド，PyQチーム，斎藤努，Pythonで学ぶ数理最適化による問題解決入門，翔泳社，2024． 数理最適化を初めて学ぶ人が手に取る入門書 福島雅夫，新版 数理計画入門，朝倉書店，2011． 久野誉人，繁野麻衣子，後藤順哉，数理最
「ぷよぷよは計算困難」―パズル・ゲームと最適化アルゴリズム― – Ono Laboratory
はじめに 最近，「一般化ぷよぷよのより強い計算困難性」なる研究を発表しました（東北大学の江藤宏先生，九州大学の木谷裕紀先生との共同研究．国内研究会であるゲームプログラミングワークショップで江藤先生による口頭発表．2021年12月30日現在，pdfはここから取れます）． これは有名なビデオゲーム「ぷよぷよ」を一人用のパズルと見立てたとき，かつそれを一般化した場合，どの程度難しいものであるのかを（最適化）アルゴリズム論的に分析したものです．今回「最適化技術の応用・実践」に関する記事を集めよう，ということになりましたので，ちょうどよい題材ということで，この研究をより一般向けに解説してみようと思います．一般向けですので証明自体には踏み込まず，既存の定理と得られた定理の意義をおよそわかっていただくことをこの記事の目標とします．ただし「ぷよぷよ」について関してはおよそルール等がわかっている方を対象とし
アルゴリズムと数学の本を書きました - E869120's Blog
1. はじめに こんにちは、はじめまして。東京大学 1 年生の米田優峻（E869120）と申します。私は競技プログラミングが趣味で、AtCoder や国際情報オリンピックなどの大会に出場しています1。2021 年 11 月時点で、AtCoder では赤色（レッドコーダー）です。また、2020 年以降、アルゴリズムを学べる以下のようなコンテンツや資料を作成してきました。 レッドコーダーが教える、競プロ上達ガイドライン 競プロ典型 90 問 50 分で学ぶアルゴリズム さて、このたびは技術評論社から、書籍を出版させていただくことになりました2。アルゴリズムと数学が同時に学べる新しい入門書です。 「アルゴリズム×数学」が基礎からしっかり身につく本 - amazon 発売日は今年のクリスマス、2021/12/25 です。電子書籍版も同時期に出る予定です。本記事では、この本の内容と想定読者について、
俺氏、将棋が二人零和有限確定完全情報ゲームでないことに気づいてしまうｗｗｗ | やねうら王 公式サイト
このブログをご覧の方は将棋が二人零和有限確定完全情報ゲームであることはご存知でしょう。これは、ゲーム理論や探索アルゴリズムの教科書にでも載っています。「二人零和有限確定完全情報ゲームって何？」って方は、Wikipediaでも見ていただくことにして話を先に進めます。 零和とは？ この「零和」というのは、和が零。英語で言うとゼロサムです。 零和（「ゼロ和」と読むのが一般的だが「レイワ」とも読む）：プレイヤー間の利害が完全に対立し、一方のプレイヤーが利得を得ると、それと同量の損害が他方のプレイヤーに降りかかる https://ja.wikipedia.org/wiki/二人零和有限確定完全情報ゲーム つまり、自分が勝ちなら、相手は負け。相手が勝ちなら自分は負け。勝ちを+1点、負けを-1点、引き分けを0のように定めるなら、(ゲーム終局後に)自分と相手の点数を足すと0になる。なので、ゼロサムゲームと
ブルゲ的脱衣将棋のAIの凄さは「強さ」だけじゃない - 緑SM64のいろいろメモ
2003年(2001年の誤りでした。訂正してお詫び申し上げます。)ごろに発売され、アダルトゲームなのに異常に棋力が高いことで話題となったブルゲ的脱衣将棋。 搭載されているAIについてはその棋力にばかり注目されがちですが、このAI、他の将棋ソフトにはない唯一無二のものだと個人的には思います。 そんな訳で、今回はこの将棋ソフトについてレビューしていきたいと思います。 この記事ではR-18な側面には一切触れませんが（というか私がアダルトゲームを基本プレイしないので触れたくても触れられない）、一応18歳未満の方はみないでネ！ ブルゲ的脱衣将棋って？ 異常に強いAI AIが強いだけじゃなく特徴的 この棋風がもたらすもの まとめ ブルゲ的脱衣将棋って？ まずブルゲ的脱衣将棋について説明すると、ブルーゲイル社の人気作品のヒロインが集結した作品です。 ヒロインについては原作の絵師、声優の方を集結し、楽曲も
AI企業としてのAdobeの戦略 （前提編）｜深津 貴之 (fladdict)
今年のAdobe MAXの話題は、人工知能「Adobe Sensei」一色だった。 ステルスぎみのAI企業だったAdobeが、いよいよ浮上してきた今回のMAX 2017。 数年前から「AdobeはAI銘柄」と言い続けてきた僕としては、とても感慨深い。 以下、自身の雑感まとめ。大きな戦略レイヤーの話がメインなので、個々のテックはICSさんの記事などをご参考。 ＊注 筆者はAdobe社から、Adobe MAX 2017への招待を受けて参加しています。ですが、それはそれとして中立で書きます。Adobeさん都合の悪いこと書いてたらごめんなさい。前半エントリではAdobeのAI戦略を理解する前提として、「AdobeがAIや未来に投資しだした背景」、「Adobeのビジネス構造」の2つを論じる。 AI戦略の始まりは月額課金へのシフト まず最初に、AdobeがAIプレイヤーとして、急速に浮上してきた背景を
「人工知能でいい感じの成果を出してくれ」という偉い人の脳内はどうなっているのか – ところてん – Medium
この記事は、前出の本に入れる予定だったコラムのうちの一つです。 正確にいうと、本に入れる予定だったけど、メイン側で締め切りをぶっちぎっていたら、コラムを追加できるような空気じゃなくなって、書くのをやめたものです。 本の宣伝を兼ねて、没にしたコラムに日の目を見させて、あわよくば第二版で入ればいいなー、という内容です。 データサイエンティストの頭の中「偉い人たちは頭がおかしい」と言っても、それは相対的なものであるため、比較対象であるデータサイエンティストの頭の中を覗いてみましょう。 データサイエンティストは組織におけるデータ活用状況について、レベル分けして考えます。そして、基本的に前のレベルが実現できなくては、次のレベルに進むことはできないと考えています。 以下のレベル分けは私が適当に思い描いているものですが、同業者なら大よそ一緒なんじゃないかと思います。 Lv0: データ収集、ログ設計Lv1
21世紀に“洋ゲー”でゲームAIが遂げた驚異の進化史。その「敗戦」から日本のゲーム業界が再び立ち上がるには？【AI開発者・三宅陽一郎氏インタビュー】
鈴木裕氏： ただ、そうね……僕は全盛期に世界のトップシェアを取っていた日本が、こんなふうに海外に負けてしまったことが、やっぱり悔しいんですよ。だって、セガが全盛期の頃、僕たちは圧倒的な世界一のゲーム大国だったんです。（中略）ちゃんと新しい武器を製造しないとダメです。だって、良い武器があったら、色々なツールを工夫したりして、少人数でも勝てるんですよ。 そんな鈴木裕氏がインタビュー中、非常に強い興味を持って語っていたのがAI技術だった。そして先にズバリ言ってしまうと、この記事は、日本のゲーム産業が21世紀に世界市場で存在感を失い、今や新興国の国々までもが背後に迫ってきたシビアな状況に、実は「AI技術の軽視」という問題が一つあるのでは――という視点から強く光を当てるものだ。例えば、しばしば日本のゲーム業界の「敗因」として、グラフィックの人材不足や大規模マネジメントの失敗などの問題が挙げられる。だ
Google DeepMindの囲碁ソフト AlphaGoの衝撃 - カレーなる辛口Javaな加齢日記
「Mastering the Game of Go with Deep Neural Networks and Tree Search」https://storage.googleapis.com/deepmind-data/assets/papers/deepmind-mastering-go.pdf http://deepmind.com/alpha-go.html 「AlphaGo: Mastering the ancient game of Go with Machine Learning 」http://googleresearch.blogspot.jp/2016/01/alphago-mastering-ancient-game-of-go.html 「AlphaGo: マシンラーニングで囲碁を 」http://googlejapan.blogspot.jp/2016/01/
手続き型のダンジョン生成アルゴリズム | プログラミング | POSTD
この投稿では、以前に TinyKeepDev が こちら で述べたランダムなダンジョンを生成する技法について説明しようと思います。元の投稿に比べて、もう少し具体的に話を進めるつもりです。まずは、以下に示したアルゴリズムの一般的な動作をご覧ください。 部屋の生成 はじめに、幅と高さを持つ部屋を円の中にランダムに配置しましょう。TKdevのアルゴリズムは、各部屋のサイズを生成するのに正規分布を用いています。これは一般的にとてもいいアイデアです。なぜかと言うと、これによってより多くのパラメータを扱うことができるようになるからです。幅/高さの平均と標準偏差間の異なる比率を選ぶと、通常は見た目の違うダンジョンとなります。 ここで実行すべき関数は getRandomPointInCircle です。 function getRandomPointInCircle(radius) local t = 2
［CEDEC 2014］「ゲーム世界を動かすサイコロの正体 〜 往年のナムコタイトルから学ぶ乱数の進化と応用」 - 4Gamer.net
［CEDEC 2014］ナムコ作品で見る乱数の歴史。「ゲーム世界を動かすサイコロの正体 〜 往年のナムコタイトルから学ぶ乱数の進化と応用」レポート ライター：箭本進一 神奈川のパシフィコ横浜で行われた，ゲーム開発者向けイベントCEDEC 2014の最終日である2014年9月4日，「ゲーム世界を動かすサイコロの正体 〜 往年のナムコタイトルから学ぶ乱数の進化と応用」という講演が行われた。 登壇したバンダイナムコスタジオ HE技術部 加来量一氏 この講演のユニークな点は，旧ナムコの作品を「乱数」という視点から振り返るということだ。バンダイナムコスタジオ HE技術部のプログラマーである加来量一氏は，旧ナムコの初期作品50本を解析し，それぞれの時代でどのような乱数が使われていたかを特定した。そこから見えてくる乱数技術改良の歴史を見ていくというのが，講義の主旨なのである。 1980年代のナムコアーケ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「囲碁の謎」を解いたグーグルの超知能は、人工知能の進化を10年早めた
グーグルらが人工知能で「囲碁の謎」に挑む理由
TechCrunch
サルでも分かるwaifu2xのアルゴリズム
長文日記
UTAUの基本的アルゴリズムと開発経緯 資料