驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開
東京工業大学(東工大)と産業技術総合研究所(産総研)の両者は12月19日、現在公開されている中で、日本語に強い生成AIの基盤である「大規模言語モデル」(LLM)としては最大規模となる「Swallow」を、米・MetaのLLM「Llama 2」の日本語能力を拡張することで構築し、Webサイト「TokyoTech-LLM」にて一般公開したこと、またオープンで商用利用も可能なことを共同で発表した。 同成果は、東工大 情報理工学院 情報工学系の岡崎直観教授、同・横田理央教授、産総研の共同研究チームによるもの。今回、東工大は主にデータの語彙拡張によるモデル学習・推論効率の改善に取り組み、産総研はモデル構築に必須である大規模計算資源としてAI橋渡しクラウド(ABCI)を提供すると同時に、主に継続学習によるモデルの日本語能力の改善を担当したとしている。 産総研のAI橋渡しクラウド「ABCI」(出所:東工
◆ ＡＩが考えるには？ .1: Open ブログ
パーセプトロンという概念が現れたのは、1958年だった。 心理学者・計算機科学者のフランク・ローゼンブラットが1957年に考案し、1958年に論文を発表した。 パーセプトロンは1943年に発表された形式ニューロンに基づく。 ローゼンブラットはこの形式ニューロンの考え方を基にしてパーセプトロンを開発した。S層（感覚層、入力層）、A層（連合層、中間層）、R層（反応層、出力層）の3つの部分からなる。S層とA層の間はランダムに接続されている。S層には外部から信号が与えられる。A層はS層からの情報を元に反応する。R層はA層の答えに重みづけをして、多数決を行い、答えを出す。 （ → パーセプトロン - Wikipedia ） このあと、「小脳はパーセプトロンである」という仮説に基づいて、伊藤正男が生理学的に大きな成果を出した。 1970年頃、デビッド・マーとジェームズ・アルブスによって小脳はパーセプト
10万件以上の物件データを学習したのにクソ失礼にも家賃69万の物件に対して28万だと査定した機械学習モデルは何を考えているのか。 - Qiita
10万件以上の物件データを学習したのにクソ失礼にも家賃69万の物件に対して28万だと査定した機械学習モデルは何を考えているのか。Python機械学習lightgbmSHAP こちらの記事をご覧いただきありがとうございます。 ちゃんと内容が伝わるようなタイトルを考えたらラノベみたいになってしまい、かえってわかりにくい気がしてきました。 以前からいくらかSUUMO物件について機械学習を用いたデータ分析を行っています。 今回は、10万件以上の物件データを与えてなかなか高精度な家賃予測が可能となった機械学習モデルが、クソ失礼にも家賃が安いと査定した高額物件がいくらかあったので、何を考えてクソ失礼な査定となったのかを調べます。 もしかしたらボッタくりかもわかりませんからね。楽しみですね。 モデルの学習について 基本的には前回記事と同じです。 使用した機械学習モデル 以前から引き続き LightGBM
認知症の兆候が歩き方で分かる 高専生が開発、付いた評価は10億円（朝日新聞デジタル） - Yahoo!ニュース
開発した装置を手にする菊地佑太さん（左）と石井聖名さん（中央）、佐藤汰樹さん=2022年6月3日、盛岡市 歩き方で認知症になるかどうかが分かる――。そんな装置を一関工業高専（岩手県一関市）の学生3人が開発し、企業評価額を競う全国大会で最優秀賞を受賞した。つけられた評価額は過去最高の10億円で、3人は「早く起業したい」と意気込んでいる。 【写真】インソール型の足圧センサーを着けた靴。歩行時の加速度などから認知症の兆候をつかむ 大会は、人工知能（AI）が自ら学習する「ディープラーニング（深層学習）」の技術を利用して開発した装置を、技術力やビジネスモデルの面で評価し、つけられた額で競う。 4月末に東京で開かれ、約50チームが参加。一関工業高専からは、システム創造工学専攻1年で、生態工学を学ぶ石井聖名さん（21）、深層学習について研究する菊地佑太さん（21）と佐藤汰樹さん（20）がチームを組んだ。
IT関連の採用面接でディープフェイク使用が増加…FBIが警告
FBIは、採用面接でディープフェイクの技術を使って別人になりすます人がいると明かした。 そのような人物は、機密情報にアクセスできるようなIT関連の職種を狙っているという。 ディープフェイクに対応する技術はまだ完全ではないが、ディープフェイクを見つけるシンプルな方法がある。 就職のオンライン面接で別人になりすますなど、ディープフェイク技術の悪用が増えていると、アメリカ連邦捜査局（FBI）が警鐘を鳴らしている。 FBIの発表によると、面接の最中に別人の映像や画像、音声を自身に重ね合わせている人がいるという申し立てが増えている。これらの事例は、PII（個人を特定できる情報）、経済情報、企業のデータベースや機密情報といった極秘情報にアクセスできるリモートワーカーへの応募に関連しているとFBIは述べている。 ディープフェイク映像は娯楽目的で使われることもあるが、非常に有害となる可能性もある。Meta
機械学習は防犯に役立つのに十分なほど銃被害を予測できる - himaginary’s diary
というややSF染みた*1NBER論文が上がっている（ungated版へのリンクがある著者の一人のページ）。原題は「Machine Learning Can Predict Shooting Victimization Well Enough to Help Prevent It」で、著者はSara B. Heller（ミシガン大）、Benjamin Jakubowski（NYU）、Zubin Jelveh（メリーランド大）、Max Kapustin（コーネル大）。 以下はその要旨。 This paper shows that shootings are predictable enough to be preventable. Using arrest and victimization records for almost 644,000 people from the Chicago
機械学習の進化が、「レンズ」というカメラの当たり前を覆す 次世代イメージセンシング・ソリューション開発を加速
要点 最先端機械学習モデル「Vision Transformer」に基づく、新たなレンズレスカメラの画像再構成手法を提案 提案した画像処理技術は高速に高品質な画像を生成できることを実証 小型・低コストかつ高機能であるため、IoT向け画像センシング等への活用に期待 概要 東京工業大学 工学院 情報通信系の潘秀曦（Pan Xiuxi）大学院生（博士後期課程3年）、陈啸（Chen Xiao）大学院生（博士後期課程2年）、武山彩織助教、山口雅浩教授らは、レンズレスカメラの画像処理を高速化し、高品質な画像を取得できる、Vision Transformer（ViT）[用語1]と呼ばれる最先端の機械学習技術を用いた新たな画像再構成手法を開発した。 カメラは通常、焦点の合った画像を撮影するためにレンズを必要とする。現在、IoT[用語2]の普及に伴い、場所を選ばず設置できるコンパクトで高機能な次世代カメラが
機械学習が独学できる日本語Youtube難易度別まとめ - Qiita
こんにちは。 在宅の機会が増えて以来Youtubeを見る機会が増え、機械学習などが勉強できるチャンネルをいくつか探しては見ていました。探した中でよかったと思ったものをメモしていたのですが、せっかくなので公開したいと思います。日本語のソースがあるもののみ対象にしており、『これ無料でいいのか？』と思ったチャンネルを紹介したいと思います。主観で以下のレベルに分けましたがあくまで参考程度にお願いいたします。 基本：Pythonを触ってみた人 Pythonの説明・動かし方などを解説していて、動画によっては踏み込んだ内容になる 応用：アルゴリズムを使いこなしたい人 「model.fit(X, y)して動かしてみた」よりも踏みこみ、Python自体の説明は少ない 発展：研究開発もしたい人 最新の手法の仕組みの理解などが主眼であり、Pythonの解説はほぼ無い もしおすすめのチャンネルございましたらぜひコ
Accuracy/Recall/Precisionってややこしくない?? - Qiita
という感じの表(混同行列というらしい)が出てきて、いろいろ説明されていますが 陽性/陰性とかPositive/Negativeとか言われても、いまいちピント来きません！！！ ということでいろいろ調べていたら、以下のブログにとてもわかりやすく説明されていた。 https://towardsdatascience.com/data-science-performance-metrics-for-everyone-4d68f4859eef 備忘もかねて、この記事にまとめます！ ケース ある医者が透析している患者が来週中に入院するか/しないかを予測する 医者の予測結果をベン図にすると以下のようになります。 入院すると予測 True Positives(TP) : 本当に入院した => 予測は正解 False Positives(FP) : 入院はしなかった => 予測は不正解 入
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
ビーフストロガノフはどのくらい強いのか - Qiita
# !wget https://dl.fbaipublicfiles.com/fasttext/vectors-crawl/cc.ja.300.vec.gzで落とせます model = gensim.models.KeyedVectors.load_word2vec_format('cc.ja.300.vec.gz', binary=False) repat = re.compile(r'^[あ-ん\u30A1-\u30F4\u4E00-\u9FD0]+$') vocab_list = [w for w in list(model.vocab.keys())[10000:50000] if len(w) > 2 and repat.fullmatch(w) and w[-1] != 'っ' and w not in list(ww_df.word) and w not in list(sw
動く人をリアルに着せ替え合成 揺れる服の動きも詳細に再現
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 独ブラウンシュヴァイク工科大学と独Max Planck Institute for Informaticsによる研究チームが開発した「High-Fidelity Neural Human Motion Transfer from Monocular Video」は、人物と服の細かな動きを別の人物に転写する深層学習フレームワークだ。動きに合わせて揺れる衣服のシワやひだなども忠実に再現し合成する。 今回のフレームワークは、ソース映像の人物の動きだけをターゲット映像の人物に転送し、それに伴う衣服の副次的動作も含めた写実的なアニメーション合成を目指す。 映像生成フレームワークは、4種類の深層学習ネ
YouTubeで「中学生から分かるAI数学講座」が無料公開 E資格に対応 | Ledge.ai
Study-AI株式会社は3月23日から、特設サイトとYouTube公式アカウントにおいて、中学生でも人工知能（AI）の勉強を目指せるとうたう「中学生から分かるAI数学講座」動画の無料配信を開始した。 本講座は、一般社団法人日本ディープラーニング協会（JDLA）が提供する「E資格」で出題される数式を読めるようになることを目的としており、中学校や高校の数学を予習（復習）するといった内容だ。 解説範囲は数式の読み方や計算方法で、数式の意味は解説に含まない。到達目標はΣやexpやlogなどの言葉が出てきても抵抗なく受け入れ、計算ができること。対象者はAIの勉強を進めたい人、高校数学を習っていない中学生。 制作意図としては、自分で勉強を進めたり講義を聞いたりするときに「教科書に出てくる数式が読めない」「見たこともない」ということがないように準備体操、予習の一助として作成したとしている。 気になる人
手軽にリアルな絵を生成 粗いマスク指定とテキスト入力で
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 スイス・チューリッヒ工科大学の研究チームが開発した「Controlling Style and Semantics in Weakly-Supervised Image Generation」は、ユーザーが手描きで大雑把に指定したマスク（画像処理ソフトなどで使われる領域指定）とテキスト記述や属性から、もっともらしいリアルな絵を生成する深層学習フレームワークだ。 手描きマスクからリアルな絵を生成する従来の技術には大規模なラベル付きデータが必要で、複雑な形状やオブジェクトから構成される絵の合成はできなかった。オブジェクトを削除すると不自然な部分が残ってしまう問題もあった。 今回の手法では、オブ
This Anime Does Not Exist
For significantly better and customizable anime image generation, check out Holara AI Creativity Slider 0.5 Higher creativity values tell the AI to be more creative and detailed, but also messy and weird Speed Slider 1.5 Space: pause grid, Drag: pan grid, Click: open image in new tab F: fullscreen mode, Z: toggle zoom on hover, V: video mode You can find updates about anime and AI on Twi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AttentionViz: A Global View of Transformer Attention
FY2022 AIPシンポジウム 特別講演
DALL·E 2 を早くも破る！超リアル画像生成モデル Imagen を解説
