驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
東京大学、強化学習と統計的自然言語処理の講義資料が無料公開 サイバーエージェントの講師ら担当 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
有権者が「失望」してるのはSNSで政治を熱く語るキモい中高年
いつも他人を貶すことに命をかけている奴ら 選挙と世論調査の結果が気に入らないと「民度」を持ち出して攻撃 「民度の高い」皆様の考えは私には分かりませんね
ビル・ゲイツもAI分野の必読書と推した『マスターアルゴリズム』邦訳が原著刊行から5年以上の時を経て出る - YAMDAS現更新履歴
www.kamishima.net ペドロ・ドミンゴスの『The Master Algorithm』は、ビル・ゲイツが AI 分野の必読書に挙げていたので注目し、ワタシも何度か文章の中で引き合いに出している。 ユートピアのキモさと人工知能がもたらす不気味の谷 - WirelessWire News（ワイヤレスワイヤーニュース） 我々は信頼に足るアルゴリズムを見極められるのか？ - WirelessWire News（ワイヤレスワイヤーニュース） そして、邦訳の刊行が期待される洋書を紹介しまくることにする（2017年版）でも取り上げているが、この原著が刊行されたのは2015年である。それから5年以上経ち、もうこれは邦訳の話は流れてしまったかと半ば諦めていたところ、『マスターアルゴリズム 世界を再構築する「究極の機械学習」』の邦題で刊行される。ワオ！ マスターアルゴリズム 世界を再構築する「究
ディープラーニングを学び始めた方へ 東京大学／松尾豊教授の動画 - Qiita
1.はじめに ディープラーニングを学び始めた方にとって、東京大学／松尾教授の動画を見ることは、とても刺激的で勉強になり面白いものだと思います。今回、松尾教授の講演に加えて対談やパネルディスカッションも含めた動画のリンクをまとめましたので、よろしかったら見て下さい。 おすすめは、01, 05, 14, 16, 23, 27 です。 2.動画リンク 講演には★の表示がしてあります。 □2012年 ★01.Computer will be more clever than human beings 東京大学版TEDです（もちろん日本語です）。ウェブを利用した情報の利用と人工知能の可能性についてコンパクトにまとめています。ディープラーニングには触れていませんが、若々しい松尾教授の姿が見れて、内容も興味深いです。<おすすめです。>(15分) □2013年 02.ＩＴ融合シンポジウム ～企業・研究者に
AIにおける「次元の呪い」解決へ、富士通研が機械学習の最有力学会で発表
富士通研究所は2020年7月13日、ディープラーニング（深層学習）における教師なし学習の精度を大幅に向上できる人工知能（AI）技術「DeepTwin」を発表した。AI分野の長年の課題だった「次元の呪い」を、映像圧縮技術の知見を活用することで解決したとする。同社は論文を機械学習の最有力学会である「ICML 2020」で7月14日に発表する。 「次元の呪い」とは、データの次元（要素数）が大きくなると、そのデータを分析する際の計算量が指数関数的に増大する現象を指す。次元の呪いを回避するため、一般的に機械学習の高次元データは次元を減らす。 ただ従来の手法には、次元の削減に伴ってデータの分布や確率が不正確になる課題があり、それがAIの精度低下を招く一因になっていた。例えば分布や確率が実際と異なると、正常データを異常と誤判定してしまうような間違いを引き起こしてしまう。 富士通研究所は今回、ディープラー
機械学習初心者が、素早く学べるコンテンツとライブラリ19選（Python編） - paiza times
Photo by Horia Pernea こんにちは。谷口です。 最近「機械学習に興味がある」「いつかやろうと思ってるんだよね……」と言うエンジニアの方をよく目にします。また、その倍ぐらい「機械学習難しすぎて挫折した」という方も見ます。 弊社のITエンジニアにも機械学習を勉強中という人がいますが、特に最初は難しすぎて何から手を付けたらいいのかよく分からず、とても悩んだと言っていました。そこで同じような悩みを抱えている方の参考になればと思い、初心者の頃に参考になった機械学習入門者の方に役立ちそうな記事やスライドを聞いてきました。 また、Pythonには機械学習のためにデータを処理するライブラリ（数値演算をするためのライブラリや図を作成するためのライブラリなど……）がそろっていて、呼び出したり組み合わせて処理したり……といったことがしやすいため、多くの人が機械学習で使っています。コードも短く
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【新卒研修資料】基礎統計学 / Basic of statistics
ランダムフォレストによる因果推論と最近の展開
コロナ拡大AI予測上回る グーグル見通しより14％ ｜ 共同通信