完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
株式会社ドワンゴを退職しました
社内で使っていたアイコン2015年に新卒で入社し、4年3ヶ月勤めた株式会社ドワンゴを2019年6月30日をもって退職しました。確かにドワンゴの社員でしたが、感覚的には、ずっと居た Dwango Media Villeage という組織を卒業した気分です。 もともと2019年末には退職するつもりだったのですが、抱えているタスクがちょうどタイミング良く片付き、環境も色々と変化してしまったため、予定を早めこのタイミングでの退職となりました。 退職後も秘密保持契約は有効なので詳細は書けませんが、公開できる範囲でやってきたことを振り返ってみます。退職エントリって何のためにあるんだろうと思ってましたが、書き終えてみると、自分がやってきたことに区切りをつけるという意味で良いものだとわかりました。 まず、在職期間を通して、時間があるときは何かニコニコサービス内で利用するレコメンダーやその運用システムを開発
AI企業へ舵切るヤフー、深層学習スパコン｢kukai｣の驚くべき"コスパ"［直撃インタビュー］
清水亮 / Ryo Shimizu ［経営者、研究者、プログラマー］ and 伊藤 有/Tamotsu Ito ［編集部］ Jul. 26, 2017, 06:00 PM テクノロジー 28,396 ヤフーのスパコン｢kukai｣。スーパーコンピューターのシステムを丸ごと非導電性の特殊な冷却液（フロリナート）に浸して冷却する液浸冷却を採用している。 Yahoo! JAPAN Yahoo! JAPAN（以下、ヤフー）は6月19日、独自のスーパーコンピューター｢kukai（空海）｣でスーパーコンピュータの省エネ性能を競う世界的ベンチマークの1つ｢Green500｣で世界2位になったことを発表した。 このkukai、あまり詳細に語られていない部分も多く、謎が多いスパコンだ。たとえば、日本の産業界ではまだ実用化の例が少ない、スパコンを丸ごと特殊な冷却液（フロリナート）に浸す技術"液浸冷却"を使って
YOLO9000をけものフレンズで試す - Qiita
概要 9000種類以上の物体を検出可能な物体検出器である、YOLO9000 を動かします。YOLO9000は動物の検出が得意な検出器 [Joseph Redmon+, CVPR2017] であり、また、YOLOは二次絵への汎化が得意な検出器 [Joseph Redmon+, CVPR2016] であることから、今回は動物やけものフレンズの画像に適用し、精度や汎化性能を確認します。 YOLO9000環境構築 YOLO9000フレンズになるの、すごく簡単。以下のコマンドを呼んで。 # Installing Darknet git clone https://github.com/pjreddie/darknet cd darknet make # Downloading pre-trained weight file for MS COCO (80 classes) #wget http://
AIベンチャーの雄が総務省の開発指針に反対する理由
人工知能（AI）の開発者が研究開発に当たって留意すべき原則「AI開発ガイドライン（仮称）」の素案を策定するため総務省が設置した産官学会議から、AIスタートアップのPreferred Networks（PFN）が離脱していたことが明らかになった。 Preferred Networksは深層学習（ディープラーニング）開発のスタートアップ企業で、深層学習フレームワーク「Chainer」の開発元としても知られる。 総務省 情報通信政策研究所は、同ガイドライン素案策定のための産官学会議「AIネットワーク社会推進会議」を主催している。2016年12月には、素案策定に向けた論点整理を公開した。 この素案は、日本政府がOECD（経済協力開発機構）などに提案することを目的に策定するもので、「日本の法制度に直接反映させることを想定したものではない」（同研究所）という。 だがこの方針に対し、2017年1月まで同
新井紀子教授が予見！ロボットで失業するのは「銀行の窓口」より「半沢直樹」
「今から10年後の2026年、AIは東大に入る程度の知能を有すると思いますか？」──ガートナー ITインフラストラクチャ＆データセンターサミット2016に登壇した新井氏は冒頭、会場に向けて1つの質問を投げかけた。 この問いに「Yes」と挙手した人は、全体の80％以上にのぼった。「この質問の次に、どうしてYesと思うのかを聞くと、多くの人がビッグデータを活用した機械学習、最近ではディープラーニングの例を挙げる」という。 今年はAIが人間に勝つには10年かかるといわれていた囲碁の世界で、グーグル傘下のDeepMindが開発した「AlphaGo」が世界チャンピオンに4対1で大きく勝ち越して、世間を驚かせた。東大は日本一難しい大学だが、それでも毎年約3000名が入学する。プロ棋士になるほうが難しい。そのプロ棋士にAIは勝った。 「だったら東大に入ることはそれほど難しくはないのではないかと皆さんは考
Common Lispによる深層学習ライブラリMGL - masatoi’s blog
昨今の機械学習界隈では何故かPythonやRのライブラリが多いのだが、Common Lispも高速なネイティブコンパイラを持ち、C/C++のライブラリも呼べるので、機械学習にも問題なく使える。 実際にCommon Lispで実装された深層学習を可能とするライブラリにMGLがあり、GithubでMITライセンスで公開されている。そんなわけで、先月のLispmeetup #39でMGLを紹介してきた。これがそのときのスライド。 Lispmeetup #39 MGLの紹介： Common Lispによるディープラーニング from Satoshi imai MGLの作者Gábor Melis氏はKaggleの2014年の機械学習コンペHiggs Boson Machine Learning Challengeの優勝者で、今はDeepMindにいるらしい。このコンペのコードが公開されているが、MG
シモセラ エドガー ラフスケッチの自動線画化
本研究では、畳込みニューラルネットワークを用いてラフスケッチを線画に自動変換する手法を提案する。既存のスケッチ簡略化手法の多くは単純なラフスケッチのベクター画像のみを対象としており、スキャンした鉛筆画など、ラスター形式の複雑なラフスケッチを線画化するのは困難であった。これに対し提案手法では、3種類の畳込み層から構成されるニューラルネットワークモデルによって複雑なラフと線画の対応を学習することで、ラスター形式の様々なラフスケッチを良好に線画化することができる。提案モデルでは、任意のサイズやアスペクト比をもつ画像を入力として扱うことが可能であり、出力される線画は入力画像と同じサイズになる。また、このような多層構造をもつモデルを学習させるため、ラフスケッチと線画がペアになった新しいデータセットを構築し、モデルを効果的に学習させる方法を提案した。得られた結果についてユーザテストを行い、提案手法の性
ディープラーニングであり得そうな間取り画像を生成させてみる - LIFULL Creators Blog
こんにちは。おうちハッカー@リッテルラボラトリーの石田です。 今日は、HOME'Sで大量に保持している間取り画像を使って、ディープラーニングの手法の一つであるDCGANを使い、あり得そうな間取りを生成させてみました。 DCGANとは？ Deep Convolutional Generative Adversial Networkの略で、画像を生成する手法です。 データセットを元に画像を生成する生成器と、生成された画像かデータセット画像かを見分ける判別機の2つのニューラルネットワークを交互に学習させることで、 データセットのような画像を生成します。 論文はこちらです。 またNextremerさま主催の機械学習勉強会で、発表されていた方の資料もあります。 Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料 昨年
D-Waveの量子コンピュータは「1億倍高速」、NASAやGoogleが会見
カナダD-Wave Systemsの量子コンピュータ「D-Wave 2X」が「組み合わせ最適化問題」を既存のコンピュータに比べて最大1億倍（10の8乗倍）高速に解いた――。米航空宇宙局（NASA）、米Google、米大学宇宙研究連合（USRA）は2015年12月8日（米国時間）、シリコンバレーにある「NASA Ames Research Center」で記者会見を開いて発表をした（写真1）。 NASAやGoogleは2013年5月に「Quantum Artificial Intelligence Lab（QuAIL、量子人工知能研究所）」を設立し、これまで2年間にわたってNASA Ames Research CenterでD-Waveの量子コンピュータを運用し、性能のテストなどを行ってきた。2015年9月には「0」と「1」の情報を重なり合った状態で保持できる「量子ビット」を1000個以上搭
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
lotz on Twitter: "オートマトンの機械学習への応用入門。オートマトンとテンソルの類似性とかオートマトン上の自動微分の話が書いてあって面白い／ An Introduction to Weighted Automata in Machine Learni… https://t.co/l4IoKzfPzA"
https://twitter.com/ogawa_yutaro_22/status/1360735147117539328
突然かつ急激な産業革命的パラダイムシフト、翻訳屋のロゼッタが機械翻訳の飛躍的な向上に白旗宣言 : 市況かぶ全力２階建
TechCrunch
MakeGirlsMoe
アニメ技術開発の研究材料に。東北ずん子がデータ２８０００枚提供
TechCrunch
【後藤弘茂のWeekly海外ニュース】 NVIDIAが主催するGTCに、ディープラーニング専用チップ「Eyeriss」が登場
https://staff.aist.go.jp/k.takabatake/takabatake04.pdf
アニメ顔認識を支える技術 by kivantium さん - niconare
