Facebookが開発した圧縮アルゴリズムZstandardについて調べた(非常に高速)(今日から使えます) - Lambdaカクテル
Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧
おわりに - なぜ機械学習はうさん臭く感じられるのか? / 真面目なプログラマのためのディープラーニング入門
本講座では計8回にわたり、ディープニューラルネットワークの原理と実装について 説明してきた。ニューラルネットワークの原理は基本的には 勾配降下法であり、その基盤となっているのが関数の微分可能性である。 ニューラルネットワークにはさまざまな形態が存在するが、 画像処理・画像認識の場合は畳み込みニューラルネットワークが非常に 有効であることがわかっている。また、ニューラルネットワークの 出力形式や損失関数を変えることにより、ニューラルネットワークが 物体検出や奥行き推定など、さまざまなタスクに利用可能であることを紹介した。 さて、本講座は「真面目なプログラマのための」ディープラーニング入門、 と銘打っている。真面目なプログラマとは何か? 諸説いろいろあるだろうが、 多くのプログラマは、ソフトウェア開発において 仕様の明確さや、 システムの効率・堅牢性、そして 保守のしやすさといったものを 追求
デバッグ力を高める！ ～5 年間の経験から学んだ、競プロ・アルゴリズム実装におけるバグ取りの戦略～ - Qiita
こんにちは、大学 1 年になったばかりの E869120 です。 私は 5 年前に趣味で競技プログラミングを始め、AtCoder や日本情報オリンピックなどに出場しています。ちなみに、2021 年 5 月 5 日現在、AtCoder では赤（レッドコーダー）です。 今回は、アルゴリズムや競技プログラミングの問題を速く解くために必要な、効率的なデバッグの方法について記したいと思います。是非お読みください。 1. はじめに 皆さんがプログラミングの問題を解いていく際に、次のような場面に遭遇したことはありますでしょうか。おそらく、読者の大半が「はい」と答えると思います。 ソースコードに謎のミスを埋め込んでしまったせいで D 問題が解けない… ああ、プログラムを 1 文字変えただけで WA（不正解）が AC（正解）に変わった、悲しい… このように、プログラムにバグ（プログラム実装上のミス）を埋め込
遺伝的アルゴリズムでエッチな絵を作る試み、ついにどこからどう見てもセクシーなお姉さんが出現
群青ちきん @miseromisero エッチな画像が欲しかったので、遺伝的アルゴリズムでエッチな画像を生成するシステムを開発しました。サイトでみなさんの好みを送り続けると、だんだんとエッチな画像が表示されるようになるはずです。 エッチな画像を作るために、よければRT等お願いします。 gamingchahan.com/ecchi 2021-01-10 19:24:01
遺伝的アルゴリズムでエッチな画像を作ろう！
おわり 二つの画像のうち、どっちの方がエッチかを選んでください。 世代交代を経るごとに、だんだんとエッチな画像が表示されるようになるはずです。 Choose the lewder one, and you can make them more lewd. You will win when the AdSense on this site is stopped by Google because of "Sexually explicit content". ENGLISH よりエッチな画像を作るために、 ぜひ色んな人に広めてください。 ツイート ・展覧会ページでこれまでの画像を公開しています。 詳しい説明 スポンサーリンク みんなの好みを学習させて、「遺伝的アルゴリズム」によってエッチな画像を自動で作るためのシステムです。 遺伝的アルゴリズムとは、あるデータを目標に近づけるために使われる
PFN、PyTorchユーザ向けに深層強化学習ライブラリ 「PFRL」を公開 | AI専門ニュースメディア AINOW
最終更新日： 2021年12月13日 株式会社Preferred Networks（PFN）は、PyTorchユーザー向けの深層強化学習ライブラリ「PFRL（ピーエフアールエル）」を、2020年7月30日にオープンソースソフトウェア（OSS）として公開しました。 PFRLは、PFNが深層学習フレームワークをChainerからPyTorchへ移行してPyTorchコミュニティと連携を強化する一環で、ChainerRLの後継ライブラリとして公開されました。 PFNは2019年12月に深層学習フレームワーク「Chainer」のメジャーアップデートを終了すると発表し、研究開発基盤をFacebook社の「PyTorch」に順次移行しました。 【PFRLの特長】 最新の研究に基づく深層強化学習アルゴリズム・深層強化学習機能が実装。それらを比較したり、組み合わせたりして実験することが可能。 特に重要な9
食べログの得点計算についてのポジティブな可能性を考えるー操作されたデータを検証する難しさー（井上明人） - エキスパート - Yahoo!ニュース
久しぶりのyahoo個人への投稿となりますが、この記事を公開するのは、正直、気が重いな、と思いつつ、公開します。 というのも、今、食べログに対して非常にネガティブな解釈が広がっているわけですが、何かしらポジティブな材料を提供するとなると、確実にいろいろ言われるだろうなあと思って気が重くて仕方がないのですが、ただ、人生の一時期、食べログにハマっていた人間として、論点として提供されるべきポイントが、提供されていないと感じましたので、本記事を公開する次第です。 ◆食べログの評価点数分布の「不自然さ」 さて、近年、食べログの点数評価アルゴリズムは、頻繁にその不正を疑われ議論になっています。 2016年には、評価アルゴリズムのリセットがあった際には、いくつかの店舗がいきなり3.0の点数にリセットされるなどといったことがあり、記事にもなりました。 そして10月8日に、藍屋えんさんという方が、ご自身のブ
強化学習における好奇心
【2020年アップデート版】 強化学習では，環境で得られる報酬がスパースである場合，うまく学習することができない．この問題を解決するための手法として，強化学習のエージェントに「好奇心」を与える研究が注目されている．本スライドでは，深層強化学習の登場以降に発表された「好奇心」を利用した強化学習の研究をまとめた．特に主要ベンチマークであるMontezuma's Revengeで高いパフォーマンスを発揮したアルゴリズムについて詳しく解説する．また，「好奇心」による探索を報酬がスパースな場合以外の強化学習に適用した場合の最新研究についても紹介する． 現在は，本資料の修正・アップデート版を以下で公開しています． 【強化学習における好奇心】 https://www.slideshare.net/ShotaImai3/curiosity-reinforcement-learning-238344056
1億円のルーターを200万円のPCで実現、NTTコム製ソフト「Kamuee」の正体
数千万円から1億円程度のコアルーターは、専用ハードウエアを搭載して性能を高めている。一方、ソフトウエアとしてルーター機能を実装するソフトウエアルーターは、Linuxを搭載したパソコンで動作するため安価にルーターを実現できるが、性能は高価なコアルーターよりも1桁から2桁低い。 この常識を打ち破るソフトウエアルーターが現れた。NTTコミュニケーションズが開発し、2018年6月に発表した「Kamuee」だ。200万円程度のパソコンと1枚10万円程度のネットワークカードを複数組み合わせて使えば、高価なコアルーターと同等の性能を実現できるという。 Kamueeの速さの秘密は、NTTコミュニケーションズと東京大学が共同開発した画期的なアルゴリズムと、米インテル（Intel）が開発した新技術にある。 キャッシュ内で処理が完結 従来のソフトウエアルーターの性能が低かったのは、大きく二つの課題を抱えていたか
演算量は従来の10分の1、コンパクトな人工知能
三菱電機は、車載機器や産業ロボットなどに搭載できる「コンパクトな人工知能」を開発した。演算量を従来の10分の1に削減しても、従来と同等の推論結果が得られる機械学習アルゴリズムを開発したことで実現した。 三菱電機は2016年2月、車載機器や産業ロボットなど組み込み機器に搭載できる「コンパクトな人工知能」を開発したと発表した。演算量を従来の10分の1に削減しても、従来と同等の推論結果が得られる機械学習アルゴリズムを新たに開発したことで実現できた。 システムがデータの特長を学習して、事象の認識や分類を行う機械学習は、高度な推論を行うため、多層のネットワーク構造を用いる。このため、センサーからのデータ入力が増大すればするほど、その演算量や使用するメモリ容量は加速度的に増加するため、これまでは機器側で対応することが難しく、大規模サーバや広帯域ネットワークの環境が必要となっていた。 新たに開発した機械
競馬の解析をガチでやったら回収率が100%を超えた件 - stockedge.jpの技術メモ
記事のタイトル通り、競馬で回収率100%を超える方法を見つけたので、その報告をする。 ちなみに、この記事では核心部分はぼかして書いてあるため、読み進めたとしても「競馬で回収率100%を超える方法」が具体的に何なのかを知ることはできない。（私は本当に有効な手法を何もメリットが無いのに公開するほどお人好しではないので） 本当に有効な手法を見つけたいのであれば、あなた自身がデータと向き合う以外の道は無い。 ただし、大まかな仕組み（あと多少のヒントも）だけは書いておくので、もしあなたが独力でデータ解析を行おうという気概のある人物なのであれば、この記事はあなたの助けとなるだろう。 ちなみに、これは前回の記事の続きなので、読んでない方はこちらからどうぞ。 stockedge.hatenablog.com オッズの歪みを探す さて、前回からの続きである。 前回の記事のブコメで「回収率を上げたいならオッズ
kuromoji.js使って構文解析した - Qiita
こんにちは、らこです。先日から話題になってるJavaScriptの形態素解析器kuromoji.jsを使って、確率自由文脈文法で構文解析してみました。(注意:アルゴリズムの解説記事 ではない です) 結論 kuromoji.js遊びまくれるのでみんな使おう kuromoji.d.ts書いた 私は型大好き人間なのでTypeScript使ってkuromoji.js使いました。型定義ファイルは自分が使う部分だけエイヤっと自作しました(laco0416/kuromoji.d.ts)。 あと、プロジェクトに↑の自作型定義ファイルを読み込むのにdtsm使いました。tsd使ってたのが馬鹿らしくなるくらい便利です。作者のvvakameさんによるわかりやすい紹介はこちら 確率自由文脈文法とは ちゃんと説明すると長くなりますしうまく説明できる自信もないので、ばっさりカットします。 雰囲気つかむにはここらへんを
ロスレス圧縮アルゴリズムの歴史
江添亮 自由ソフトウェア主義者 C++ Evangelist C++標準化委員会の委員 ドワンゴ社員 C++11本を執筆した。 株式会社ドワンゴで働いている。 Mail:boostcpp@gmail.com Twitter:@EzoeRyou GitHub: https://github.com/EzoeRyou 江添亮のマストドン@EzoeRyou 筆者にブログのネタを提供するために、品物をアマゾンお気に入りリスト経由で送りたい場合： Amazon.co.jp: 江添亮: 江添のほしい物リスト 筆者にブログのネタを提供するために、直接に品物を送りたい場合、住所をメールで質問してください。 View my complete profile ► 2020 (31) ► December (2) ► November (2) ► September (2) ► August (4) ► Jul
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ライス大学研究チーム、GPUを使わずにディープラーニングを高速化するアルゴリズムを開発
TechCrunch | Startup and Technology News
プログラムを高速化する話
ChordアルゴリズムによるDHT入門