確率的プログラミングライブラリ「Edward」まとめ – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト Edwardで何ができるのか知らなかったので、忘備録として残しておきます。 目次 ・Edwardとは ・Edwardでできること ・参考スライド ・参考文献 Edwardとは ・LDAで有名なコロンビア大のBlei先生の研究室で、2016年より開発されている確率的プログラミング(( プログラミング言語の変数をモデルの構成要素として使うプログラミング))のPythonライブラリ。 ・積み木のように明快な形で確率的モデリングを行うことができる。（モデル→推論→評価 を一括
バンディットアルゴリズム入門と実践
Tokyowebmining発表用資料です。複数の選択肢がある場合に、どのように選択を行うのが効率的なのか？という問題を解決するためのアルゴリズムです。
すらるど 「これはグーグルが欲しがるな」東工大の開発したネットから情報を取得して学習するアルゴリズムに海外も騒然
スライス・オブ・ワールド、略してすらるど。旧タイトル『海外の反応とか』。海外の反応をヘッポコな翻訳力で紹介しています。 東京工業大学 長谷川修准教授のグループの開発した機械学習アルゴリズム「SOINN」は画像に対してキーワードを与えてやるとネットでそのキーワードを検索して特徴を学習し、似た画像でも以前見せた画像と同じものだと認識するようになります。 この技術を使えば画像だけでなく音や動画からも特徴を拾って学習することが可能になるとのこと。 この動画を見た海外の反応です。 参考リンク：diginfo.tv 人工脳「SOINN」を用いて、ネット上の画像から高速機械学習 #DigInfo SOINN artificial brain can now use the internet to learn new things #DigInfo ↓この動画につけられたコメント ●オーストラリア 機械が
基盤(S)離散構造処理系プロジェクト（北海道大学サイト）
日本科学未来館第11期メディアラボ展示「フカシギの数え方」 日本科学未来館では， 2012年8月1日～2013年2月25日（追記：会期は4月15日まで延長になりました）の期間で， 当プロジェクト共催のメディアラボ第11期展示 「フカシギの数え方 The Art of 10^64 -Understanding Vastness-」 を公開しています． 展示タイトルにある「不可思議（フカシギ）」とは，万，億，兆， 京などと続く数の単位で10の64乗のこと． 実は，電車の乗り換えや電気の配電網など， さまざまな組み合わせの中から最適なものを選ぼうとすると， その選択肢は10の64乗という膨大な数になることも珍しくありません． 超高速アルゴリズムは， こうした膨大な組み合わせの中から最適な答えを計算によって効率的に導き出します． その計算の「技」や，この「技」で私たちの未来はどう変わるのかを体感し
自然言語処理と AI(PDF)
自然言語処理と AI 東京大学大学院 工学系研究科 鶴岡 慶雅 概要 • 自然言語処理と AI • ゲーム AI アルゴリズム – Comparison training • コンピュータ将棋、ミニマックス探索、評価関数 – Monte Carlo Tree Search (MCTS) • コンピュータ囲碁、モンテカルロ法、多腕バンディット – CounterFactual Regret Minimization (CFR) • ポーカー、ゲーム理論、ナッシュ均衡 • まとめ 自然言語処理と AI • 人工知能（Artificial Intelligence, AI） – 知的な情報処理システムを作る – 推論、知識表現、プランニング、学習、自然言語処理、 認識 • ゲーム AI – ゲームの思考エンジン • オセロ、チェス、将棋、囲碁、ポーカー、StarCraft, etc
Python：回帰分析 : 分析技術とビジネスインテリジェンス
今回はPythonによる回帰分析（OLS：Ordinary Least Squares）の実施方法をまとめる。 まずは最小2乗法に基づく重回帰式の作成と結果表示方法を取り上げる。 ライブラリの使い分けについては調査のしやすさを優先しているが、回帰分析については統計モデルはOrange、予測モデルはscikit-learnでやろうかなと考えている。 本来はすべてを統一したいが、後者ライブラリは回帰分析の結果表示で、p値や偏回帰係数の出力が無いようだし、ステップワイズの実施方法も見当たらなかった。しかし、予測モデルとなれば、その精度と堅牢性を高めることが目的となり、p値などに言及しなくても説明責任は果たせるので、逆にscikit-learnのシンプルさが生かせると思っている。 ■ライブラリ >>> import Orange >>> from padnas import * ■データ >>>
ChordアルゴリズムによるDHT入門
Chordアルゴリズムの解説ページです。 掲載コンテンツへのリンク先を変更する可能性があるので、ブックマークやリンクは、このページにお願いします。 Chordは、DHT（Distributed Hash Table）と呼ばれる種類のPeer-to-Peerアルゴリズムです。 特に、構造化オーバレイ（Structured Overlay Network）と呼ばれるルーティング手法に特徴があります。 解説スライドでは、そもそもDHTとは何なのかという初歩的なことから、successorやpredecessor、finger tableと呼ばれるChordの有名な経路表の解説や、多くの解説ではあまり触れられることがないけれどもきわめて重要である、ネットワークの構築方法（join・stabilize）についても詳細に解説しています。 スライドのページ数は多いですが、１ページ当たり平均数秒で読めるは
NAVER まとめ サジェスト検索のしくみ « NAVER Engineers' Blog
こんにちは、NAVER Japan 検索サービス開発１チームで開発を担当している金森です。 先日「NAVER まとめ」にトピック機能を追加しましたが、そのタイミングでまとめサービス内で使用しているサジェスト検索機能のリプレイスを行いました。 今回このブログでは、実装したサジェスト検索の仕組みと、日本語入力ならではの諸々の面倒くさい問題とその対応について紹介したいと思います。 目次 まとめにおけるサジェスト検索 使用した技術 全体的な検索の流れ サジェストのためのローマ字変換 拗音のローマ字変換 入力途中の文字 「いんてｒねｔ」の対応 ローマ字変換のまとめ その他注釈など まとめ 今後の課題 1. まとめにおけるサジェスト検索 サジェスト検索は皆さんお馴染みのとおりの機能で、簡単に言うと「検索語の入力中に検索候補が表示されるもの」と言えるかと思います。 まとめサービスでは、Web版の画
N-gram かな漢字・漢字かな変換(C++版) - アスペ日記
作った。 リポジトリはこちら。 https://github.com/hiroshi-manabe/ngram-converter-cpp 以前、N-gram 漢字-かな変換という記事で、N-gram を使ったかな漢字・漢字かな変換を公開した。 内部で使用しているアルゴリズムについては、可変次数 N-gram デコードのアルゴリズムの記事や、N-gram かな漢字変換 （スライド）で紹介した通り。 精度は、http://d.hatena.ne.jp/nokuno/20111103/1320317225で検証していただいた通り、それなりに出ていたと思うが、いかんせん速度が遅いのが問題だった。ちょっと長い文章を変換すると数秒間も時間がかかってしまう。これでは実用にならない。 それで、仕事を辞めて時間があるので、それを C++ で書き直してみた。N-gram の保存には、Faster and S
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
転置インデックスを実装しよう - mixi engineer blog
相対性理論のボーカルが頭から離れないmikioです。熱いわっふるの声に応えて今回はTokyo Cabinetのテーブルデータベースにおける検索機能の実装について語ってみたいと思います。とても長いのですが、最後まで読んだあかつきには、自分でも全文検索エンジンを作れると思っていただければ嬉しいです。 デモ モチベーションをあげていただくために、100行のソースコードで検索UIのデモを作ってみました。Java 6の日本語文書を対象としているので、「stringbuffer」とか「コンパイル」とか「倍精度浮動小数」とかそれっぽい用語で検索してみてください。 インデックスがちゃんとできていれば、たった100行で某検索エンジン風味の検索機能をあなたのデータを対象にして動かすことができます。ソースコードはこちら（テンプレートはこちら）です。 でも、今回はUIの話ではないのです。ものすごく地味に、全文検索
algorithm - 基数木 + 平衡二分探索木 = 三分探索木 : 404 Blog Not Found
2012年01月22日16:36 カテゴリアルゴリズム百選翻訳/紹介 algorithm - 基数木 + 平衡二分探索木 = 三分探索木 珠玉のプログラミング Jon Bentley /小林健一郎訳 最有力候補は、これかも。 Ternary search tree - Wikipedia, the free encyclopedia 三分探索木 - Wikipedia 404 Blog Not Found:algorithm - Patricia Trie (Radix Trie) を JavaScript で最近のTrie研究の傾向は、要素の動的変更が自在にできる一般向けのものではなく、一旦作成したら要素の追加と削除が困難な代わりにものすごくコンパクトになる、簡潔データ構造の応用手段の方に偏っていると素人目に感じるのですが、そろそろJudyたんのごとくハッシュテーブルとガチで闘うとか、逆
Algorithm - 連想配列の実装としてのハッシュはオワコン? : 404 Blog Not Found
2012年01月17日11:45 カテゴリアルゴリズム百選Tips Algorithm - 連想配列の実装としてのハッシュはオワコン? 珠玉のプログラミング Jon Bentley / 小林健一郎訳 つまり「終わったコンテナ」。 以前からうすぼんやりと考えて来た危惧が、すこしはっきりと見えてきた。 徳丸浩の日記: Webアプリケーションに対する広範なDoS攻撃手法(hashdos)の影響と対策 もうそろそろハッシュ(テーブル)以外の手段の連想配列の実装手段を本格的に模索するべきではないか、と。 そのデータ構造は、君の魂を差し出すに足るものかい? 連想配列(Associative array)がコレクション(Collection)、すなわち数多のデータ構造をまとめるデータ構造としての覇者となったのはもはや疑いようがない事実でしょう「配列で実装されるデータ構造ではなくて、配列を実装するデータ構
大規模グラフアルゴリズムの最先端 - iwiwiの日記
昨日，PFI セミナーにて「大規模グラフアルゴリズムの最先端」というタイトルで発表をさせてもらいました．スライドは以下になります． 大規模グラフアルゴリズムの最先端 View more presentations from iwiwi 当日は Ustream もされており，録画された発表もご覧になれます． http://www.ustream.tv/recorded/19713623 内容の流れとしては，以下のようになっています． 導入 アルゴリズム界隈での話題 最新の研究動向 道路ネットワークでの最短路クエリ処理 基礎的な手法：双方向 Dijkstra，A*, ALT 最新の手法：Highway Dimension + Hub-Labeling Algorithm DB 界隈での話題 最新の研究動向 複雑ネットワークでの最短路クエリ処理 基礎的な手法：ランドマークを用いた最短距離推定 最
データマイニング・アルゴリズムのトレンド
HDDの大容量化と分散処理技術の発達でビッグデータの処理が容易になってきたので、ここ数年はデータマイニングが地味なブームになっている（NYT - For Today’s Graduate, Just One Word: Statistics）。2000年代前半のデータウェアハウスのブームではコンセプトだけが先走っていた（大園(2002)）ので、随分と地に足がついた感じだ。しかし人気のアルゴリズムを見ている限りは、まだ十分にデータ分析がされているように思えない。 1. 10年間でソフトウェア的に進歩 地に足がついていると言うのは、ソフトウェア的に色々な面で進歩が見られたことだ。ビッグデータの利用が可能になった事から、応用事例が増えているように思える。 1. 分散処理技術の進歩によるビッグデータの利用 ハードウェア技術の進歩による高速化も著しいが、分散処理技術の進歩はビッグデータの利用を容易に
グーグルはコードの品質向上のため「バグ予測アルゴリズム」を採用している
グーグルでは、社内のプログラマによって作り出される大量のコードの品質を保つため、チェックイン前にユニットテストとコードレビューが行われているそうです。しかし、コードが大量になってくると、ユニットテストやレビューをすり抜けるバグも少なからず発生します。 そこでコードの品質をさらに高めるために、グーグルでは「バグ予測アルゴリズム」を採用。バグがありそうな部分をレビュアーにアドバイスする仕組みを採用したとのこと。 そのバグ予測アルゴリズムとはどんなものなのか。Google Engineering Toolsブログに投稿されたエントリ「Bug Prediction at Google」（グーグルにおけるバグ予測）で説明されています。 ソースコードの修正履歴を基に予測 コードの中にバグがありそうな箇所を分析する手法としては、「ソフトウェアメトリクス」がよく用いられます。これはコードを静的に分析して、
素数列挙について - MugiCha
Competitive Programming Advent Calendar 3日目は、数学っぽい話をしたいと思います。 N以下の素数をすべて求めよ。 N以下の素数の個数を求めよ。 A以上B以下の素数の個数を求めよ。 こんな感じの問題を見たことがあると思います。また問題としてでなくても、解く過程にこのようなサブ問題を解かなければいけない場合もよくあると思います。素数については説明しなくてもいいですよね？ このような問題を素数列挙と呼ぶことにします。素数列挙ができれば、大きい数の素数判定や素因数分解をめっちゃ高速化したり、トーティエント関数、メビウス関数等、数学系のいろんな関数を求めたりできます。最近のもので素数列挙がほぼ必須のものだと Codeforces Beta Round #86 (Div. 1 Only) C. Double Happiness ICPC 国内予選 2011 A
電子情報通信学会知識ベース ｜2編 計算論とオートマトン
知識ベースのなかから適切なテーマを選りすぐって企画されたものです．内容に関しては新規執筆も含めて，より分かりやすく再編集されています．いわば学会の知の結晶を，皆様により充実した形でお届けするものです． 本シリーズを通じて，電子情報通信の最先端分野の面白さを堪能して頂ければ幸いです． 企画代表 原島 博「刊行のことば」より ●感覚・知覚・認知の基礎 乾 敏郎 監修 →詳細はこちら ●医療情報システム 黒田 知宏 監修 →詳細はこちら ●画像入力とカメラ 寺西 信一 監修 →詳細はこちら ●宇宙太陽発電 篠原 真毅 監修 →詳細はこちら ●電子システムの電磁ノイズ −評価と対策− 井上 浩 監修 →詳細はこちら ●マイクロ波伝送・回路デバイスの基礎 橋本 修 監修 →詳細はこちら ●将来ネットワーク技術 −次世代から新世代へ− 浅見 徹 監修 →詳細はこちら ●ネットワークセキュリティ 佐々木
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ページ移転のお知らせ
その数式、プログラムできますか？ | SEshop.com
