他人のパソコンのＣＰＵ（処理装置）を借用して、仮想通貨のマイニング（採掘）を手伝わせる「コインマイナー※」。仮想通貨ブームもあって話題になっているが、そのプログラムをサイトに設置している運営者たちが、不正指令電磁的記録（ウイルス）供用や保管などの容疑で相次いで摘発されている。コインマイナー用のプログラムが「ウイルス」と判断されたからだが、技術者からは疑問や反発の声も出ている。なぜなのか。 【用語解説】コインマイナー 仮想通貨取引の正しさを証明するための計算作業に参加し、対価として仮想通貨を入手することを金の採掘に例えてマイニングと呼ぶが、計算には高性能なコンピューターが必要だ。このため、他人のコンピューターの処理能力を借用して行おうとするのがコインマイナー。今回、捜査対象となっているのは、自分の運営サイトにコインマイナー用のプログラムを設置していたケースだが、このほか、第三者がサイトを改ざ
A/Bテストの数理 - 第1回：人間の感覚のみでテスト結果を判定する事の難しさについて - - doryokujin's blog
データ解析の重要性が認識されつつある（?）最近でさえも，A/Bテストを始めとしたテスト（ = 統計的仮説検定：以後これをテストと呼ぶ）の重要性が注目される事は少なく，またテストの多くが正しく実施・解釈されていないという現状は今も昔も変わっていないように思われる。そこで，本シリーズではテストを正しく理解・実施・解釈してもらう事を目的として，テストのいろはをわかりやすく説明していきたいと思う。 スケジュール スケジュール 第1回 [読み物]：『人間の感覚のみでテスト結果を判定する事の難しさについて』：人間の感覚のみでは正しくテストの判定を行うのは困難である事を説明し，テストになぜ統計的手法が必要かを感じてもらう。 第2回 [読み物]：『「何をテストすべきか」意義のある仮説を立てるためのヒント』：何をテストするか，つまり改善可能性のある効果的な仮説を見いだす事は，テストの実施方法うんぬんより本質
日本経済新聞
日本経済新聞の電子版。日経や日経ＢＰの提供する経済、企業、国際、政治、マーケット、情報・通信、社会など各分野のニュース。ビジネス、マネー、IT、スポーツ、住宅、キャリアなどの専門情報も満載。
自然言語処理を活用したwebサービスをつくるときに参考になる5冊の書籍 - EchizenBlog-Zwei
自然言語処理を活用したwebサービス開発に関わって5年以上経った。いい機会なのでこれまでを振り返って役に立ったと思う5冊をメモしておく。 1.珠玉のプログラミング―本質を見抜いたアルゴリズムとデータ構造 まずはこれ。有名な本なので知っている人も多いと思う。簡単に説明するとちょっと前に「フェルミ推定」という名前で流行ったような、データから必要な数値を概算する方法や、問題が起きたときに問題点がどこにあるのか？最小の労力で解決するにはどこをいじればよいのか？などが書いてある。「webサービスで自然言語処理だ！」というと無限に夢が広がりがちなので、どういうデータが使えるのか、それをどういう形にもっていけばイケてるサービスになるのか、それはどのくらいの期間で実現できるか、ということを考える必要がある。そういうわけで本書は真っ先に読むべき一冊なのでは(余談だけれど、以前M << Nなデータに対してO(
こんばんは。夜の@oscillographです。 最近DMMアダルトがAPIを公開しました。 つまり、プログラムで直接データを取得できるようになったわけです。 ということで、今回はDMMアダルト（動画）の全タイトルを取得して 形態素解析を行うことによって日本のAVタイトルの特徴を分析しよう ということになりました。 手順としては、 DMM（ビデオ）のメーカーページを「あ」～「ん」までHTMLで取得 メーカーが特定タグに囲われていたので、正規表現パターンマッチで全メーカーを取得し、メーカー羅列をテキストに保存 テキストを読み込みながら各AVメーカーごとにapiを用いてAVタイトルを展開し、全メーカーのタイトルを取得 タイトルについて形態素解析を行うことによって単語を集計 正規化（全体の数で割ることによって割合で表す） という感じでやりました。 とりあえず、集計結果です。 上位３０位を抜き出し
数式処理ソフトなんか使ったらダメ人間になると心配の（親・教師は放っておけ）よい子におくる。 昔々、Mathematicaという数式処理ソフトを教えてくれた人がこんなこと言った。 「コンピュータを使って、今まで１０の労力が必要だったことが３の労力で済むのだとしたら結構な話だろう。Mathematicaがもたらすのも、それと同じことだけれど少し違う。これまで１０００の労力が必要だったことが３００程度で何とか可能になって、一生を棒に振る範囲で済みそうになる。自分の分野の先達たちが目標にすること自体をあきらめてきたものが、バトンの形になって手渡される。Mathematicaを使うというのは、そういうことなんだ」 数式処理ソフトは計算できない子を作るか？ 数式処理ソフトは微積分もできれば、方程式も解けるし、グラフも描ける。 「解を求めよ」みたいな問題はだいたい解けるから、今でも 「そんなものを生徒・
適当な単語群を含む辞書があったとします。「京都の高倉二条に美味しいつけ麺のお店がある」*1という文章が入力として与えられたとき、この文章中に含まれる辞書中のキーワードを抽出したい、ということがあります。例えば辞書に「京都」「高倉二条」「つけ麺」「店」という単語が含まれていた場合には、これらの単語(と出現位置)が入力に対しての出力になります。 この類の処理は、任意の開始位置から部分一致する辞書中のキーワードをすべて取り出す処理、ということで「共通接頭辞検索 (Common Prefix Search)」などと呼ばれるそうです。形態素解析、Wikipedia やはてなキーワードのキーワードリンク処理などが代表的な応用例です。 Aho Corasick 法 任意のテキストから辞書に含まれるキーワードをすべて抽出するという処理の実現方法は色々とあります。Aho Corasick 法はその方法のひと
「毎日の数字を追いかけ、毎日改善する」ことの意外な落とし穴 - 渋谷駅前で働くデータサイエンティストのブログ
（※今回の記事の内容はかなり難解かもです） 大竹文雄の経済脳を鍛える（2月13日分記事） 幾何ブラウン運動と見せかけの回帰 - My Life as a Mock Quant 得てして多くの企業では、「毎日の数字（売上高・利益・在庫etc.）を追いかけ」、「その結果を元手に毎日改善する」ということを日々励行しているのではないかと思います。 ところで、こんな体験したことはありませんか？ 「毎日毎日、物凄く一生懸命数字を見ながら頑張ってカイゼンし続けて、確かに頑張った時は数字は上がったし、頑張りが足りない時は数字が下がった。それに一喜一憂しつつもずっと物凄く頑張り続けた・・・でも、あれからもう数ヶ月経ったのに全体としては数字は下がってきている。どうしてなんだろう？？？」 なるほど、もしかしたらその時の改善努力が正しくなかったのかもしれません。でも、実は「そもそも改善努力と数字とは何の関係もなか
東京の夏が｢昔より断然暑い｣決定的な裏づけ
厳しい暑さが続いている。比較的過ごしやすい日の多かった昨年とは異なり、今年は最高気温が35度を超える「猛暑日」が7月に入ってから各地で相次ぐ。気温は下がる気配を見せず、18日には岐阜県多治見市で気温が40.0度まで上がった。 全国的に見ても40度以上を記録するのは2013年以来。7月の記録となると実に14年ぶりだ。気象庁は7月下旬まで気温の高い状態が続くとして、熱中症などに注意を呼びかけている。 昔と比べて暑くなっているのか さて、夏になるとしばしば話題に上るのが「昔と比べて夏は暑くなっているのか」という疑問だ。気象庁が今年6月に公表した「ヒートアイランド監視報告2017」によると、過去100年間で日本の気温は着実に上がってきた。その中でも特に温暖化の傾向が強いのが東京をはじめとする都市部だ。100年前と比べると、東京の年間平均気温は3.2度上昇した。天候に関するニュースでは夏の最高気温が
この度は、昨日より遡ること２週間の間、 閲覧者の皆様の端末で勝手に仮想通貨をマイニングし、 その収益をポッケナイナイしており大変申し訳ありませんでした。 深く謝罪申し上げます。 再発防止に努めて参る所存でございます。 というのも、今回私が私の管理するサイト「めしがくいたい」（以下、本サイト）上にこっそり仕込んでおりましたのは、Coinhiveというサービスのスクリプトでございます。 当該サービスを簡単に説明差し上げますと、 管理するWebサイト上に、特定のJavascriptを埋め込むことによって、 閲覧者様のマシンパワーを多少お借りし、スクリプト設置者のために仮想通貨（Coinhiveの場合、Moneroという通貨）をマイニングするというものであります。 もう少し詳細に説明致します。 Coinhiveとは https://coinhive.com こちらより登録いただけます。 Coinh
現在大学1年生の人で3年後には NAIST に (というか松本研に) 来たいという人から「どんなプログラミング言語やっておくといいですか」と質問されたりするのだが、なかなか答えるのは難しい。自分は Perl → Python がメインでときどき C++/C# を使ったりするのだが、どれが一番いいかはなんとも言えないので、自然言語処理以外に転向する可能性も考えると、C とか C++ とか Java とか(授業でそちらをやるのであれば)を最初の武器に選んだ方がいいのでは、と思ってはいる。 そんなこんなで最近 Hal Daume III (機械学習を用いた自然言語処理では非常に有名な人) のブログで Language of Choice というタイムリーなエントリーが出ていたので、紹介すると、「それなりに大きな自然言語処理のプロジェクトでどのプログラミング言語を使うのか」というアンケート結果が出
東京・銀座の和食店、がんこ銀座四丁目店。街の喧騒から隔離されたくつろぎ空間は、商談の場としても人気が高い。ここが、過去数回にわたり科学的・工学的アプローチによる「おもてなし研究のフィールド」になった。顧客が望む十分な接客ができているのか。それをつかむため"仲居さん"にセンサーを付け、行動を分析。おもてなしのレベルを高め、夜間の注文件数を4割伸ばすことに成功した。サービス業では、顧客の評価に直結
2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料 Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309
《Gunosy》開発チームから学ぶ、WEB業界人のための“統計学入門” | キャリアハック（CAREER HACK）
今、WEB業界で最もホットなテーマの一つである“統計学”。だが、一般的にはなかなか馴染みのない分野でもある。そこで、統計解析・データマイニングに基づいた高精度なパーソナルニュースキュレーションサービス《Gunosy》の開発チームを直撃。「はじめての統計学」と題し、統計学の基礎を教えていただいた。 今さら聞けない、統計学の基礎知識。 ここ最近、WEB業界において“統計”がキーワードになっている。だが、そもそも“統計学”は数ある専門分野の一つ。実はよく分かっていなくて…という方も、少なくないのではないだろうか？ 今回、その統計学について基礎の基礎から教わるべくお話を伺ったのが、話題のニュースキュレーションサービス《Gunosy》（グノシー）を手がける、福島良典さん、関喜史さん、吉田宏司さんの3名。まずは《Gunosy》について、簡単にご紹介しておこう。 左から、吉田宏司さん、福島良典さん、関喜
アイトラッキングなら一目瞭然！新「はてなブックマーク」が何となく見づらい理由 | マミオン有限会社-パソコン・数学研修、法人研修
先日リニューアルされた「はてなブックマーク」。 大幅なデザイン変更に対し、ネット上では賛否が分かれているようです。 【参考記事】 ・はてなブックマークのリニューアルがいけてない5つの理由 - enator's blog ・はてブリニューアル賛成論 個人的には「あぁ、見づらくなっちゃったな…」と感じましたが、何となく不満を訴えても仕方がないので、今回はその原因をマミオン得意の「アイトラッキング分析」を用いて考えてみることにしました。 綺麗な「F字型」を見せる旧デザインまずはリニューアル前のデザインについて分析ができればよかったのですが、時すでに遅し。代理として、以前のデザインに近い以下のサイトで分析を行ってみました。 Hatebu::Classic - 見慣れたデザインのはてなブックマーク 被験者は、30代男性である筆者1名です。いつものように、ホットエントリーをチェックする行動を行った結果
日刊SPA！に登場の医学生投資家、儲け自慢に熱を入れるあまり「11歳から親の口座で投資を始めた」と借名取引をうっかり告白
一般向けのDeep Learning
PFI 全体セミナーで発表した、専門家向けではなく一般向けのDeep Learning（深層学習）の解説です。どのような場面で活躍しているのか、今までの学習手法と何が違うのかを解説しています。
ホームページを閲覧しただけで、そのパソコンが本人の同意のないまま、仮想通貨を獲得するための「マイニング」と呼ばれるネット上の作業に違法に利用されているとして、関東など全国各地で、警察が摘発を進めています。一方、専門家の中には規制する法律の解釈が十分に定まっていないという指摘もあり、議論を呼んでいます。 このマイニングをめぐっては、ホームページの閲覧者のパソコンが本人の同意をえないまま利用されるケースが、去年秋ごろから全国で相次ぎ、関東など全国各地で警察が摘発を進めています。 警察庁によりますと、13日までに全国の10の県警が合わせて16人を検挙していて、このうち神奈川県警などは、神奈川県平塚市のウェブサイト運営業、荻野剛生容疑者（31）ら２人を、ホームページに特殊なプログラムを設定したうえで、閲覧者のパソコンを無断でマイニングに利用したとして、不正指令電磁的記録供用などの疑いで逮捕しました
情報が増えたため簡易まとめ 青字：管理人が実際に確認したもの 無改造でできること ・CrossFireのセカンダリ ・エンコード ・Win10のGPU割当でゲーム(OpenGL除く)(Haswell以降のiGPUのみ対応？) →APUはこうするといけるらしい？ https://twitter.com/MC7ek_/status/1084786259430526976 ・HDMIコネクタを使って内部的にレンダリング ・ダミープラグとiGPU併用でミラーリング(New！) ・MacのeGPU 隠しHDMIコネクタ復活改造でできること ・HDMIコネクタから映像出力 ・CrossFireのプライマリ →http://blog.livedoor.jp/miscmods/archives/15067124.html 更に改造するとできること ・HDMIコネクタ2つ目の増設 ※マイニング用に改造BIO
自身のサイトにマイニングソフト「Coinhive（コインハイブ）」を設置したとして、Webデザイナーのモロさんが不正指令電磁的記録 取得・保管罪（通称：ウイルス罪）に問われている事件で、3月27日、横浜地裁は弁護側の主張を認め、「無罪」（求刑：罰金10万円）を言い渡しました。 モロさんの代理人である平野敬弁護士 モロさんが事件についてまとめた「仮想通貨マイニング（Coinhive）で家宅捜索を受けた話」（モロさんのサイトより） 事件のあらまし サイト訪問者のPCのCPUを使ってWebブラウザ上で仮想通貨をマイニング（採掘）させる「Coinhive」を設置したことを巡り、複数の検挙者が出ている問題（通称：コインハイブ事件）。ねとらぼでは1月30日に「なぜコインハイブ『だけ』が標的に 警察の強引な捜査、受験前に検挙された少年が語る法の未整備への不満」との記事を、2月16日に「『お前やってること
photo by Régis Gaidot データセットとかの知見を集めました。 いいデータセットないかと調べる機会があったので、得た知見をまとめてみました。 これについてはすでに良い情報がすでにあったのでそのリンクも紹介します。 奥 健太 - 情報推薦研究ツールボックス grouplensのデータセットは、論文などにも利用されているのを見かけました。 注意点としては ・EachMovieなどは利用できない ・MovieLensやDelicious、Last.fmはdat形式のファイル ・WikiLensはdumpして使うようにされている ・Book-Crossingはcsvとsql ・jesterはExcelファイル ということです。 それ以外だと ようこそ - the Datahub 情報学研究データリポジトリ データセット一覧 livedoor グルメの研究用データセットです。 20
クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています． 分割後の各部分集合はクラスタと呼ばれます．分割の方法にも幾つかの種類があり，全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは，クリスプなクラスタといいます)や，逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト，または，ファジィなクラスタといいます)があります．ここでは前者のハードな場合のクラスタリングについて述べます．
少し前からだけど,Cookpadやはてなが広告システムエンジニアを募集している. クックパッド｜採用情報: 【技術部】アドシステムエンジニア http://info.cookpad.com/?page_id=113 求人情報：広告システムエンジニア - はてな http://www.hatena.ne.jp/company/staff/accountengineer 私個人の経験から,オンライン広告システムというのは検索やインフラ系と並び,インターネット系のシステムの中でもっともエキサイティングな分野の一つだと思っている.それにもかかわらず,狙って応募してくる人はあまりおらず,いつもいつも悔しい思いをしてきていたので,広告システムがいかにおもしろいかをちょっと述べてみたいと思う. その会社で一番アクセスを受けるところなのでおもしろい. 広告システムはそのサイトの全サービス上に配信する必要が
長文日記
データ分析とビジネス活用のプロとして、さまざまな業界・フィールドで活躍する「データサイエンティスト」。 スキルセットや必要な知識などが語られることはあるものの、まだはっきりとした定義がなく、いったいどんな人たちなのか？と疑問を持つ人も少なくないのでは。 そこで本企画では、企業で働くデータサイエンティストたちの"リアル"を調査。データサイエンティストを志した理由や興味深かった論文、普段の業務、自社で働く魅力などを22社、52人のデータサイエンティストに聞きました。 企業一覧 DataRobot Japan株式会社 株式会社GA technologies 株式会社HACARUS 株式会社JMDC 株式会社LIFULL MNTSQ株式会社 NABLAS株式会社 株式会社Rist Sansan株式会社 SOMPOホールディングス株式会社 株式会社ZOZO 株式会社ZOZOテクノロジーズ アスクル株
ここ最近で急に有名になった、”Coinhive” というサービスがあります。一言でいうと、ブラウザのJavaScriptを利用して仮想通貨 Monero を採掘するためのサービスで、Webサイトに導入することによって来訪者から直接収益をあげたりすることを目的にしています。 有名になったのには理由があって、ユーザーの許可を得ずに勝手に採掘をするサイトが問題になったためです。Pirate Bayの事例などが有名ですね。 個人的にCoinhiveのようなサービスは適切に使われる限り仮想通貨のキラーサービスになりうると期待しています。ここでCoinhiveがどのようなサービスなのか、技術とビジネス両方から注目してみようと思います。 2018-06-12追記: Coinhive をユーザーの許諾なしに利用していたサイトの管理者の方が神奈川県警に家宅捜索を受けたそうです。詳細は経緯の説明サイトを御覧く
Tokyowebmining発表用資料です。複数の選択肢がある場合に、どのように選択を行うのが効率的なのか？という問題を解決するためのアルゴリズムです。
統計を専門にしている訳ではない人と話していて感じた違和感があったので、書き留めておきたい。 疑うべき順番は モデル → 推定法 データ分析をしていれば、当然、期待を掛けたモデルのデータへの当てはまりそうが悪いという事が度々ある。こういう時、統計屋さんとして自然に浮かぶのは「モデルが間違っている」という発想である。と思うのだが、非統計屋さんと話していると、このような時に「別の推定法を試してみたらどうだろう」と言われる事がある。多分、目の前のモデルに対する過度の期待から来るのだろうと思うが、このような態度では統計的に見ると妥当性を欠いた分析をしてしまう危険を孕んでいる。 ひとつの事例 とある線型状態空間モデルのパラメータを推定した所、どうしてもデータに合わない部分があった。実は、それが合わない理由は簡単で、ある潜在変数は常に正であるはずなのだ。線型状態空間モデルでは、潜在変数の分布は正規分布で
■ 緊急起稿 パーソナルデータ保護法制の行方 その1 昨年7月からブログには書かないことにしていた*1が、緊急事態であるので、政府のパーソナルデータ保護法制（個人情報保護法改正）の議論の状況についてに書いておきたい。本当は論文や講演の形で示していくつもりだったが、それでは間に合わない状況が発生中であるので、周知の目的で取り急ぎかいつまんで書く。副政府CIOの向井治紀内閣審議官とお話ししたところ、「ブログに書いたらエエやないですか。どんどん書いてください。」とのことであったので、それ自体書くことを含めて許可を得たところで書くものである。 先週、IT総合戦略本部の「パーソナルデータに関する検討会」の第7回会合が開かれ、「定義と義務」についての事務局案が示された。資料が公開されている。事務局案は、これまでの「個人情報」についての定義と義務は変更しないものとし、新たに「準個人情報」と「個人特定性低
＠ITイベントカレンダー
平素よりイベントカレンダー＋ログをご利用いただき、誠にありがとうございます。 イベントカレンダー＋ログは「IT・製造業・ビジネス関係のイベント（セミナー・展示会・勉強会・コンテスト・Webイベントなど）を開催する企業・コミュニティが登録したイベント情報のポータルサイト」として約7年間運営をしてきました。これまでサービスを続けることができたのは、イベントカレンダー＋ログのコンセプトに共感をいただき、適切なイベント情報をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、イベント情報の入手方法の多様化やイベント紹介サービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年6月30日（火）15:00をもちましてイベントカレンダー＋ログのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知ら
リンク 産経ニュース 違法マイニングで１６人摘発 １０県警、仮想通貨獲得で不正アクセス 同意なしに他人のパソコンを使い、仮想通貨の獲得手段である「マイニング（採掘）」をしたなどとして、神奈川や愛知など全国の１０県警が不正指令電磁的記録作成容疑などで… 102 users 66
大容量テキストマイニングでは、より多くの文字数のテキストからワードクラウドを作成できます。 サンプル： 銀河鉄道の夜 例文）話した内容を自動でテキスト化してくれる音声入力機能がつきました。マイクをONにして、まず「音声認識を開始」ボタンを押して話したあとで「テキストマイニングする」ボタンを押してください。初回利用時に「マイクを使用する」というメッセージが表示された場合は「許可」ボタンをクリックしてください。パソコン内蔵マイクでも利用できますが、外付けマイクを利用したほうが音声認識の精度がアップします。
総務省統計局
分析レポート 統計ヘッドライン - 統計局月次レポート -令和6年4月11日更新 令和6年4月（統計ヘッドライン No.170） 統計Today - 統計をめぐる新しい動きやメッセージ -令和6年4月1日更新 会社版・国勢調査「経済センサス」から分かること ― 令和6年経済センサス‐基礎調査が始まります ―（統計Today No.199）（PDF：814KB） 統計トピックス - 「国民の祝日」や季節にちなんだ統計データ -令和6年4月12日更新 統計トピックスNo.140 我が国における企業の研究費の動向－科学技術週間にちなんで－（科学技術研究調査の結果から） 労働力調査ミニトピックス - 労働力調査結果に関する分析レポート - 家計ミニトピックス - 家計調査結果に関する分析レポート - 小売ミニトピックス - 小売物価統計調査結果に関する分析レポート - 統計を学ぶ ・児童・生徒向け
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
研究用にニコニコ動画のコメント約300GBを公開‐ニコニコインフォ 情報学研究データリポジトリ ニコニコ動画コメント等データ 国立情報学研究所のダウンロードサービスでニコ動のデータセットが公開されていたので、とりあえずダウンロードしてみました ダウンロードの手順 以下のページで、名前、メールアドレス、所属を入力すればよいみたいです。 情報学研究データリポジトリ ニコニコ動画コメント等データ 申請 データの形式 行ごとにそれぞれの動画のjsonが書かれたファイルがたくさんあります。 コメントのデータもありますが、ユーザーに関する情報はないみたいです 動画の説明などには<b></b>や<font></font>、<br />などのHTMLタグが含まれていましたので、それらの除去が必要になりそうです タグの頻度 なんか面白いことできないかなーと考えたんですが、何も思い浮かばなかったので、とりあえ
VPL stands for visual programming; it is a type of language that uses graphical components such as icons, buttons, and symbols in the form of coding. This programming language allows visual illustration of the coding concept generated by the computer. This type of programming language helps non-technical users explain charts and processes in a way that most beginners can comprehend. The visual pro
ビッグデータの価格破壊？ Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始 - ITジャーナリスト星暁雄の"情報論"ノート
情報と技術は未来をどう変えるのか──IT、スマートデバイス、ロボット、電子工作、メディアのアーキテクチャ Google勤務のKazunori SatoさんがGoogle+に簡潔な解説をポストしてくれています。 ポスト1 BigQueryが一般公開されました！数100億件の全検索が数十秒で完了する超並列クエリサービスで、MapReduceと並びGoogleの根幹を支える虎の子技術です。 Google BigQuery brings Big Data analytics to all businesses - Google Developers Blog ポスト2 BigQueryプチ解説：BigQueryはGoogle社内では「Dremel」と呼ばれる超並列クエリインフラを利用した一般向けサービスです。DremelはSybase IQやOracle Exadataと同様のColumar DB
Technical Data presentation in R コピペで学ぶ Rでテクニカルデータプレゼンテーション １．基礎統計解析編 グラフィックス・リテラシ－教育: 「図学 I ・図形情報 I ・統計学」科目 修了後のコースウェア 福岡大学工学部図学教室 梶山 喜一郎 ・つまみ食いで，学習しないように願います． ・データの可視化を体系・系統だったスキルにするために順を追って学習する． ・統計ブームに乗っている学習者も先人に感謝の気持ちを．さらに， ・確かなスキルにするために，教科書・解説書を理解し，Rスクリプトで確認． A. はじめに--ここは統計・解析の必要を味わった後で読めばよい まず，統計の手続きを実行する．慣れたら統計的に考えよう． 学校の統計学を復習--買った教科書とノートをまた読むだけ a. 測定と尺度 Measurement and scale b. 記述統計学の
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
他人のＰＣ「借用」仮想通貨計算 ウイルスか合法技術か : 科学 : 読売新聞（YOMIURI ONLINE）
形態素解析に基づくＡＶタイトルの特徴分析 - oscillographの日記
フリーの数式処理ソフトMaximaで数学の高速道路に乗る
Aho Corasick 法 - naoyaのはてなダイアリー
【謝罪】２週間に渡ってみなさんのPCで勝手に仮想通貨をマイニングしていました。 | めしがくいたい
自然言語処理は Python がいちばん - 武蔵野日記
仲居さんにセンサー装着 がんこフードの「科学接客」 - 日本経済新聞
さらば！データサイエンティスト
テレビ東京、仮想通貨マイニング業界の超絶負け組を発掘 : 市況かぶ全力２階建
仮想通貨獲得するための「マイニング」全国で摘発 議論呼ぶ | NHKニュース
マイニング専用グラボをゲームに転用してみる (＋その他活用方法) : Misc Mods
コインハイブ事件 横浜地裁、Webデザイナー男性の主張認め「無罪」判決
機械学習とかに使えそうなデータセット - pixyzehn blog
クラスタリング (クラスター分析) - Toshihiro Kamishima
広告システムエンジニアは絶対におもしろいと思う理由 - 最速配信研究会(@yamaz)
22社、52人のデータサイエンティストに聞いてみた！「どんなお仕事してますか？」 | Da-nce
ブラウザで仮想通貨を採掘するサービス "Coinhive" について
バンディットアルゴリズム入門と実践
データサイエンティストではない人に知っておいて欲しい事 - hotokuとは
高木浩光＠自宅の日記 - 緊急起稿 パーソナルデータ保護法制の行方 その1
"違法マイニングで16人摘発"の衝撃…逮捕者もすでに3人「めちゃくちゃすぎる」「日本終わった」
テキストマイニング 無料ツール by ユーザーローカル
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
Webページの本文抽出 (nakatani @ cybozu labs)
ニコニコ動画のデータセットが公開されたらしい - 唯物是真 @Scaled_Wurm
SLOBSERVER - L'actualité de Second Life
R言語で統計解析入門： 目次1 テクニカルデータプレゼンテーション 梶山 喜一郎