面倒なデータマイニング作業を時給200円ぐらいでバングラデシュ人に発注してみた:tks(高須 正和)のブロマガ - ブロマガ
先週の金曜に、超会議でお仕事の関係で東京に戻ってきて、そのまま土日はずっとハッカソンをしていた。 疲れ果てつつ充実したハッカソン後 International Space Apps Challenge(以下ISAC)という、NASAが主催しているハッカソンがある。人工衛星の位置データとか、月面や火星の写真とか、その他ものすごい量の様々なデータを世界中のハッカーに解放して、2日間で何か面白いものを開発もらって、宇宙に親しみを持ってね、というハッカソンだ。 いろいろな都市で行われていて、僕は2011年から東京支部に参加している。会場の大きさの限界だった80人はすぐ埋まったようで、シンガポールに行っていて出れなかった去年はもっと大人数で行われたそうだ。 ■NASAのハッカソン いくつかNASAから課題が提示されているのだけど、昔は「好きに何かやってください」みたいなモノが多く、アウトプットも「星
プリキュアにおける「相田マナの中心性」と「星空みゆきの独立性」 ２ｃｈプリキュア本スレのテキストマイニング: 過去のプリキュア 話の流れ一覧表と視聴率等まとめ
というわけで、テキストマイニングが面白くて面白くて、 色々なデータを「KH Coder」に放り込んでは出来上がったデータ眺めています。 （テキストマイニングってのは要は膨大なテキスト群から単語等を抽出して関連づけて なにか面白いことわからないかな？っていうやつです。（適当）） 今回は、”スマイルプリキュア”と"ドキドキプリキュア”です。 結論から言うと、プリキュア２ｃｈ本スレをテキストマイニングして判ったことは、 やっぱり、 「星空みゆき」は、「物語の主人公では無く」 「相田 マナ」は、「物語の中心」だった。 です。（本気にしないでね） スマイルは2013年1月、ドキドキは2014年1月単月（要は各最終の月）に ２ｃｈ本スレに書き込まれた全レスを抽出し、 「ＫＨ Ｃｏｄｅｒ」に放り込んでテキストマイニングを行いました。 （要は1月まで残っていた「濃い」人のレスを拾いました） ＊＊＊＊＊＊＊
パソコン工房のPCで遊ぼう第2弾！ あんちべさんと一緒に Rakuten MA で形態素解析 - はてなニュース
（これまでのあらすじ）前回、パソコン工房から「統計処理用のPCのPR企画をやりたい」と依頼を受けて、はてなエンジニアと一緒にword2vecで遊んでみた編集部。読者の皆さまにも好評だったので、調子に乗って第2弾を実施することにしました。今回は「"word2vec"で艦これ加賀さんから乳を引いてみる」で一世を風靡した、あの統計屋さんが全面協力です！ 記事の最後にはプレゼントのお知らせも。 （※この記事は株式会社ユニットコムによるPR記事です） 皆さまは前回の記事を、覚えておりますでしょうか？ ▽ Python - Perl + Java = ？ はてなブログのデータとパソコン工房のPCを使って「word2vec」で遊んでみた - はてなニュース パソコン工房の統計処理用PC × はてなブログのデータ × word2vec という記事でした。ブックマークコメントから感想をいくつかピックアップし
第一回全日本データマイニング選手権 Powered by SAS
株式会社マクロミルは、SAS Institute Japan株式会社主催の『第一回全日本データマイニング選手権（以下、データマイニング選手権）』に開催パートナーとして協賛し、弊社保有の消費者購買履歴データQPRの実データを提供いたします。 本データマイニング選手権は、「一般部門」のほかに、「学生部門」を設けています。 「学生部門」ではデータ分析に興味・関心のある学生に参加いただき、大規模且つ複雑化したデータをどう扱うかをテーマに、自由な発想でアイデアを募集します。 弊社としましては、このたびの協賛により、学生の皆様が分析スキルの向上のために積極的にこの場を活用されること、また、教育・研究分野におけるデータ分析能力の向上に寄与することを期待しております。「未来」のデータ・サイエンティストを目指す多くの学生の皆様の参加を心よりお待ちしております。 選手権開催日時 2013年12月上旬実施予定
Rで系列パターンマイニング - sfchaos's blog
頻出パターンマイニング(Frequent pattern mining)は,頻出するアイテムの組み合わせを抽出する一連の手法を指します.頻出パターンマイニングの代表例として相関ルールのマイニングがありますが,この手法を用いるとPOSデータからビールとおむつを一緒に購入する消費者が多いことなどの知見が得られます. 一方で,頻出パターンマイニングでは,順序性のあるパターンは抽出できません.例えば,ビールを購入した消費者がその後おむつを購入する傾向があることは,頻出パターンマイニングでは分かりません. このように順序性のあるパターンを抽出する手法は,系列パターンマイニング(Sequential pattern mining)と呼ばれており,１９９５年にIBM研究所のR.AgrawalとR.Srikantによって提唱されました. RのarulesSequencesパッケージを使用すると,系列パター
データサイエンティストのつくり方
2012/09/13 PFIセミナー「データサイエンティストのつくり方」資料 Ustreamの録画はこちらです→ http://www.ustream.tv/recorded/25376704Read less
第20回 データマイニング+WEB ＠東京 ( #TokyoWebmining 20th) －ソーシャル・大規模解析 祭り－ Eventbrite
Your version of Internet Explorer is not longer supported. Please upgrade your browser.
Rubyの会社でPythonistaが3ヶ月生き延びた話
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめTetsutaro Watanabe
ビッグデータとプライバシーについて | 栗原潔のIT弁理士日記
DISCLAIMER： 私はプライバシー分野はもちろん一応の勉強はしていますが、必ずしもコアな専門領域というわけではないのでBest Effortベースで書いています。もっと詳しい方からのコメントを期待します。 IBMの「ビッグデータ」担当の人が日経ITProのインタビュー記事で「ビッグデータ」の応用として通話履歴（CDR）を使ってソーシャルグラフを作るというような事例を挙げたのに対して「それは通信の秘密に反する違法行為ではないか」ということで、twitter界隈を中心にプチ炎上的な状況になっています（参考togetter）。 そもそも、「ビッグデータ」と言う言葉が出る前から通話履歴情報の分析はデータウェアハウスの重要応用分野でした。通話履歴の分析がいっさいできないということであれば容量計画もできないですし料金の設定もできません。 過去にこの手のデータウェアハウス・アプリケーションについて
データマイニング・アルゴリズムのトレンド
HDDの大容量化と分散処理技術の発達でビッグデータの処理が容易になってきたので、ここ数年はデータマイニングが地味なブームになっている（NYT - For Today’s Graduate, Just One Word: Statistics）。2000年代前半のデータウェアハウスのブームではコンセプトだけが先走っていた（大園(2002)）ので、随分と地に足がついた感じだ。しかし人気のアルゴリズムを見ている限りは、まだ十分にデータ分析がされているように思えない。 1. 10年間でソフトウェア的に進歩 地に足がついていると言うのは、ソフトウェア的に色々な面で進歩が見られたことだ。ビッグデータの利用が可能になった事から、応用事例が増えているように思える。 1. 分散処理技術の進歩によるビッグデータの利用 ハードウェア技術の進歩による高速化も著しいが、分散処理技術の進歩はビッグデータの利用を容易に
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
johokanri.jp
johokanri.jp 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
IJCNN Social Network Challengeの勝者が取った手法(deanonymize)は許されるか？ - 糞糞糞ネット弁慶
本当はリンク予測の話として書きたかったが，優勝チームの手法及びそれに対する反応が面白かったのでメモ． 三行まとめ リンク予測のコンペティションが行われた 優勝チームは(データの出処となっていた)Flickrをクロールし，匿名化(anonymize)されていたテストデータを実データと結びつける(deanonymize)事により予測精度を向上させた 優勝チームの手法が公開され，公式フォーラムで「これは問題ではないか？」と言われる 背景 最近見つけたのだが，Kaggle: Your Home for Data Scienceというサイトでは常時賞金が出るデータコンペティションが行われている． 企業や研究者がデータを提供し，分析者がそれを分析する．企業は最終的には賞金を出し，データに対する知見を得る，みたいなアウトソーシングであると公式サイトでは説明がされている． Companies, gover
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
あの時、プリキュアスレに何が起きていたのか。「共起ネットワーク」からみる２ｃｈハピプリ本スレ: 過去のプリキュア 話の流れ一覧表と視聴率等まとめ
50万件の投稿分析でわかった「人気が出る写真の法則」
セクシー女優で学ぶ画像分類入門
NTT、ビッグデータ解析で世界最速 1億の友人関係3分で - 日本経済新聞
データを深掘りする
データサイエンティストという職業―ビッグデータ時代の新しい花形になるか
ビューティフルデータ (THEORY/IN/PRACTICE) | Toby Segaran, Jeff Hammerbacher, 堀内 孝彦, 真鍋 加奈子, 苅谷 潤, 小俣 仁美, 篠崎 誠 |本 | 通販 | Amazon
