並び順

ブックマーク数

期間指定

  • から
  • まで

81 - 120 件 / 2443件

新着順 人気順

マイニングの検索結果81 - 120 件 / 2443件

  • ビジネス実務の現場で有用な統計学・機械学習・データマイニング及びその他のデータ分析手法10+2選(2016年版) - 渋谷駅前で働くデータサイエンティストのブログ

    そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定(t検定・カイ二乗検定・ANOVAなど) t検定 カイ二乗検定 ANOVA(分散分析) その他の検定 重回帰分析(線形回帰モデル) 一般化線形モデル(GLM:ロジスティック回帰・ポアソン回帰など) ロジスティック回帰 ポアソン回帰 正則化(L1 / L2ノルム

      ビジネス実務の現場で有用な統計学・機械学習・データマイニング及びその他のデータ分析手法10+2選(2016年版) - 渋谷駅前で働くデータサイエンティストのブログ
    • 自分の英語文書をマイニングして次に学ぶべき単語リストを自動生成する方法(暦本式語彙増強法) - NextReality

      英単語の語彙をどうやって増やしたらいいだろうか。やみくもに単語集みたいなものを順に覚えていくのも道程が長そうだ。また、一般論ではなく自分がよく書く分野に特化して語彙を増やしたい。ということで、テキストマイニングを使ってやる方法を考えてみた。方針は以下の通りである: 自分が今までに書いたすべての(英語)の文書を解析して、品詞ごとに出現回数でソートする。 つぎに、自分の所属するコミュニティの文書(たとえば自分がよく参加する学会に掲載される論文など)をなるべく大量にあつめて、同じように品詞ごとに出現回数でソートしておく。 両者を比較して、そのコミュニティでは使用頻度が高いにも関わらず、まだ使ったことのない単語を抽出して自分専用の「単語集」をつくる。 こうやって抽出された単語集を勉強すれば、一般的な単語集を使うよりも効率がいいのではないだろうかという目論みだ。対象となる分野を選んでいるのは、たとえ

        自分の英語文書をマイニングして次に学ぶべき単語リストを自動生成する方法(暦本式語彙増強法) - NextReality
      • Bitcoinマイニングはまさに軍拡競争、素人お断りの現状とは?

        By Malcolm Craig 中央集権的な通貨発行組織がない仮想通貨「Bitcoin(ビットコイン)」は、交換所で手に入れる方法以外にも、自分のPCを使って専用プログラムを走らせる「マイニング」という方法で"採掘"できることに大きな特徴があります。しかし、この無から"金"を生みだす錬金術は、もはや一般ユーザーが気軽に参加できるものではなく、魑魅魍魎がうごめく修羅の世界になっているようです。 Blockchain Smashers | TechCrunch http://techcrunch.com/2013/10/16/blockchain-smashers/ ビットコインは、専用ソフト「Bitcoin miner」を走らせることで新たなビットコインを発掘できるシステムをとっており、採掘作業はマイニングと呼ばれています。ビットコインシステムは、マイニングをする人(マイナー)のマシンパワ

          Bitcoinマイニングはまさに軍拡競争、素人お断りの現状とは?
        • モナコインへの攻撃から、ブロックチェーンへの攻撃やマイニングを深掘りする - Gunosy Blockchain Blog

          こんにちは。ブロックチェーンやマイニングについて研究している榎本 (@mosa_siru)です。 2018年5月15日に、Monacoinのチェーンが攻撃されたようです。 今回は、事件そのものというより、それを通じてPoWやその攻撃手法、マイニングについて改めて深堀りしようかと思います。 ブロックの承認数 確率的finalityとトレードオフ Block withholding attack Selfish miningの研究について マイニングの中央性とハッシュアルゴリズム 対策 終わりに 宣伝 手前味噌ですが、マイニングについての基本的な理解はこちらを御覧ください。 tech.gunosy.io ブロックの承認数 まずご理解いただきたいのは、今回は最長チェーンが変わっただけで、「バグを突かれた」「ブロックチェーンのデータが改竄された」という話はありません。また、「6ブロック承認で送金が

            モナコインへの攻撃から、ブロックチェーンへの攻撃やマイニングを深掘りする - Gunosy Blockchain Blog
          • 第49回 データマイニング+WEB @東京( #TokyoWebmining 49th ) ー機械学習 方法論 祭りーを開催しました - hamadakoichi blog

            2015/10/24 "第49回 データマイニング+WEB @東京( #TokyoWebmining 49th ) ー機械学習 方法論 祭りー" を開催しました。 第49回 データマイニング+WEB @東京( #TokyoWebmining 49th ) ー機械学習 方法論 祭りーEventbrite Google グループ 会場提供し運営を手伝って下さった FreakOut のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧 参加者Twitter List : tokyowebmining-48 参加者セキココ:第49回 データマイニング+WEB @東京 セキココ (作成してくれた [Twitter:@komiya_atsushi] さんに感謝) 以下、全講師資料、関連資

              第49回 データマイニング+WEB @東京( #TokyoWebmining 49th ) ー機械学習 方法論 祭りーを開催しました - hamadakoichi blog
            • 第28回 データマイニング+WEB@東京( #TokyoWebmining 28th) −データマイニング・機械学習とビジネス展開 祭り− を開催しました - hamadakoichi blog

              2013/7/27 "第28回 データマイニング+WEB@東京−データマイニング・機械学習とビジネス展開 祭り−"を開催しました。 第28回 データマイニング+WEB@東京 ( #TokyoWebmining 28th)−データマイニング・機械学習とビジネス展開 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧: 参加者Twitter List: Twitter List TokyoWebmining 28th 参加者セキココ:第28回 データマイニング+WEB @東京 セキココ (作成してくれた @komiya_atsushi さ

                第28回 データマイニング+WEB@東京( #TokyoWebmining 28th) −データマイニング・機械学習とビジネス展開 祭り− を開催しました - hamadakoichi blog
              • 「Mobageの大規模データマイニング」- #PRMU 2011 Big Data and Cloud で講演してきました - hamadakoichi blog

                電子情報通信学会「パターン認識とメディア理解研究会 (PRMU: Pattern Recognition and Media Understanding)」@幕張メッセ国際会議場 で招待講演をしてきました。 「Mobageの大規模データマイニング」に関して、話しています。 Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop View more presentations from Koichi Hamada 2900万人以上の登録会員をかかえるモバイルソーシャルゲームプラットフォーム「Mobage」では、1日20億超の行動情報が蓄積されています。これらの大規模行動データを対象に、データマイニング・機械学習の各種方法論を適用することにより、隠された法則を解明・より良い解を導出し、迅速なサービス洗

                  「Mobageの大規模データマイニング」- #PRMU 2011 Big Data and Cloud で講演してきました - hamadakoichi blog
                • Chiaマイニング用? 32基のSATA HDDを直結できる変態マザー「B365 D32-D4魔固版」

                    Chiaマイニング用? 32基のSATA HDDを直結できる変態マザー「B365 D32-D4魔固版」
                  • データマイニングとビジュアライゼーション

                    R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜Yasuyuki Sugai

                      データマイニングとビジュアライゼーション
                    • オバマ勝因はデータマイニング:Obama's Data-Driven Campaign @Time

                      This is "cave" where Obama's army of data crunchers analyze the megafile collected from 2008 campaign (pollsters, fundraisers, field workers, consumer databases, Democratic voter files, and social-media and mobile contacts) and ran the election “66,000 times every night” in order to figure out Obama’s chances of winning each swing states. Wow. Just. Wow. オバマ大統領再選の勝因が様々に論じられているが、どれも説得性に欠ける。だいたい「11の

                        オバマ勝因はデータマイニング:Obama's Data-Driven Campaign @Time
                      • 【月額比較グラフあり】新社会人が使えそうな気がしたデータマイニングサービスを14個にまとめてみた。 | Boxilが運営するBtoBサービス・資料紹介メディア ボクシルマガジン!

                        データマイニングとは? 「データマイニング(Data mining)」という言葉は最近では広く使われていますが、あまり理系的な勉強をしてこなかった…という方のために簡単に解説します。 直訳して「データ採掘」とも言えますが、その名の通り、 まるで鉱山のような大量のデータから、価値のあるデータ(知識)を取り出す技術のことです。 かといって上のイラストのような手作業で探していては非効率すぎます。 そこでデータ解析といって、パタン認識、人工知能(AI)、統計学といったものを使って、見つけ出していきます。 特にインターネット上のウェブページにおいては「ウェブマイニング」などと呼ぶこともあります。 他にも「テキストマイニング」「イメージマイニング」「パターンマイニング」…などもあります。 最近では当たり前のように、ビジネスで利益につながる知識を見つけるために、データマイニング技術が利用され

                          【月額比較グラフあり】新社会人が使えそうな気がしたデータマイニングサービスを14個にまとめてみた。 | Boxilが運営するBtoBサービス・資料紹介メディア ボクシルマガジン!
                        • テキストマイニングでAI(人工知能)のメリットは?活用方法も紹介|ITトレンド

                          AIを活用したテキストマイニングとは AIを活用としたテキストマイニングには、人の手で実施する分析と大きな違いがあります。テキストマイニングとは、大量のテキストデータから企業にとって有益な情報を抽出することです。コールセンターでの音声記録、WebサイトやSNSへの書き込み、アンケートなどを対象としています。テキストマイニングにより顧客のニーズや課題の発見、市場動向の予測などが可能です。 しかしデータを手作業で分析を実施するのは、時間を要します。すべてのテキストを確認するために、人件費も費やす必要があるでしょう。また、膨大な量であるビッグデータの分析は、人の手では不可能です。AI(人工知能)を活用することで、短時間で大きな規模の分析が実現し、人間が抽出できない消費者ニーズを得られます。 テキストマイニングについてさらに詳しく知りたい方は、以下のページをご覧ください。 テキストマイニングにAI

                            テキストマイニングでAI(人工知能)のメリットは?活用方法も紹介|ITトレンド
                          • 有価証券報告テキストマイニング入門 - 株式会社ホクソエムのブログ

                            はじめに こんにちは, ホクソエムサポーターのKAZYです。 先日猫カフェデビューをして, 猫アレルギーであることがわかりました🐈。 次はフクロウカフェに挑戦してみようかなと思っています🦉。 ところで皆様, 有価証券報告書は読んでますか? 私は読んでいません。 読めません。 眺めていると眠くなります💤。 私は眠くなるんですが, 有価証券報告書ってテキストマイニングするのに向いているんです。企業の事業や財務情報が詳細に書かれています。 XBRL形式で構造化されています。 数千社分のテキストが手に入ります。 おまけに無料です。 どうです?興味湧いてきませんか? 本記事ではPythonを使って有価証券報告書をテキストマイニングする方法を紹介します。 有価証券報告書をダウンロードするところからご紹介するのでご安心を。 こんな方が見たら役に立つかも 企業分析をプログラミングでやりたいが何してい

                              有価証券報告テキストマイニング入門 - 株式会社ホクソエムのブログ
                            • SBM研究会で発表した"私がチャレンジしたSBMデータマイニング"のスライド - Ryoの開発日記 Neo!

                              SBM研究会で"私がチャレンジしたSBMデータマイニング"という発表を行いましたが、そのスライドを置いておきます。 ・[2008/7/21 22:43 version final] ・http://www.slideshare.net/rawwell/sbm-presentation #リンク切れしていたので、どなたかがSlideshareにアップしたものにリンクw Change Logs ・2010/8/23 リンク切れを解決 ・2008/7/21 22:43 version final  初版の2倍以上にスライドを増やした。また、"個人による高性能データマイニング"の話を追加した。 ・2008/7/16 23:45 version 1.1  TF-IDFの説明が間違っているとの指摘を受け、説明部分を修正 ・2008/7/12 23:53 version 1  公開 SBM研究会の体験記

                                SBM研究会で発表した"私がチャレンジしたSBMデータマイニング"のスライド - Ryoの開発日記 Neo!
                              • HDD/SSDが品薄。今度は仮想通貨“Chia”のマイニング特需

                                  HDD/SSDが品薄。今度は仮想通貨“Chia”のマイニング特需
                                • 熊本電力がマイニング事業へ参入! 余剰電力の供給で無駄なく稼働

                                  熊本電力は2月20日、仮想通貨採掘事業を行う関連会社の「OZ(オズ)マイニング株式会社」を設立したことを発表した。 オズマイニングでは、顧客に応じてデータセンター型のマイニング施設(マイニングファーム)や、電力があればどこにでも設置できるコンテナ型のマイニング施設を構築。マイニング事業を進めるにあたり重要な電源は、熊本電力から1kwhあたり10円台~で電力供給を受ける予定だ。 近年増加している太陽光発電所によって、一般電気事業者は出力抑制が検討されている。その対策として、熊本電力は出力を抑制する間の余剰電力をマイニングへと振り向けることで、余剰電力の無駄を省くことを目指す。

                                    熊本電力がマイニング事業へ参入! 余剰電力の供給で無駄なく稼働
                                  • 非エンジニアにもわかるR言語で何ができるか?【データマイニング】 その2 | Sanow Labs blog(サノウラボブログ)

                                    GMOアドパートナーズ(株)がソーシャルメディア・Web広告戦略を提供するラボサイト!Web広告のトレンドや、SEO/SEM、ソーシャルメディアの最新手法の紹介から、ニュース、インタビュー記事等を掲載していきます。実績を通じて得た経験や専門的且つ、実践的なテクニックを活かして、他社の先を行く実効性のあるマーケティング戦略論を提供します。はじめに 「風が吹けば桶屋が儲かる」 この言葉の意味をご存知でしょうか。何故、風が吹くと桶屋が儲かるのでしょう。 大風で土埃が立つ →土埃が目に入って盲人が増える →盲人は三味線を買う →三味線に使う猫皮が必要になり、猫が殺される →猫が減れば鼠が増える →鼠は桶をかじる →桶の需要が増え桶屋が儲かる ある事象の発生により、一見すると全く関係がないと思われる物事に影響が及ぶという日本古くから伝わることわざです。また、現代でも連関規則の有名な例とし

                                      非エンジニアにもわかるR言語で何ができるか?【データマイニング】 その2 | Sanow Labs blog(サノウラボブログ)
                                    • 押収されたゲーム機は3800台!ズラリとPS4並ぶウクライナの仮想通貨マイニング工場が電気窃盗で摘発 | Game*Spark - 国内・海外ゲーム情報サイト

                                        押収されたゲーム機は3800台!ズラリとPS4並ぶウクライナの仮想通貨マイニング工場が電気窃盗で摘発 | Game*Spark - 国内・海外ゲーム情報サイト
                                      • うわあ 勝手にEdgeがインストールされてる いやマイニングよりこっちのほう..

                                        うわあ 勝手にEdgeがインストールされてる いやマイニングよりこっちのほうがよっぽどウイルスでしょw インストールだけなら百歩譲って許せるけど、勝手に起動するなよ タスクマネージャからやっても死なない 追記タスクマネージャでやっと終了できた(複数あるように見えるけど、中心をやらない限り無限に生き返るっぽい) 追記2ブクマが多いので乗り換えない理由をメモ。 上述の強引なおススメで引いたのもあるんだけど、既定フォントが変更できないのが決め手(アンチエイリアス掛かったフォント嫌いなのでMS Pゴシックにしたい) 今chrome使ってて、同じChromiumなので機能面であまり差がないのは承知してる。 OSはWin8.1。 (Win10は以前から無断でソフトが入るのは知ってたけど8.1でやらかすとは思わなかった) 入ってきたのはChromium版ですね。 Q.chromeはなんでセーフなの? A

                                          うわあ 勝手にEdgeがインストールされてる いやマイニングよりこっちのほう..
                                        • 第14回 データマイニング+WEB 勉強会@東京( #TokyoWebmining 14th)-大規模分散データマイニング 祭り- を開催しました - hamadakoichi blog

                                          2011/10/16 "第14回 データマイニング+WEB 勉強会@東京"を開催しました。 第14回 データマイニング+WEB 勉強会@東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧: 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA: ■Opening Talk: O1.「データマイニング+WEB勉強会@東京 について」(10分) 講師 : id:hamadakoichi [Twitter:@hamadakoichi] オープニングト

                                            第14回 データマイニング+WEB 勉強会@東京( #TokyoWebmining 14th)-大規模分散データマイニング 祭り- を開催しました - hamadakoichi blog
                                          • データサイエンティストとしてどう学んでいくべきか/東京大学講義: データマイニング概論: #10

                                            東京大学講義のデータマイニング概論の第10回目の講義で講演した内容です 講義シラバス: https://catalog.he.u-tokyo.ac.jp/detail?code=0590105&year=2022

                                              データサイエンティストとしてどう学んでいくべきか/東京大学講義: データマイニング概論: #10
                                            • マーケターのためのデータマイニング・ヒッチハイクガイド - Teradata|マーケティング・アナリティクス

                                              テラバイトデータや構造化知識研究に関する過去の記事です。 1990年6月 コンピューターの中央処理装置4台を並列的につなぎ、人間のように推理したり連想したりするコンピューターの模擬実験に、九州大学の研究グループが成功した。1991年度にも20台に増結する計画で、最終的には1万台をつなぎ、人間の思考そっくりの柔軟性に富んだコンピューターシステムを目指す。キャリアウーマン並みの有能秘書や、建物の形状を判断できる掃除ロボットの開発にもつながると期待されており「人工知能」開発競争に一石を投じそうだ。 九州大学で実験に成功 模擬実験を行ったのは、九大総合理工学研究科の雨宮真人教授(情報システム専攻)のグループ。雨宮教授らは、記憶した知識で推論や連想を行う人間の思考回路網に着目。「食物-果物-黄色-酸っぱい-レモン」など属性や因果関係でつながる情報を与えて連想ネットワークを構成。このネットワーク網をコ

                                              • テキストマイニングのための機械学習超入門 二夜目 パーセプトロン - あんちべ!

                                                一夜目はパターン認識と機械学習の概要を学びました。今夜は、識別部で用いられる機械学習の基本的な線形識別器である「パーセプトロン」を具体的に学びたいと思います。「線形識別器?パーセプトロン?何それ?」字面は厳しいですが、手を動かしてみると意外と簡単に理解できます。今夜からは数式をバリバリ使っていきますし、手を動かしていただきます。「必ず」手元にペンと紙を用意してください。そうは言ってもパーセプトロンが一体何なのか、機械学習の中でどのような位置づけなのかがわからないと混乱するかもしれません。パーセプトロンの説明へ入る前に、機械学習の3つのアプローチをご紹介します。 ●機械学習の3つのアプローチ - 識別関数、識別モデル、生成モデル 機械学習は大きく分けて識別関数、識別モデル、生成モデルという3つのアプローチがあります。 識別関数 := 入力データを見て、特定のクラスに属するよう識別(代表的な手

                                                  テキストマイニングのための機械学習超入門 二夜目 パーセプトロン - あんちべ!
                                                • パッチ適用前のQNAP NASで密かにマイニングするマルウェアが蔓延

                                                    パッチ適用前のQNAP NASで密かにマイニングするマルウェアが蔓延
                                                  • Clojure/Incanter/clj-mlでデータマイニング入門 - あんちべ!

                                                    概要 Clojureでデータマイニングに必要な各手法を解説する記事です。 本記事を読むと、全くClojureを知らない方でも データ抽出・集計 可視化 機械学習(決定木、ランダムフォレスト、k-meansクラスタリング) をClojureで実行できるようになります。 はじめに ClojureとはJVM上で動く(つまりOSを問わず沢山の環境で動く上に Java資産をそのまま使える)Lisp系の言語です。 Clojureではデータマイニングを行う際、 Incanterとclj-mlという2つの便利なツールがあります。 Incanterは統計処理用の専門ライブラリで、 単体で様々な統計分析を行ったり集計を便利にしたりする機能が沢山用意されています。 clj-mlはwekaという機械学習系のツールをClojureで簡単に使えるようにしたラッパーで、 決定木やランダムフォレストなどの分類器や 各種ク

                                                      Clojure/Incanter/clj-mlでデータマイニング入門 - あんちべ!
                                                    • 大規模データマイニング・機械学習 Mahout 活用に向けて読んでおきたい12のプレゼン資料 - hamadakoichi blog

                                                      2012年度が始まり1ヶ月が経ちました。2011年度は、大規模分散処理技術・データ基盤の普及が広く進んだ年だったと思います。2012年はそれら蓄積された大規模データを活用しデータマイニング・機械学習を用い、ビジネス・サービス洗練を大きく広げていく年ではないでしょうか。 Mahoutは 大規模分散データマイニング・機械学習のライブラリです。ApacheプロジェクトのOpen Sourceで、Hadoop上で動作しデータマイニング・機械学習の大規模分散実行を行うことができます。 Apache Mahout 大規模分散 データマイニング・機械学習を実行できる Mahout ですが、まだ「ドキュメント整備が発展途上で詳細を知るためにはソースコードから読み解く」必要がある場合が多く、また、活用には「対象とするデータマイニング・機械学習の基礎知識」が必要なため、まだまだ活用の敷居が高いのが現状ではない

                                                        大規模データマイニング・機械学習 Mahout 活用に向けて読んでおきたい12のプレゼン資料 - hamadakoichi blog
                                                      • 電力は原価で調達──発電所、1日5万ドルをマイニング | CoinDesk JAPAN(コインデスク・ジャパン)

                                                        ニューヨーク州北部にある発電所は、発電した電力の一部を使ってビットコインをマイニングしている。その規模は産業規模だ。 天然ガス発電所のグリーニッジ・ジェネレーション(Greenidge Generation)は、施設内へのマイニング設備の設置を無事終えたと発表した。7000台近くのマイニング機器と敷地内で生み出された電力を使って、1日に平均5.5ビットコインをマイニングできる。CoinDeskのBitcoin Price Indexによると、約5万ドルに相当する。 グリーニッジは自社の「ビハインド・ザ・メーター」電力を使う。すなわち、自社で使うために発電した電力で生産原価しかかからない。グリーニッジのブロックチェーン戦略担当ディレクター、ケビン・チャン(Kevin Zhang)氏は、この取り組みは潜在投資家にビットコインとエネルギー市場の双方へのユニークな投資機会を提供すると声明で述べた。

                                                          電力は原価で調達──発電所、1日5万ドルをマイニング | CoinDesk JAPAN(コインデスク・ジャパン)
                                                        • Coinhiveによる無断マイニングの一斉検挙と国会議員への陳情書の提出について

                                                          はじめに まず初めに、筆者は残念ながら法律家ではないので、端的に申し上げると法律の詳細部分まで検討しきる能力はないかと思われます。また、私の能力や配慮のなさが原因で記述が出来ていないまたは誤植などがあるかもしれません。この点、何卒ご了承頂ければ幸いでございます。 6/28更新:陳情書について 事件について 2018年6月13日までに 神奈川、愛知、宮城など全国10の県警がそれぞれCoinhiveを利用者に無断で設置していたとして不正指令電磁的記録に関する罪で、サイト運営者を検挙した。 検挙された人の数は16人で、うち3人は逮捕され1人はCoinhiveと同様のプログラムを製作したとしてウイルス作成罪も含めての逮捕となった。 (このサイトをご覧頂いている皆様には、おそらく詳しい経緯を既にご存知か調べることが出来ると思いますので、これ以上は割愛致します。) この事件の問題点 この事件の問題点は

                                                            Coinhiveによる無断マイニングの一斉検挙と国会議員への陳情書の提出について
                                                          • Kazuho@Cybozu Labs: アクセスログからアテンション(注目情報)をデータマイニングする手法について

                                                            多数のユーザーの行動記録からアテンション情報(注目されているデータが何か)をデータマイニングしたいというのは、大量のデータを扱っているウェブサイトにおいては自然と出てくる要求です。そこで、先月末にサービスを終了したサービス「パストラック」において使用していた、アクセスログから注目度(人気度)の高いウェブページや人名等のキーワードを抽出するためのアルゴリズムを紹介しておきたいと思います。 たとえばはてなブックマークのような、ユーザーの能動的な行為(「ブックマークする」という作業)から注目情報を抽出するのは決して難しいことではありません。それは、直近の一定期間内のブックマーク数=注目度、という前提が上手に機能するからです。現に、はてなブックマークの人気エントリーは、最近24時間程度の期間内にブックマークしたユーザー数の多い URL を降順で並べているように見受けられます。 しかし、アクセスログ

                                                            • 紙と鉛筆と暗算でBitcoinマイニングに挑戦する強者が登場

                                                              By voyageAnatolia.blogspot.com 仮想通貨「Bitcoin(ビットコイン)」はPCや専門ハードウェアを使って計算することで新しいビットコインを生み出せます。このビットコインを発掘する行為は「マイニング」と呼ばれ、ハイスペックなマシンと膨大な時間が必要となっているのですが、そのマイニングに「紙」と「鉛筆」と「頭脳」だけで挑む強者が現れました。 Ken Shirriff's blog: Mining Bitcoin with pencil and paper: 0.67 hashes per day http://www.righto.com/2014/09/mining-bitcoin-with-pencil-and-paper.html ビットコイン決済ではすべてのビットコインのやりとり(取引)は、「ブロック」という単位で管理されており、このブロックとブロックを

                                                                紙と鉛筆と暗算でBitcoinマイニングに挑戦する強者が登場
                                                              • Perlではじめるテキストマイニング - JPerl Advent Calendar 2009

                                                                Perlではじめるテキストマイニング - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな? ■前置き みなさんこんにちは。ダウンロードたけし(寅年)です。来年は年男なので今からお正月が待ち遠しい35歳2児の父です。 ここ数年、web広告業界ではコンテキスト解析とかユーザの行動分析とか、いわゆるデータマイニング/テキストマイニング系の話題が花盛りです。 自分もそんな業界に属しているんですが、ふと気がつくと日本語のテキストマイニング系モジュールを量産してしまっているので、ここらでいくつか紹介してみたいと思います。 今回はインターネットからブログなどのコンテンツを取得して、それを意味解析してクラスタリングする、といったようなことを題材にモジュールの紹介をしてみます。 ■HTML::Featureで本文抽出 まずは

                                                                • データ解析のエキスパートに。データマイニングをビジュアル的に行う「Orange」 - MOONGIFT|オープンソース・ソフトウェア紹介を軸としたITエンジニア、Webデザイナー向けブログ

                                                                  Orangeは統計の設計をビジュアル的に行うことが出来るソフトウェア。 OrangeはWindows/Mac OSX/Linux用のオープンソース・ソフトウェア。マーケティングやシステムの解析を行う際にはデータを並べ替えたりグルーピングしたりしてそこから何らかの法則を見いだしていく。その結果は表であったりグラフとして現される。 設計画面 数字を眺めているだけでは分からなかった法則がビジュアル化することによって見いだせる可能性がある。そのためには様々な角度から抽出したデータを組み合わせなければならない。その補助となるソフトウェアがOrangeだ。 Orangeはデータを様々な統計的手法および解析を通じて分析し、グラフに表示するソフトウェアだ。面白いのは各解析機能がコンポーネント化されており、ドラッグアンドドロップとインプットとアウトプットを結びつけることで関連性を定義できる点だろう。 コンポ

                                                                    データ解析のエキスパートに。データマイニングをビジュアル的に行う「Orange」 - MOONGIFT|オープンソース・ソフトウェア紹介を軸としたITエンジニア、Webデザイナー向けブログ
                                                                  • Web内容マイニング

                                                                    Web内容マイニング (NECインターネットシステム研究所 楠村幸貴) Web上には膨大の情報が存在している.そこでWebを巨大な知識ベースと捉え,Webから有用な知識を取り出す情報抽出技術の研究が行われている.この技術はWeb内容マイニングとも呼ばれており, 複数のサイトをまとめて提示する情報統合システム[1][2]や,ブログからの評判抽出システム[3][4][5],コミュニティサイトからの人間関係の抽出システム[6]など,近年多くの研究が行われているトピックとなっている.そこで本ブックマークではこれらのWeb内容マイニング技術を取り上げたい. [1] TSIMMIS, http://infolab.stanford.edu/tsimmis/tsimmis.html [2] ARANEUS, http://www.dia.uniroma3.it/Araneus/ [3] BlogWa

                                                                    • 【雑記】「社会学」憎悪について|後藤和智@テキストマイニングとか

                                                                      「社会学」に対する憎悪(本当に無知に基づいているとしか言い様がない、かつ一方的で中傷としか言い様がない)が渦巻いている。まあその流れの源流に私の『おまえが若者を語るな!』(角川Oneテーマ21、2008年)もあるのかと考えるとかなり複雑で頭を抱えたくなる気持ちである。 私が同書で批判したのは宮台真司をはじめとするポピュラー社会学で、それらを非科学的なものとして斬り捨てたのだが、そういう語りに感化された人たちが、いつしか「自分たちにとって都合の悪いことを言う連中」全般を「社会学者」呼ばわりするようになっている。どうも、他称社会学者の工学修士です。 ところでそういった「社会学」バッシングの流れは、むしろポピュラー社会学の影響を強く受けているということは指摘しておきたい。例えば表現規制反対派ムラの連中の振る舞い(例えば「強力効果論」「限定効果論」へのこだわりとか、あるいは「近代社会というのは法律

                                                                        【雑記】「社会学」憎悪について|後藤和智@テキストマイニングとか
                                                                      • 【仮想通貨マイニング逮捕問題】なぜ犯罪になるのか神奈川県警に開示請求したところ回答期限をMAXまで延長された

                                                                        あらすじ:違法マイニングで摘発・逮捕者が出た件が波紋を呼ぶ CoinHiveって違法なの?????と動揺が起こる リンク 産経ニュース 違法マイニングで16人摘発 10県警、仮想通貨獲得で不正アクセス 同意なしに他人のパソコンを使い、仮想通貨の獲得手段である「マイニング(採掘)」をしたなどとして、神奈川や愛知など全国の10県警が不正指令電磁的記録作成容疑などで… 102 users 66

                                                                          【仮想通貨マイニング逮捕問題】なぜ犯罪になるのか神奈川県警に開示請求したところ回答期限をMAXまで延長された
                                                                        • DMMが国内で仮想通貨マイニングファーム運営開始 | TechWave(テックウェーブ)

                                                                          1990年代初頭から記者としてまた起業家として30年以上にわたりIT業界のハードウェアからソフトウェアの事業創出に関わる。シリコンバレーやEU等でのスタートアップを経験。日本ではネットエイジ等に所属、大手企業の新規事業創出に協力。ブログやSNS、LINEなどの誕生から普及成長までを最前線で見てきた生き字引として注目される。通信キャリアのニュースポータルの創業デスクとして数億PV事業に。世界最大IT系メディア(スペイン)の元日本編集長を経て現在に至る。 DMM.comは2018年2月9日、仮想通貨のマイニングファームを日本国内で運営開始したことを明らかにしました。 暗号通貨の採掘には膨大な電力消費と高度な冷却機能が必要ですが、寒冷地である石川県金沢市を選ぶことで、より効率よくマイニングファームを運営するねらいです。 マシンフロア延床面積 約500平米 今回運営が開始されたDMMマイニングファ

                                                                            DMMが国内で仮想通貨マイニングファーム運営開始 | TechWave(テックウェーブ)
                                                                          • 第16回 データマイニング+WEB 勉強会@東京( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り− を開催しました - hamadakoichi blog

                                                                            2011/11/27 "第16回 データマイニング+WEB 勉強会@東京−リアルタイム分散 Web解析・自然言語処理 祭り−"を開催しました。 第16回 データマイニング+WEB 勉強会@東京 ( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧: 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA: ■Opening Talk: O1.「データマイニング+WEB勉強会@東京 について」(15分) 講師 : id:hamadakoic

                                                                              第16回 データマイニング+WEB 勉強会@東京( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り− を開催しました - hamadakoichi blog
                                                                            • 【SEO×自然言語処理】 SEOに使えるテキストマイニングの最新手法

                                                                              はじめまして、レバレジーズSEOチームです。 私達は自然言語処理を用いてSEO施策を行っています。 自然言語処理というのは、人間が普段使っている言語をコンピュータなどの機械に処理させることを指します。Googleなどの検索エンジンがWebページを理解するために用いていると考えられています。 今回は、自然言語処理を行うためのテキストマイニングの手法をいくつか紹介しようと思います。 ■形態素解析とテキストマイニングまず第一に、検索エンジンがWebページを読み込んで、そのページに何が書かれているのか・何を強調したいのか・どのような文脈なのかを人間のように理解することは一般的に難しいとされています。 とりわけ日本語の場合、The pen is made in German.など、 ”The”,”pen”,”is”,”made”,”in”,”German”とスペースで区切られた英語とは異なり、「ドイ

                                                                                【SEO×自然言語処理】 SEOに使えるテキストマイニングの最新手法
                                                                              • テキストマイニングで始める実践Hadoop活用

                                                                                Hadoopとは何かを解説し、実際にHadoopを使って、大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します いまさら聞けないHadoopとテキストマイニング入門 テキストマイニングで始める実践Hadoop活用(1) それぞれの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築します

                                                                                • 【Pythonでテキストマイニング】TwitterデータをWordCloudで可視化してみる - Np-Urのデータ分析教室

                                                                                  今回はツイッターからツイートデータを取得し、それをWordCloudというライブラリを使って可視化してみたいと思います。 Word Cloud関連の記事は、既に多くあり特に目新しいものではないですが、可視化ツールとしてはなかなかインパクトがあるので、テキストマイニング関連の分析の一例として今回やってみました! ちなみに、今回、好きな芸人の中の一人である、スピードワゴン小沢さんのツイートを取得して、可視化してみました。(勝手にごめんなさい。。。) 結果をまず先にお見せします! 今回の流れWord Cloudでは、頻出する単語ほど、つまり特徴的な単語ほど大きな文字で表示されます。右下の「好き」「幸せ」「友達」という言葉がまず目に入りました。 小沢さんのツイートは、とても詩的で素敵です。そんな小沢さんの人柄、芸術性溢れたツイート内容がうまく可視化できているのではないかと思います! さて、この図を

                                                                                    【Pythonでテキストマイニング】TwitterデータをWordCloudで可視化してみる - Np-Urのデータ分析教室