膨大なテキストからビジネスのヒントを探せ
本連載は、テキストマイニングがビジネスでどのように活用できるかを数回に渡って解説する。ビジネスにおける利用シーンを具体的に述べるため、次回以降は多くの企業で設置す るようになったコンタクトセンターにおける最新の利用方法、事例、ポイントを述べる。 1-1 テキストマイニングとは文字情報の可視化技術 テキストマイニングとはどのような技術か。テキストマイニングはその用途や考え方によってさまざまな定義が存在するが、一般的には、自然文章（特に定型化されていないテキストデータ）を自然言語処理技術によって分割し、その出現頻度や出現傾向を統計解析技術・データマイニング技術を使って解析することで、傾向や特徴を可視化する技術とされている。 1-2 テキストマイニングの流れ テキストマイニングの処理のプロセスを、技術的な側面から説明する。最初に断っておくが、今回での説明だけでは、ビジネスにおいてどのように利用で
コンタクトセンターの価値を高めるテキストマイニング
求められるテキストマイニング技術 さて、ここまで幾つかの事例を見てきたわけであるが、このような成功を生み出すテキストマイニング技術がどのようなものかについては、前回の「膨大なテキストからビジネスのヒントを探せ」を読んでほしい。では、そのテキストマイニングに、どんな機能があるかを見ていこう。 どんな分類があるか 1番目に挙げられるのは分類機能である。コンタクトセンターに寄せられた内容を分類し、集計をスピーディに実施する。この集計を分類する方法に大きく2つがある。それは、自動分類と任意分類（振り分け）とがある。 1つ目の自動分類というのは、指定した数に基づいて自動的に分類する方法である。 大雑把に説明しよう。分類する数を分析者が指定すると、その数にテキストマイニングソフトが自動的に分類する。代表的な方法としてクラスタリングという手法がある。この方法は、分析を始めたころや、報告書式の項目が未決定
フェルマー予想解決の話＋昔に女子大で数学の講義を聴いた話 - hiroyukikojima’s blog
今や、フェルマー予想も、ポアンカレ予想も解決してしまった。そして「フェルマーの最終定理」、「ポアンカレの定理」という座に落ち着いた。(証明者に冠するなら、ワイルズ・テイラーの定理、ペレルマンの定理と呼ばれるべきかもしれないが）。残された著名な予想は、リーマン予想となった。これもぼくが生きている間に解決してしまうのだろうか。そうあって欲しい、とわくわくする。 フェルマー予想は、ぼくが数学の秘境に迷いこむことになった憧れの定理である。中学生のときに、コンスタンス・レイド『ゼロから無限へ』 ゼロから無限へ―数論の世界を訪ねて (ブルーバックス) 作者: コンスタンス・レイド,芹沢正三出版社/メーカー: 講談社発売日: 1971/08/16メディア: 新書購入: 32人 クリック: 537回この商品を含むブログ (16件) を見るとか、イタール『整数論』(文庫クセジュ）とかを読んで、そりゃあもう、
なんでみんな中小企業の味方なんだろう - hiroyukikojima’s blog
「ハゲタカ」というNHKのドラマの再放送を観た。 前に、6話中の第5話だけ観ていて、ツボがよくわからなかったのだけど、 今回は、1話を除いて全部観たので、世界観がよくわかった。 これは、ファンドによるM&A(合併・買収)の虚々実々を物語に仕立てたものだ。 M&Aに関する経済学のプロとしての分析は、 wired visionのブログ に書いたので、そちらで読んでいただくとして、ここではごく個人的な感想を書く。 このドラマは、とっても良くできていて、とりわけ人間模様のあり方を丹念に 描写しているところが、フィックションとしては秀逸だったと思う。いわゆる「浪花節」なんだけど、浪花節好きのぼくは涙を流しながら観てしまった。 でもね、 思うんだけど、この物語も「中小企業のひたむきに働く労働者」感というのを 全面に押し出しているわけよ。それが解せないのだ。 小説家もそうなんだけど、政治家もマスコミも、
■ベイズ推定：オオカミ少年 - ガスコン研究所
「オオカミ少年」とは、ハニカミ少年や、滑舌が悪くて、オオカミの少年ではない（言われなくても、わかっている）。「オオカミが来たぞ～」とウソをつく少年だ。いわゆる人騒がせな愉快犯。何度もウソをつくので、すっかり村人の信用を失い、ホントにオオカミが来たときに誰も信じてもらえなくなる童話。では、どのくらいウソをつくと、あの人はウソつきだという確信を抱くようになるのか。「ベイズ推定」を使った「オオカミ少年」シミュレータ。 「嘘つき、正直」と「ウソ、ホント」の数値は、それぞれの性向を表す。で、「オオカミが来ない確率」というのは、まわりくどい表現だが、「オオカミが来るぞ～」と言ったが、実際は「オオカミが来ない」場合の確率、結果的にウソをついたことになる（オオカミが来る、来ないかは乱数で決めるが、その度合）。グラフの縦軸は、嘘つきであると判断する「確信度」を表す。 で、何度かグラフを描いてみると、同じ数値
書評 - 無限の果てに何があるか : 404 Blog Not Found
2007年01月18日04:30 カテゴリ書評/画評/品評Math 書評 - 無限の果てに何があるか うーん、参った。まぎれもない傑作なのだけど、まぎれもない傑作がゆえに、(まだ知らない人は)読むのを後回しにして欲しいというか.... 無限の果てに何があるか 足立恒雄 数学ファンなら絶対読むべきだけど、しかし読むのは「オイラーの贈り物」を終えてから、それも単に読了というのではなくそこに書いてあることを全部解けるようになってからにして欲しいという、そんな感じ。 なぜなら、本書「無限の果てに何があるか」は、クライマックスが不完全性定理だから。 目次 プロローグ―「異文化」への招待状 第1章 虚数とは何か 第2章 三角形の内角の和はホントに二直角か 第3章 1+1はなぜ2なのか 第4章 無限とは何か 本blogでは、数学入門書は売り上げトップで、「はじめまして数学」なんかは飛ぶように売れたし、芳
ゲーデルの不完全性定理 - Wikipedia
ゲーデルの不完全性定理（ゲーデルのふかんぜんせいていり、英: Gödel's incompleteness theorems、独: Gödelscher Unvollständigkeitssatz）または不完全性定理とは、数学基礎論[1]とコンピュータ科学（計算機科学）の重要な基本定理[2]。（数学基礎論は数理論理学や超数学とほぼ同義な分野で、コンピュータ科学と密接に関連している[3]。） 不完全性定理は厳密には「数学」そのものについての定理ではなく、「形式化された数学」についての定理である[4][注 1]。クルト・ゲーデルが1931年の論文で証明した定理であり[5]、有限の立場（英語版）（形式主義）では自然数論の無矛盾性の証明が成立しないことを示す[3][5]。なお、少し拡張された有限の立場では、自然数論の無矛盾性の証明が成立する（ゲンツェンの無矛盾性証明（英語版））[3][注 2]。
モンティ・ホール問題 - Wikipedia
サヴァントの再再々解説でも大論争へと発展、「彼女こそ間違っている」という感情的なジェンダー問題にまで飛び火した。 プロ数学者ポール・エルデシュの弟子だったアンドリュー・ヴァージョニが本問題を自前のパーソナルコンピュータでモンテカルロ法を用いて数百回のシミュレーションを行うと、結果はサヴァントの答えと一致。エルデシュは「あり得ない」と主張していたがヴァージョニがコンピュータで弾き出した答えを見せられサヴァントが正しかったと認める[1]。その後、カール・セーガンら著名人らがモンティーホール問題を解説、サヴァントの答えに反論を行なっていた人々は、誤りを認める。 サヴァントは、「最も高い知能指数を有する者が、子供でもわかる些細な間違いを新聞で晒した」等の数多くの非難に対して3回のコラムをこの問題にあて、激しい反論の攻撃に耐えて持論を擁護し通し、証明した[2]。それによると、ドアの数を100万に増や
モンテカルロ法 - Wikipedia
モンテカルロ法（モンテカルロほう、（英: Monte Carlo method、MC）とはシミュレーションや数値計算を乱数を用いて行う手法の総称。元々は、中性子が物質中を動き回る様子を探るためにスタニスワフ・ウラムが考案しジョン・フォン・ノイマンにより命名された手法。カジノで有名な国家モナコ公国の4つの地区（カルティ）の1つであるモンテカルロから名付けられた。ランダム法とも呼ばれる。 計算理論[編集] 計算理論の分野において、モンテカルロ法とは誤答する確率の上界が与えられる乱択アルゴリズム（ランダム・アルゴリズム）と定義される[1]。一例として素数判定問題におけるミラー-ラビン素数判定法がある。このアルゴリズムは与えられた数値が素数の場合は確実に Yes と答えるが、合成数の場合は非常に少ない確率ではあるが No と答えるべきところを Yes と答える場合がある。一般にモンテカルロ法は独立
無限は君が思っているほど大きいとは限らない : 404 Blog Not Found
2007年06月27日13:00 カテゴリValue 2.0Math 無限は君が思っているほど大きいとは限らない この「可能無限」という言葉は、120% Fasionable Nonsenseだと考えている。それも、人畜無害なものではなく、「水からの伝言」なみかそれ以上に危険な。 My Life Between Silicon Valley and Japan - フューチャリスト宣言や茂木さんのことやはてなのことなどを酔っ払いながら書いてみる 茂木さんが最初に「自分が書いた文章」を披露しながら、「自分は可能無限の世界を愛していて、人間の有限性というのを受け入れることが未だにできずにいる。だから物事を決められないのが自分の欠点なんだ。弱さなんだ。そういう秘密を頭に浮かべながら、この文章書きました」みたいな話をしていた。茂木は可能無限を以下のように定義している。 フューチャリスト宣言 p.1
ウェブのデータと検索の可能性
検索の手順：何をコンピュータに任せられるか どこに情報があるか データベース検索 → DB推薦？ 一括検索？ 文書検索 → 文書からデータを取り出すには 何をどう検索するか 適切な検索語句 → シソーラスや検索候補 適切な検索式 → フリーキーワード v.s. 多項目検索 結果をどう利用するか 検索結果を見る → より分かりやすいプレゼンテーション 結果を評価・判断する → ページランク、適合度、信頼度評価 継続検索 → 検索式の自動補正、絞込み 次のアクション → 別のサービスへの自動接続、結果からの推論 文書の検索と情報の検索 情報を知るためには 情報が記述されている文書（書籍、ウェブページ）を検索して内容を読む 情報を（あらかじめ整備されたデータベースなどで）直接調べる 文書の中の情報が検索できたら？ 人間に代わってコンピュータが文書内から情報を取り出してくれたら？ 2006年5月の
形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード候補が含まれるドキュメ
Text Classification with CEEK.JP NEWS
CEEK.JP NEWS の2009年1月から2011年12月の記事データを基に、テキストの分類を行います。対応しているカテゴリーは「社会」「政治」「国際」「経済」「電脳」「スポーツ」「エンターテイメント」「サイエンス」の8つです。 ナイーブベイズ（Naive Bayes）分類法を用いており、概ね80%の精度で分類できます。 コンフュージョン・マトリックス（学習：2005年7月 / 判定：2005年8月） http://labs.ceek.jp/classify/cm.pdf 表の縦（グラフ）は、推定分野。表の横は、正解分野。 参考資料： 情報意味論（第8回） ベイズ学習 （櫻井研究室 情報意味論の講義資料） Tackling the Poor Assumptions of Naive Bayes Text Classifiers
数学者と統計学者と会計士、三者はいったい何が違う？ | ある編集者の気になるノート
前の記事に時間をかけてしまったので、こちらはサラッと。 数学者と統計学者と会計士（アルファルファモザイク）数学者と統計学者と会計士が、同じ仕事に応募した. 面接官は数学者を呼び入れて,問った. 「2+2は何になりますか?」数学者は「4です」と答えた. 面接官は念をおした.「ぴったり 4ですか?」数学者は疑わしいような姿で面接官を報告,答えた.「はい.ぴったり 4です」 次に面接官は統計学者を呼んで入れて同じ質問をした. 「2+2は何になりますか?」統計学者は「平均して,4.誤差 10パーセントですが,だいたい 4です」 終わりに面接官は会計士を呼び入れて,同じ質問をした.「2たす 2は何になりますか?」 会計士はドアに鍵をかけて窓のシェードを下げて,面接官の横に座って問った. 「2+2をいくつにしたいんですか?」いやぁ、これはブラック。 ちなみに、仕事柄、会計士の方との付き合いも少しありま
萌え理論Blog - 数学解説・計算方法まとめ
数学・算数のリンクを集めました。「高速掛け算メソッド」では、筆算中の掛け算と足し算の操作を別に分けることで、高速かつ正確に計算する方法が紹介されています。「こんなの学校で教えてくれなかった！」また、記事の最後にパズル「ルービックキューブ」関連をまとめました。誰でも解ける攻略法や、数十秒で解く上級者の記事があります。 計算法 高速掛け算メソッド「繰り上がり分離法」 かけ算2.0 | i d e a * i d e a sta la sta - 線を引くだけで簡単にかけ算を解く方法 ネイピアの骨 - Wikipedia ITmedia Biz.ID：複利計算を“暗算”で行う ソフト・サービス ルービックキューブの解法を必ず見つける「Rubik’s Cube Solver」 - GIGAZINE グラフ用紙や方眼紙などを作成する無料ネットサービスいろいろ - GIGAZINE 超美麗なフラクタル
ITmedia Biz.ID：複利計算を“暗算”で行う
もし100万円を12％の金利で預けた場合、6年経つと資産は約200万円……。こんな、資産運用や借金の概算をざっくり暗算する方法を紹介しよう。 投資をしようと思い立ったり、家を買うなど借金をしたりするときに、必ずついて回るのが複利計算だ。5％の金利であっても、その利子についてさらに利子がつくことで、資産や借金の額が急速に大きくなることを“複利”という。 普通に考えれば、100万円に最初の1年で5％の利子がついて105万円。2年目は105万円に5％の利子がついて、110万2500円、3年目は110万2500円に……という計算になる。電卓でも（金融電卓でない限り）同じように計算しなくてはならず、面倒なことこの上ない。 ただしいわゆる“投資”をかじったことのある人なら、「72の法則」を聞いたことがあるだろう。これは、72を利率のパーセントで割ると、資産や借金が2倍になる年数が分かるというものだ。例
「かごの卵」とリスク分散 - ガベージニュース(旧:過去ログ版)
2006年06月18日 18:00 投資が語られる際によくたとえ話としてあげられるのが「かごと卵」の話。要は「卵を運ぶときに一つのかごにまとめて入れてしまうと、そのかごをひっくり返してしまった場合すべての卵が割れてしまう。だから卵は複数のかごに入れて運ぶべきだ」という例をあげ、リスク回避のためには分散して投資することをうながしている。この考え方についてちょっと考えてみた。 分かりやすくするために「かごは1つか2つ」「卵は2つ」「中に卵がいくつ入っていようとも、1つのかごで卵を運ぶ際に途中でかごを落として中の卵を割ってしまう確率は50％」「かごを落とすと中の卵はすべて割れる」と単純化する。期待値計算をすると、かご1つの場合(パターンA)は「無事に運べる＝2(A1)」か「途中でかごを落として割ってしまう＝0(A2)」の二つの場合が考えられ、(2+0)÷2で1.0。平均1個のたまごを運べることに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生活や実務に役立つ高精度計算サイト
モナドの講義をYoutubeで | wrong, rogue and log
はてなブログ | 無料ブログを作成しよう
