並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 50件

新着順 人気順

テキストマイニングの検索結果1 - 40 件 / 50件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

テキストマイニングに関するエントリは50件あります。 自然言語処理pythonPython などが関連タグです。 人気エントリには 『有価証券報告テキストマイニング入門 - 株式会社ホクソエムのブログ』などがあります。
  • 有価証券報告テキストマイニング入門 - 株式会社ホクソエムのブログ

    はじめに こんにちは, ホクソエムサポーターのKAZYです。 先日猫カフェデビューをして, 猫アレルギーであることがわかりました🐈。 次はフクロウカフェに挑戦してみようかなと思っています🦉。 ところで皆様, 有価証券報告書は読んでますか? 私は読んでいません。 読めません。 眺めていると眠くなります💤。 私は眠くなるんですが, 有価証券報告書ってテキストマイニングするのに向いているんです。企業の事業や財務情報が詳細に書かれています。 XBRL形式で構造化されています。 数千社分のテキストが手に入ります。 おまけに無料です。 どうです?興味湧いてきませんか? 本記事ではPythonを使って有価証券報告書をテキストマイニングする方法を紹介します。 有価証券報告書をダウンロードするところからご紹介するのでご安心を。 こんな方が見たら役に立つかも 企業分析をプログラミングでやりたいが何してい

      有価証券報告テキストマイニング入門 - 株式会社ホクソエムのブログ
    • 【雑記】「社会学」憎悪について|後藤和智@テキストマイニングとか

      「社会学」に対する憎悪(本当に無知に基づいているとしか言い様がない、かつ一方的で中傷としか言い様がない)が渦巻いている。まあその流れの源流に私の『おまえが若者を語るな!』(角川Oneテーマ21、2008年)もあるのかと考えるとかなり複雑で頭を抱えたくなる気持ちである。 私が同書で批判したのは宮台真司をはじめとするポピュラー社会学で、それらを非科学的なものとして斬り捨てたのだが、そういう語りに感化された人たちが、いつしか「自分たちにとって都合の悪いことを言う連中」全般を「社会学者」呼ばわりするようになっている。どうも、他称社会学者の工学修士です。 ところでそういった「社会学」バッシングの流れは、むしろポピュラー社会学の影響を強く受けているということは指摘しておきたい。例えば表現規制反対派ムラの連中の振る舞い(例えば「強力効果論」「限定効果論」へのこだわりとか、あるいは「近代社会というのは法律

        【雑記】「社会学」憎悪について|後藤和智@テキストマイニングとか
      • KH Coder: 計量テキスト分析・テキストマイニングのためのフリーソフトウェア

        概要と特長 KH Coderとは、計量テキスト分析またはテキストマイニングのためのフリーソフトウェア(自由ソフトウェア)です。 アンケートの自由記述・インタビュー記録・新聞記事など、さまざまなテキストの分析にお使いいただけます。 プログラミング不要、マウス操作で本格的な分析 安心の分析プロセス完全公開、研究利用も多数 New! 機能紹介(スクリーンショット) スクリーンショット集 [旧ページ:言葉・文書・可視化・他] KH Coder 3 正式版の新機能(予告) New! KH Coder 3 Beta版の新機能 機能追加プラグイン「文錦®」シリーズ New! ダウンロードと使い方 KH Coder 3 ダウンロード(3.Beta.07f - 2023 10/16) 使い方を知るためのチュートリアル 使用許諾 ヘルプ 質問&エラー報告用の掲示板 ※投稿にはGitHubへの登録が必要(無料)

        • Pythonのライブラリで小説全文をテキストマイニングしよう

          テキストマイニングとは? テキストマイニングとは、テキストをプログラムに分析してもらい、文章の特徴を図や色などで表現することを指します。 SNSで注目されている単語やGoogle検索トレンドなども瞬時で分析でき、データサイエンティストやマーケターなども活用できます。 今回行うテキストマイニングで特に重要な処理が「形態素解析」と呼ばれるもので、繋がっている文章の中から単語を抜き出して意味を割り出す分析方法です。 例えば、私たち人間が「このサイトは非プログラマーが日常業務で使えるシンプルなPythonを紹介するメディアです。」 をという文章を読む時には 「この/サイト/は/非/プログラマー/が/日常/業務/で/使える/シンプル/な/Python/を/紹介/す/る/メディア/です。/」 と区切ることができます。しかし(英語は単語ごとにスペースを開けるのでプログラムで処理をしなくても問題はありませ

            Pythonのライブラリで小説全文をテキストマイニングしよう
          • 1年間に発売されたライトノベルのタイトルを、AIテキストマイニングで分析してみた|岡田勘一[編集者・ライター]

            どうも、マイストリート岡田です。 現在『このラノ』のアンケートが始まってちょっと一息、というところなのですが、ライトノベルのタイトルに関することでこんなツイートをしました。 延々とライトノベルのタイトルをチェックしていると見えてくるのですが、AV的なワードを入れて見所凝縮したタイトルと、設定・要素のワードを組み合わせたタイトルと、かなり傾向がバラバラです。 レーベルによっても偏りがあるので面白いです。https://t.co/JN1ye4YWRV https://t.co/cY4LugMelN — 岡田勘一[編集者・ライター ] (@kanichi0203) September 7, 2020 この段階では感覚的なものなので、ちゃんとライトノベルのタイトルがリストになっているものを使ったほうがいいだろう、ということで『このライトノベルがすごい!2021』のために作った、昨年9月から今年8月

              1年間に発売されたライトノベルのタイトルを、AIテキストマイニングで分析してみた|岡田勘一[編集者・ライター]
            • 【AIテキストマイニングを使ってみよう!】あの筆者はどんな人?ツールを使って確認してみよう!『文字数・ポジネガ・頻繁に使う言葉etc』が一目でわかります。 - ken-j’s diary

              普通に自己紹介! ken-jです。 「あの記事作成者はたくさんの文字を書いているけど、一体何文字書いているんだろう?」 と思ったことありません? 最近はもうあまり気にならなくなりましたが、たくさんの文字数で記事を書けることにすごさを感じていましたし目指していたこともありました。 でも、一字ずつ数えていくのも面倒だし行ってはいませんでしたが。 そんなことを思っている時にこの【AIテキストマイニング】を見つけました。 はっきり言って文字数を調べるなんて使い方ではもったいない。 使い方次第では非常に有益なサイトだと思います。 どんなものか、ぼくken-jの記事を参照にしてみていきましょう。 サイトURLのご紹介 1.(コピー可能な)記事の文字数を確認できる 2.活用頻度の高い単語を抽出・各種分析 3.ポジティブ、ネガティブ分析と感情、推移 4.文書の要約・ハイライト 5.2つの文章を比較する ま

                【AIテキストマイニングを使ってみよう!】あの筆者はどんな人?ツールを使って確認してみよう!『文字数・ポジネガ・頻繁に使う言葉etc』が一目でわかります。 - ken-j’s diary
              • 月刊テキストマイニングレポートVol.32:フェミニズムへの憎悪を扇動する「オタク政治家」――荻野稔研究|後藤和智@テキストマイニングとか|note

                本稿は、「コミックマーケット97」第2新刊『月刊テキストマイニングレポート総集編2 続・ツイッターにおける女性差別に関する考察』の第4章として書かれたものです。 4.1 はじめに本書の締めとして、まえがきで採り上げた荻野稔・太田区議について採り上げたい。筆者はtwitteRを使って、荻野のアカウントである「@ogino_otaku」を検索ワードに、リツイートされている荻野のツイートを集計した。集計を行ったのは2019年12月12日の深夜で、API検索を用いている関係から、国際標準時で2019年12月11日15時17分から2日15時51分までの34,089件のツイートが取得できた。その中からリツイート27,169件を抽出して集計すると、一番多かったのは漫画家による自分の活動の紹介だが、その他にも反差別やフェミニズムを揶揄するようなツイートが多くの支持を集めている(改行を「/」に置換している)

                  月刊テキストマイニングレポートVol.32:フェミニズムへの憎悪を扇動する「オタク政治家」――荻野稔研究|後藤和智@テキストマイニングとか|note
                • テキストマイニングで、2023年のブログをふりかえりました - 叡智の三猿

                  2023年もあっという間に終わります。 1年は早いと毎年、思うのですが、その早さは歳を重ねる毎に加速しているような気がします。 今年1年、わたしが投稿したブログを「ユーザーローカル テキストマイニング(https://textmining.userlocal.jp/)」というツールを使って「スコア」による分析をしたら、以下の結果となりました。 情報セキュリティは、このブログの骨格ですので、目立つのは当然です。情報セキュリティに関係が深い、パスワードや個人情報もやはり目立ちますね。 概ね、想定通りの結果ですが、異質な感じを受けるのが「韓国ドラマ」というキーワードです。 現在、わたしは、ネットフリックス、Amazonプライム、ユーネクスト、ディズニー+と、主要な動画配信サービスと契約し、韓国ドラマと共に生活をしてます。ブログで韓国ドラマについて言及する機会も多かった年だと思います。 韓国ドラマ

                    テキストマイニングで、2023年のブログをふりかえりました - 叡智の三猿
                  • テキストマイニングとは | 自然言語処理・種類と活用法・おすすめツール4選 | Ledge.ai

                    テキストマイニングとは自由形式で記述された文章を分析するための手法です。SNSへの投稿をはじめとした大量の文字情報を活用するうえで大変役立ちます。本稿では、テキストマイニングの概要や活用シーン、自然言語処理という技術、オススメのツールやExcelでのテキストマイニングなどを解説します。 テキストマイニングとは?テキストマイニングとは、構造化されてないテキストデータから、新しい情報を抽出する分析手法です。 大量のデータから情報を抽出することで、文章中の単語の使用頻度や傾向、相関関係など、さまざまな特徴を分析する際に用いられます。 情報抽出の性能を向上させるために、自然言語処理が主に用いられています。 また、テキストマイニングは、データマイニングから派生した研究分野であり、データ分析で用いられたさまざまなアプローチや要素技術を応用し、発展した分析手法です。 –データマイニングとは データマイニ

                      テキストマイニングとは | 自然言語処理・種類と活用法・おすすめツール4選 | Ledge.ai
                    • ChatGPTを使ったテキストマイニングの方法 | Marketing Junction

                      【新サービスのお知らせ】リサーチ&コンテンツ[詳細はこちら]※料金付き BtoB WEBページのPR集客とコンバージョンを引き上げる総合サービスメニューです。ターゲット設定、全体企画、調査実施、分析コンテンツ、プレスリリース、ダウンロード用白書制作まで。特設ページで詳しくご案内しています。 ChatGPT (チャットGPT)テキストマイニング 準備と概要 【GPT_Textminingシリーズ一覧リンク】 第1回 入門編・グーグルスプレッド&API 第2回 グーグルスプレッド・サマライズ等 第3回 通常の対話型インターフェイスを使った単語抽出など 第4回 マイニングツールKH-Coderとの連携について 第5回 ワードクラウドを表示するHTMLを作る 第6回 エクセルをそのままコードインタープリターで加工する 【はじめに】 アンケート調査やカスタマーサポートの業務では、顧客の自由回答や問い

                      • はじめての自然言語処理 OSS によるテキストマイニング | オブジェクトの広場

                        前回はグラフベースのキーフレーズ抽出手法と pke での実験結果を紹介しました。今回は、spaCy, scattertext, ... 等々の OSS を用い各種のテキストマイニング手法についてコード例とサンプルプロットを交えながら説明したいと思います。 1. はじめに 本記事ではテキストマイニングの概要と代表的な手法について、コード例とサンプルプロットを交えて説明します。分析対象には、この連載で何度か用いている livedoor ニュースコーパスを用い、Google Colaboratory で動かすことを想定したコードスニペットを入れていきますので、実際に動かしたり対象を変えてみたりして試して頂けると良いかと思います。 2. テキストマイニングとは テキストマイニングとは、ざっくり言うと「自然言語の文書データを対象に使用される単語の出現傾向等を分析して何らかの有益な情報を取り出すこと」

                          はじめての自然言語処理 OSS によるテキストマイニング | オブジェクトの広場
                        • Pythonを使って文章から共起ネットワークを作る 〜テキストマイニングでの可視化〜 - 見習いデータサイエンティストの隠れ家

                          テキストから示唆を作り出すテキストマイニングの一つとして、今回は文章から共起ネットワークを作ります。共起ネットワークは、同時に出現する単語の組み合わせをエッジで繋ぎ、単語間の関係をネットワークで表したものです。これにより、文章内の単語の関連性を可視化できます。 今回は、Pythonの「networkx」を使って、共起ネットワークを実装します。今回の記事で最終的に出来上がった共起ネットワークは以下になりました。 今回の記事のコードはここに置いてあります。 データの準備 必要モジュールのインポート データの取得と加工 共起ネットワークのためのデータ整形 エッジの重みJaccard係数 Jaccard係数の分布 共起ネットワークの作成 終わりに データの準備 共起ネットワークを描くためには、テキストを文章を1区切りとして分割し、文章ごとに同時に出現する単語の組み合わせリストを作る必要があります。

                            Pythonを使って文章から共起ネットワークを作る 〜テキストマイニングでの可視化〜 - 見習いデータサイエンティストの隠れ家
                          • データをいろいろ見てみる on Twitter: "オープンレター個人ではなく女性差別てきな「文化」を問題にしたというが、文章をテキストマイニングしてみると呉座さんへの言及が中心を占めておりやはり個人を問題視しているのではないか。 オープンレター… https://t.co/dGQfu3QyPa"

                            オープンレター個人ではなく女性差別てきな「文化」を問題にしたというが、文章をテキストマイニングしてみると呉座さんへの言及が中心を占めておりやはり個人を問題視しているのではないか。 オープンレター… https://t.co/dGQfu3QyPa

                              データをいろいろ見てみる on Twitter: "オープンレター個人ではなく女性差別てきな「文化」を問題にしたというが、文章をテキストマイニングしてみると呉座さんへの言及が中心を占めておりやはり個人を問題視しているのではないか。 オープンレター… https://t.co/dGQfu3QyPa"
                            • Pythonでスクレイピングした結果をテキストマイニングしてLINEに送信する - Qiita

                              アプリ説明 占いたい時期を西暦で入力して、上半期か下半期を選択。占いたい星座を入力すると、占いサイトより該当の星座占いをスクレイピングして、結果をテキストマイニングして画像を生成させます。 生成した画像はLINE Notifyを使用して自分のアカウントに送信されるようにしました。 生成される画像のイメージ 使用したライブラリ WordCloud ワードクラウドの生成 https://pypi.org/project/wordcloud/ Janome 形態素解析エンジン https://pypi.org/project/Janome/ https://github.com/mocobeta/janome BeautifulSoup スクレイピングツール https://pypi.org/project/BeautifulSoup/ https://www.crummy.com/softwa

                                Pythonでスクレイピングした結果をテキストマイニングしてLINEに送信する - Qiita
                              • 現代短歌のテキストマイニング―𠮷田恭大『光と私語』を題材に|いぬのせなか座|note

                                英語圏では、自然言語処理の技術を実作の助けになるかたちで応用する学術研究が盛んです。日本語圏にも、半世紀以上に渡る、計量文体学や日本語コーパス構築の積み重ねがあります。それらの手… もっと読む

                                  現代短歌のテキストマイニング―𠮷田恭大『光と私語』を題材に|いぬのせなか座|note
                                • 【雑記】政権批判批判の”正しい”使い方(2020.10.06)|後藤和智@テキストマイニングとか

                                  なんで、いま、みんな日本学術会議に関心を持っているの?新政権のツッコミどころだからというだけでしょう。もともとほとんど関係ないうえに興味もなかったじゃない。ぼくだってそうで、たぶん1、2回ほど部会のシンポジウムかなにかで話したことあるけれど、はっきり言えば関係ない。 — 西田亮介/Ryosuke Nishida (@Ryosuke_Nishida) October 5, 2020 知らないようであれば説明するが、この問題の論点は、第一に、総理の独断専行で過去の法律解釈や運用(総理には任命権はあっても拒否権はないというもの)をねじ曲げているというところにある。そのため、この問題については学術界のみならず法曹界などからも疑問と恐怖の声が上がっているのである。このような行為を安直に許してしまうと、行政府の長の”お気持ち”による介入に歯止めが利かなくなる。行政の手続きの正当性に関わる極めて重大な問

                                    【雑記】政権批判批判の”正しい”使い方(2020.10.06)|後藤和智@テキストマイニングとか
                                  • 無料のテキストマイニングツールおすすめ5選を紹介!無料版と有料版の違いも解説

                                    AIにおける自然言語処理の分野で注目されているテキストマイニングツールには、無料で利用できるものから有料版のものまでさまざまなツールがあります。 DXに取り組む企業が増える中、マーケティングやコールセンター業務などにテキストマイニングツールを活用する動きもあります。 今回の記事では、そもそもテキストマイニングとは何なのか、無料で利用できるテキストマイニングツールもあわせて詳しく解説します。 テキストマイニングツールの 製品比較記事を見る テキストマイニングとは そもそも、マイニングとは日本語に直訳すると「採掘する」という意味をもつ言葉です。したがって、テキストマイニングとはテキスト(=文章)からさまざまなデータや情報を抽出する技術のことを指します。 たとえば、「私の名前は山田一郎です。血液型はO型で、今年で35歳になります。出身地は東京都で、現在は千葉県に住んでいます。」というテキストがあ

                                      無料のテキストマイニングツールおすすめ5選を紹介!無料版と有料版の違いも解説
                                    • テキストマイニングをやってみよう!「人間椅子」編 - Story of my life

                                      あなたはテキストマイニングという言葉をご存知でしょうか? 申し訳ありません、実は私も専門的なことはよく知りません。 めちゃくちゃざっくり説明させていただきますと… 文章の中に含まれる動詞とか名詞とかを自動で検索して、どういう言葉が多いのかを解析する、というツールです。 先日、自分の書いた文章にはどんな言葉が多いのだろう、という疑問を持ちました。 しかし当然のことながら、手動でやるには効率が悪すぎる、じゃあ何かいいソフトはないかと調べてみたところ、このテキストマイニングとやらの存在にたどり着いたわけです。 誰でも無料で使えるので、暇つぶしに使ってみてください、結構面白いですよ。 textmining.userlocal.jp ではてっとり早く実践してみます。 ご存じの方も多いと思われますが、青空文庫という著作権の切れた小説などを整理しているサイトがあります。 ここから私の好きな「人間椅子」と

                                        テキストマイニングをやってみよう!「人間椅子」編 - Story of my life
                                      • みやさかしんや@Python/DX/エンジニア on Twitter: "文部科学省が無料で公開している「高校の情報IIの教員用教材」が超絶に有益✨🤗月曜から高校に通いたくなるレベル✨🏫 ・重回帰分析 ・主成分分析 ・クラスタリング ・ニューラルネットワーク ・テキストマイニング ・画像認識 など… https://t.co/xb60pwgE9u"

                                        文部科学省が無料で公開している「高校の情報IIの教員用教材」が超絶に有益✨🤗月曜から高校に通いたくなるレベル✨🏫 ・重回帰分析 ・主成分分析 ・クラスタリング ・ニューラルネットワーク ・テキストマイニング ・画像認識 など… https://t.co/xb60pwgE9u

                                          みやさかしんや@Python/DX/エンジニア on Twitter: "文部科学省が無料で公開している「高校の情報IIの教員用教材」が超絶に有益✨🤗月曜から高校に通いたくなるレベル✨🏫 ・重回帰分析 ・主成分分析 ・クラスタリング ・ニューラルネットワーク ・テキストマイニング ・画像認識 など… https://t.co/xb60pwgE9u"
                                        • 月刊テキストマイニングレポートVol.27 フェミニズムへの憎悪を生み出す構造――リツイート分析による「表現規制反対派」の布置|後藤和智@テキストマイニングとか

                                          月刊テキストマイニングレポートVol.27 フェミニズムへの憎悪を生み出す構造――リツイート分析による「表現規制反対派」の布置 本稿は、「コミックマーケット97」第2新刊『月刊テキストマイニングレポート総集編2 続・ツイッターにおける女性差別に関する考察』の第1章として書かれたものです。 (2020.09.18 一部肩書きの訂正を行いました) 1.1 はじめに――分析の概要本章では、リツイート分析を用いて、「表現規制反対派」と呼ばれる論客の立ち位置について考察することとする。 まず、リツイート分析について説明したい。本書で言うリツイート分析とは、筆者が『Twitter Analysis Maniax――twitteR, Excel VBA, KH Coderによる最強(?)のツイッター分析』(コミックマーケット86)で提唱している手法であり、詳細については同書に譲るが、特定のアカウントにお

                                            月刊テキストマイニングレポートVol.27 フェミニズムへの憎悪を生み出す構造――リツイート分析による「表現規制反対派」の布置|後藤和智@テキストマイニングとか
                                          • 【雑記】野党批判のときだけ饒舌になってもさぁ(2020.10.20)|後藤和智@テキストマイニングとか

                                            政治が物差し作ってパフォーマンス図るのが政治介入でなくって何なんですかね。政治介入を防ぐために政治介入するんですか。冗談にもなりませんよ。 https://t.co/G22wAQvsHS — Kan Kimura (@kankimura) October 20, 2020 世論の喝さいを浴びる為に研究者を叩き潰して、結果として、データにも何も基づかない「長年の勘」や評論家的なジェネラリストに頼る素人政治やって、また失敗するんでしょ。一体、民主党時代に何を学んだんだか。そういうのを「反知性主義」って言うんだよ。 — Kan Kimura (@kankimura) October 20, 2020 まごうことなき正論なんだけど、ただ当初の政治介入問題が起こったときに傍観者を決め込んでひたすら愚痴を開陳していたのは誰だったのか。政権による政治介入には鈍感、というか「どうでもいい」で通すのに、野党

                                              【雑記】野党批判のときだけ饒舌になってもさぁ(2020.10.20)|後藤和智@テキストマイニングとか
                                            • FX:自動売買システム①テキストマイニングと有名トレーダーコピー - 看護師 星華が投資で稼ぐ

                                              AIによるFX自動売買システム。 実は少し試した事があります。 「みんなのシストレ」のとある「テキストマイニングAI」です。 収益率ランキングでも上位の方に掲載されていたAIです。 そこでお試しとして10万円投資しました。 一時期は5000円ほどプラスとなり、未来を感じたものですが。。。 最終的には10回ほどの取引で5000円ほどマイナスが確定して、撤退しました。 みんなのシストレはAIによる自動売買以外にも面白いシステムがあります。 それは ・稼いでるトレーダーを指名して、そのトレーダーの取引にただ乗り 無料でできます。 直近の取引期間:1ヶ月、3か月、6か月、1年と各期間で収益率を確認できます。 ランキング上位者はアメリカドル/円の組み合わせは少ない印象を受けました。 そして各時期ごとのランキング上位者の顔ぶれは大きく変わっています。 FXにおいて高収益を、安定して長期間継続するのは非

                                                FX:自動売買システム①テキストマイニングと有名トレーダーコピー - 看護師 星華が投資で稼ぐ
                                              • 近年の本格ミステリを可視化する【テキストマイニング】 - Qiita

                                                はじめに 本記事では、Pythonによるテキストマイニングの簡単なチュートリアルとして、ここ8年ほどの間に刊行された「本格ミステリ」に分類される小説のキーワードを解析し、可視化することを目指します。 使用するデータ 出版書誌情報データベース(Books)において、検索キーワードを「本格ミステリ」に設定し、ヒットした書誌の内容紹介からあらすじに相当する部分をExcelに手作業で(!)切り貼りすることで、本格推理小説505作のあらすじをまとめました。 実装 あらすじから内容を象徴するようなキーワードを抽出し、その出現の頻度や関係を可視化することで分析を行います。なお、添付したコードはGoogle Colaboratoryでの実行を想定しています。 必要なライブラリのインストール 形態素解析(文から単語を切り出し、品詞等の判別を行うこと)にはPythonの言語処理ツールであるGiNZAを、解析結

                                                  近年の本格ミステリを可視化する【テキストマイニング】 - Qiita
                                                • 電波ログテキストマイニング | テレビ番組の字幕情報を対象に、テキストマイニングの研究をしておりますので、解析結果の公開をメインに記事を構成しております。また、解析結果の信憑性が確認できるよう、解析用ソースも部分引用し掲載してあります。

                                                  テレビ番組の字幕情報を対象に、テキストマイニングの研究をしておりますので、解析結果の公開をメインに記事を構成しております。また、解析結果の信憑性が確認できるよう、解析用ソースも部分引用し掲載してあります。

                                                  • ツイートデータのテキストマイニング - Qiita

                                                    前回の続きです。 ツイッターで検索するワードは、自動車メーカー3社(トヨタ・日産・ホンダ)の社名と合わせ、昨今話題の「自動運転」が同時にツイートされているものを対象としました。 やりたいこと・処理の流れ 概要 収集したツイートデータを適宜整形・加工し、形態素解析を行う 品詞ごとの頻度集計を行い、ワードクラウドとしてプロットしてみる 単語間の係り方を図示すべく、n-gram集計(今回はn=2)し、共起ネットワークを描いてみる 前提 MeCabやimportする各種ライブラリのインストールが済んでいること PythonとMeCabの連携、Pythonバインディングのインストールが済んでいること お好みでシステム辞書の拡張(mecab-ipadic-neologd)、ユーザー辞書の作成・コンパイルが済んでいること 完成イメージ 日別推移 ワードクラウド 共起ネットワーク 参考サイト ワードクラウ

                                                      ツイートデータのテキストマイニング - Qiita
                                                    • 【テキストマイニング】Pythonで行う12月のブログ分析【その2】 - 43号線を西へ東へ

                                                      自分のブログ記事をテキストマイニングで分析し、過去の興味やトピックを言葉の出現頻度から探ります。12月のブログ記事の総文字数約4万字を分析し、どのようなキーワードが頻出しているかを調査しました。 先日「叡智の三猿」ブログのスロトレ様が紹介されていた記事があまりにも興味深いものだったので、私もまねしてみました。テキストマイニングを用いたワードクラウドの作成です。スロトレ様のテキストデータは昨年1年分のブログ記事を読み込ませて作成されたとのこと。 紹介されているのワードクラウドは、ブログのテーマである「情報セキュリティー」が大きく表示されていますが、その下に「韓流ドラマ」があります。韓国ドラマには情報セキュリティを題材にされたものが多く、取り上げることがあったからとのことです。 私のブログではどんな結果が出るのでしょうか。ブログに打ち込んだ文章は、書きたいことについてそのときに頭に浮かんだ単語

                                                        【テキストマイニング】Pythonで行う12月のブログ分析【その2】 - 43号線を西へ東へ
                                                      • 「日本学術会議」関連ツイートをテキストマイニングしてみた

                                                        ゼミの研究内容の紹介の意味合いもありますが、ツイッターで「日本学術会議」がどのようにツイートされているのかを総合的・俯瞰的にみてみることにしました。

                                                          「日本学術会議」関連ツイートをテキストマイニングしてみた
                                                        • Rでtweetをテキストマイニング:ワードクラウドと共起ネットワーク - 医療職からデータサイエンティストへ

                                                          テキストマイニング は文字列を対象したデータマイニング手法で、単語の出現頻度、出現タイミングなどを集計する簡単なものから、機械学習を用いてクラス分類する高度なものまで様々な解析手法があります。 今回はそんなテキストマイニング の中でも、単語の出現頻度をわかりやすく可視化するワードクラウドと、どの単語と一緒に出現しやすいかを調べる共起語、それを可視化する共起ネットワークを使って、私自身のtweetを解析したいと思います。 今回は以下の2冊を参考にしています。 Rによるやさしいテキストマイニング 作者:雄一郎, 小林発売日: 2017/02/17メディア: 単行本 Rによるやさしいテキストマイニング [活用事例編] 作者:小林 雄一郎発売日: 2018/10/06メディア: 単行本(ソフトカバー) 下準備 Rで日本語テキストマイニング を行うための有名なパッケージには{RMeCab}があります

                                                            Rでtweetをテキストマイニング:ワードクラウドと共起ネットワーク - 医療職からデータサイエンティストへ
                                                          • 【資料性DX新刊】「反〈福島差別〉」は福島を見ない:「ニセ科学批判」の現在を問う(月刊テキストマイニングレポートVol.24)|後藤和智@テキストマイニングとか

                                                            【資料性DX新刊】「反〈福島差別〉」は福島を見ない:「ニセ科学批判」の現在を問う(月刊テキストマイニングレポートVol.24) (この記事は、「資料性博覧会DX」(2019年5月4日、中野サンプラザ)にて刊行された同名の同人誌をもとにしております) #ニセ科学批判 #東日本大震災 1. はじめに24号目の「月刊テキストマイニングレポート」となります、後藤和智です。平成の時代が終わり、新たに令和の時代が始まりましたが、新元号・新天皇陛下の歓迎ムードの中で、平成から残された問題は多数あります。2011年3月11日に発生した東北地方太平洋沖地震、そしてそれが引き起こした種々の災害――東日本大震災です。 私は2019年4月6日に、せっかくの土曜休みだからと、一念発起して、岩手県宮古市に行きました。2019年3月23日に、津波で被災していたJR山田線の釜石~宮古間が復旧し、「リアス線」として生まれ変

                                                              【資料性DX新刊】「反〈福島差別〉」は福島を見ない:「ニセ科学批判」の現在を問う(月刊テキストマイニングレポートVol.24)|後藤和智@テキストマイニングとか
                                                            • テキストマイニング分析から見るトランス排除社会運動の台頭 - 一般社団法人Voice Up Japan

                                                              English About Us Our Teams VUJ 本部 VUJ ICU VUJ Waseda VUJ High School VUJ MEDIA News Apparel Event Donate Now Contact Us X Voice Up Japan Media ―「トランス女性」という単語を含むTwitter記事を題材に― By 田村貴紀. For English version このエッセイの目的は、「トランス女性」に関するTwitter投稿を数量的に分析することで、2018年12月に日本のTwitter上でトランス排除社会運動の台頭があったことを示し、それがなかったかのように論じる歴史修正主義に対抗することです。 2018年12月にTwitter上で顕著になったトランス排除運動は、多くの人々を苦しめる差別であり(尾崎, 2019) 、(ゆな, 2020)、差別は

                                                                テキストマイニング分析から見るトランス排除社会運動の台頭 - 一般社団法人Voice Up Japan
                                                              • Microsoftのデータサイエンス初心者向けコースをやってみるDay1チャレンジ:テキストマイニング - Qiita

                                                                はじめに GAFAM(Google, Amazon, Facebook, Apple, Microsoft)のMは何と言ってもMicrosoft。 ビルゲイツ氏の時代はOSのイメージが強かったが、サティアナデラ氏がCEOの現在は、クラウドでイケイケの会社となっており、超ハイスキルの人財を多数抱え、世界最先端で人工知能・データサイエンス・機械学習を学べるコースを無償で提供している。そこで、Microsoftの寛大さに感謝しつつ、Pythonを使いながら、データサイエンスを勉強してみる。 対象読者 Pythonとデータサイエンスに興味があって、英語が苦手な人(英語が得意な人は、参考文献を直接解いてください。 ロードマップ Day1 この記事では、Day1のチャレンジを翻訳しながらやってみる。 Day1ゴール データサイエンスに関するWikipediaの記事からキーワード集計や可視化を行い、 気

                                                                  Microsoftのデータサイエンス初心者向けコースをやってみるDay1チャレンジ:テキストマイニング - Qiita
                                                                • 【コード公開】【Python】テキストマイニングしてみた〜モデル作成〜 | Analytics Board | python特化のプログラミングサイト

                                                                  とりあえず独学でプログラミング学習を始めたけど、右も左も分からずあなたの時間が無駄に終わるどころか挫折するかもしれません。 あなたが時間を無駄にした分を回収したいなら【Python】2022年最新!おすすめのオンラインプログラミングスクールをご確認ください! ※期間限定で学習ロードマップを記載しています! 「Word2Vec」とは、文章中の語句をベクトルに変換するツールです。単語同士の繋がりに基づいて単語同士の関係性をベクトル化するわけです。 ツール名通り、単語をベクトルとして表現することで、その単語の意味を捕らえる手法となります。つまり、語句と語句の類似度を測ることができるわけですね。 GensimとインストールについてWord2Vecを実現するツールとして、いくつか挙げられるライブラリがあります。 今回は、実行速度が速く、Pythonから手軽に利用できるものを考えると、「Gensim」

                                                                    【コード公開】【Python】テキストマイニングしてみた〜モデル作成〜 | Analytics Board | python特化のプログラミングサイト
                                                                  • 【水瀬いのり】テキストマイニングによる歌詞分析(1)(声優アーティスト比較/頻出語・人称表現) - 水樹奈々・水瀬いのり研究部

                                                                    本記事は水瀬いのりさんの歌詞に着目しその特徴について分析を試みたものです。 具体的には、テキストマイニングの手法により歌詞を数量化し独自の考察を加えました。 また、数量化したデータは、一部に統計的手法を適用し考察を補完しています。 データの解釈や考察について自分なりに頑張ってみましたが、あまりこういう考察はやったことがないので「ちょっとここはおかしいぞ?」という部分がちょいちょいあるかもしれません(最初から言い訳すいません笑)。 そこはどうか温かい目で見てやって下さいまし。 あくまで参考程度ということでよろしくお願い致します。 分析は、以下の二つに大きく分けて行っております。 ①水瀬いのりと同年代の声優アーティスト(小倉唯、上坂すみれ、内田真礼、大橋彩香、早見沙織)との比較分析 ②水瀬いのりのアルバム発売日までの楽曲を一区間とした期間比較及び頻出語の文脈分析 ※テキストマイニングは「KH

                                                                      【水瀬いのり】テキストマイニングによる歌詞分析(1)(声優アーティスト比較/頻出語・人称表現) - 水樹奈々・水瀬いのり研究部
                                                                    • 「映画 刀剣乱舞」の全セリフをテキストマイニングを使って分析してみた。|soubi

                                                                      「映画 刀剣乱舞」の本予告の中で最も多く登場した言葉は何だと思いますか? それは「歴史」です。 字幕で6回、音声で7回、合わせて13回登場しています。 本予告を初めて見た際に、「歴史」という言葉が妙に頭に残った私は、 映画本編では何回使われているのか気になってしまい、 映画を見ながら数えました。えぇ、数えたんです。 すると「歴史」という言葉は本編で約40回使われていることが分かりました。上記の予告編には、約100分の映画に出てくるうちの約17%が入れ込まれていたのです。 「映画 刀剣乱舞」の原案である、ゲーム「刀剣乱舞-ONLINE-」では、 歴史を守る使命を与えられたプレイヤーが、刀剣男士を率いて歴史改変を目論む敵と戦う…という筋書きがあるのですが、 「映画 刀剣乱舞」においても、「歴史」という言葉は最重要キーワードと言えるではないだろうか? …と思いました。それに加えて、 ・「歴史」よ

                                                                        「映画 刀剣乱舞」の全セリフをテキストマイニングを使って分析してみた。|soubi
                                                                      • R のテキストマイニングのやり方 - 統計ER

                                                                        Rでテキストマイニングするやり方。 ワードクラウドを描く方法。 >>もう統計で悩むのを終わりにしませんか? ↑1万人以上の医療従事者が購読中 テキストマイニングとは? テキストマイニングツールMeCab(和布蕪、めかぶ) RでMeCabを使うにはRMeCabをインストール! Rでテキストの分割をしてみる ワードクラウドとは? Rでテキストマイニングするその他の方法 まとめ Rでテキストマイニングをやろう!ワードクラウドを描こう!【解説動画】 MacでMeCabをインストールしたが文字化けるときの対処法【解説動画】 テキストマイニングとは? テキストデータを名詞、動詞、形容詞など、濃い意味合いを持つ言葉と、助詞、助動詞、感嘆詞、疑問詞など意味合いが強くない言葉に分けて、発生頻度を分析する方法。 たくさんの顧客・症例から発せられる言葉は何か、同時に発せられる言葉は何か、たくさん発せられた言葉は

                                                                          R のテキストマイニングのやり方 - 統計ER
                                                                        • 山内長承「Pythonによるテキストマイニング入門」のMeCabの扱いと、クラスAozoraについてのメモ - Qiita

                                                                          山内長承「Pythonによるテキストマイニング入門」のMeCabの扱いと、クラスAozoraについてのメモPythonmecab はじめに 山内長承「Pythonによるテキストマイニング入門」第4章でMeCabを使うが、詳しいインストール方法が書かれていない。別のサイトを参考にMeCabをインストールした上で、山内の著書内にある引数を変更したのでメモをしておく。 また、本書で使われる、青空文庫にあるファイルをタグ抜きに変換するAozoraクラスについても、メモをしておく。 開発環境 windows10 セットアップ [文章生成]MeCabをインストールして分かち書きを試してみよう https://www.atmarkit.co.jp/ait/articles/2102/05/news027.html を参考にして、インストールをした。 上記の方法でインストールした場合は、p124「リスト4

                                                                            山内長承「Pythonによるテキストマイニング入門」のMeCabの扱いと、クラスAozoraについてのメモ - Qiita
                                                                          • テキストマイニングツールおすすめ6選比較!【2021年最新】|選び方も解説

                                                                            テキストマイニングは、有益な情報を取り出す技術のことです。この記事では、おすすめのテキストマイニングツール6選を比較するとともに、無料で使えるツールや、テキストマイニングツールの基本機能、選定ポイントなどについても解説します。 テキストマイニングとは テキストマイニングとは、有益な情報を取り出す技術のことで、「顧客の声」の分析や暗黙知の形式知化、ビッグデータによる将来予測などに使用されています。マーケティングや経営戦略において、テキストマイニングツールは顧客のニーズ把握やリピーター獲得などの施策検討に使われます。 テキストマイニングツールが取り出した大量のテキスト情報を整理・分類するには、人による知的作業が必要です。そのため、テキストマイニングツールには「テキスト情報の整理・分類に関する作業をスムーズに進めるための支援」という役割も求められます。 テキストマイニングツールの導入メリット3つ

                                                                              テキストマイニングツールおすすめ6選比較!【2021年最新】|選び方も解説
                                                                            • 【自然言語処理】google playストアのモンストのレビューコメントでテキストマイニングを実施してみる。 - Qiita

                                                                              【自然言語処理】google playストアのモンストのレビューコメントでテキストマイニングを実施してみる。Python初心者自然言語処理データ分析テキストマイニング 目次 本記事の最終目標データ 実施手続一覧 実施手順 結論 感想 1. 本記事の最終目標 大量の文章データから有益な情報を抽出することをテキストマイニングと呼びますが、本記事の最終目標はPythonによる自然言語処理を活用し、とあるアプリゲームのレビューコメントをテキストマイニングすることで有益な情報、具体的には潜在的なユーザーのニーズやアプリの改善点等を抽出し、アプリゲーム提供会社の意思決定に役立つ情報を取得することとします。 2. 実施手続一覧 ①スクレイピングを実施し、元データを作成する ②データの前処理 ③レビューコメントの頻出単語に関するグラフの作成する ④コサイン類似度を用いて賛成数(グッド数)が一番多いコメント

                                                                                【自然言語処理】google playストアのモンストのレビューコメントでテキストマイニングを実施してみる。 - Qiita
                                                                              • 【書籍メモ】『Pythonによる金融テキストマイニング』(朝倉書店) - u++の備忘録

                                                                                『Pythonによる金融テキストマイニング』(朝倉書店)を読みました。180 ページ弱で金融関連文書を題材にした話題がまとまっていて、この領域に飛び込む初学者向けに紹介しやすい書籍だと感じました。 www.asakura.co.jp 章立てを以下に示します。第 1 章で全体像を示した後、第 2 、 3 章で開発環境構築と MeCab などのツール・ライブラリを紹介します。第 4 章から第 7 章は、応用事例です。最後に第 8 章で、書籍内で扱えなかった話題や将来展望を解説しています。 金融テイストマイニングの概要 金融データ解析・機械学習の環境構築 テキストマイニングツールの使い方 多変量解析を用いた日銀レポート解析と債券市場予測 深層学習を用いた価格予想 ブートストラップ法を用いた業績要因抽出法 決算短信テキストからの因果関係の抽出 金融テキストマイニング応用の課題を将来 まず、第 4

                                                                                  【書籍メモ】『Pythonによる金融テキストマイニング』(朝倉書店) - u++の備忘録
                                                                                • Amazon.co.jp: 実践 Rによるテキストマイニング:センチメント分析・単語分散表現・機械学習・Pythonラッパー: 石田基広: 本

                                                                                    Amazon.co.jp: 実践 Rによるテキストマイニング:センチメント分析・単語分散表現・機械学習・Pythonラッパー: 石田基広: 本

                                                                                  新着記事