ChatGPTとNoteableによる科学技術情報分析
ChatGPTとNoteableプラグインを使って、科学技術情報分析ができるかを試した記録と所感メモです。本資料では、下記の分析プロセスにおける活用を試しています。 1. 論文情報収集 arXivから指定した検索条件にヒットするプレプリント情報を収集する。 2. 書誌情報分析 時系列推移、カテゴリ集計、著者集計を実施する。 3. テキストマイニング キーフレーズ抽出・集計、クラスタリングと解釈、 俯瞰可視化(二次元可視化)を実施する。 汚いままですが、実際のChatGPTとのやり取りや、生成されたスクリプトも資料の中でURLを公開しています。参考になれば幸いです。 noteでも簡単な説明と補足・追加コメントをまとめました。 https://note.com/hayataka88/n/ndfd913dab62f
データ分析から戦略を考える立場になりつつある状況で役に立ちそうな本3+1冊 - About connecting the dots.
ということで，職域の変化に伴い，技術書以外の本を読む機会が増えてきている今日この頃です．大学にいた頃は割といろいろ読んでたんですが，ソフトウェア / データマイニングエンジニアのようなことをしていると，専門分野でも覚えることが多いので，なかなかそちらまで手が回らなかったりします． ということで，最近読んだ本で，読んでよかった本について備忘録がてらレビューしておきたいと思います． データサイエンティストに学ぶ分析術 データ・サイエンティストに学ぶ「分析力」 ビッグデータからビジネス・チャンスをつかむ 作者: ディミトリ・マークス,ポール・ブラウン,馬渕邦美,小林啓倫出版社/メーカー: 日経BP社発売日: 2013/02/28メディア: 単行本購入: 3人 クリック: 12回この商品を含むブログ (8件) を見る 著者は広告会社のマーケティング部門のベテラン分析者で，なんらかの施策なり成果なり
ファネルを科学する。コホートを駆使して事業解像度を高める「シン・ザ・モデル」｜maki@LayerX
1. はじめにどうも、すべての経済活動をデジタル化したい、LayerXの牧迫（@35_mki）です。法人支出管理SaaS「バクラク」シリーズを提供しているバクラク事業部で事業部長を務めております。 今回は、昨年2021年1月から提供している「バクラク」シリーズの裏側を「事業目線で」お伝えできればと思います。 タイトルが流行りに乗っかっただけ感があるですが（笑）、バクラク事業部も「THE MODEL」的なファンクションで成り立っており、先人の知見に積極的に載っからせて頂いております。 その中で、各チームの目標の持ち方やそもそも事業計画の策定・運用方法は試行錯誤しながらこの1年半運営してきており、その中で見えてきたエッセンスを公開してしまおう、という記事になっております。 「THE MODEL」をご存知の方に少しでも新しい実践的なエッセンスがあればと思い、「シン・ザ・モデル」というタイトルにな
流れ行く情報 | タイム・コンサルタントの日誌から
いまから約160年前の6月、ペリー提督ひきいる黒船が浦賀沖に姿を現した。彼の主目的は、開国を要求する大統領の親書を幕府に手渡すことだった。そういう意味では、ペリーの航海の最大の任務は「情報の伝達」にあったと言ってよい。 しかし、日本に来航した艦隊４隻のうち、３隻が測量船だったことは、あまり知られていない。じつは艦隊のもう一つの大きな任務は、江戸湾そのほか沿岸の測量と海図作りだった。 なぜ海図か。それは、海図が軍事行動のときにもっとも重要な情報となるからだ。だから、ペリーのもう一つの目的は、「情報の収集・集積」だったとも言えよう。 そして彼らは当初の目的通り情報を把握すると、その後、お得意の砲艦外交を行なって、有無を言わさず東洋の島国を開国させてしまった（軍事的威圧を背景にして小国を動かす砲艦外交は、ほとんどアメリカの国是といっていい）。 それから約90年後、日本を占領した米軍は、日本全土の
5chスレッドを生成AIで分析してみた（GPT3.5+Claude3)
はじめに この記事では、5chスレッドのコメントを大規模言語モデル（LLM）を使って分析する手法と、その過程で遭遇した課題や解決策を紹介します。 TL;DR この記事では、5chスレッドのコメントを大規模言語モデル（LLM）を使って分析する手法と、その過程で遭遇した課題や解決策を紹介します。 分析対象のスレ → リップクリーム・リップケア総合スレ35本目 分析結果 → https://talk-analyzer.pages.dev/ 大規模言語モデルを用いたテキスト分析の応用可能性 LLMを用いたテキスト分析は、様々な業務に活用できる可能性があります。 マーケティングにおける定性分析: SNSやインタビューなどのテキストデータを分析し、顧客の価値観やニーズ、ブランドイメージなどを把握する。 企業にかかわる重要リスクの監視: ニュース記事や企業の財務報告書などのテキストデータを分析し、潜在的
Topological Data Analysis : 導入 - データサイエンティスト(仮)
ブログを作ったまま1年以上放置していました（笑）。 最近、アウトプットをしていこうという機運が高まっていているため、 ブログを積極的に活用していきたいと思います。 近年、Topological Data Analysisという、 位相幾何学をベースにしたデータ分析の手法が注目され始めています。 位相幾何学とは、通称「柔らかい幾何学」とも呼ばれており、 ざっくりいうと連続的な変形で移りあえる対象は「同じ」とみなすような学問です。 よくある例えとして、コーヒーカップとドーナツの例があります。 コーヒーカップが切れない粘土のような素材でできているとすると、 コーヒーカップを少しずつ（ちぎったりしないで）変形していくと、ドーナツに変形することができます。 このとき、コーヒーカップとドーナツの共通点は、「穴が一つ空いている」です。 これは非常にざっくりした特徴ですが、一方で雑多なものを取り払ったとき
データ分析コンテストで優勝するための3つの戦略 - Qiita
本記事はFringe81 アドベントカレンダー2017の6日目の投稿で、こちらの記事をQiita向けに書き直したものです。 2017/10/30まで開催されていたDeepAnalytics主催のレコメンドエンジン作成コンテストに参加し、見事優勝することができました。 今回はそのとき役に立ったデータ分析のテクニックを紹介します。 参加したコンテスト: オプトDSL・DeepAnalyticsコンテスト『レコメンドエンジン作成チャレンジコンテスト』 コンテストについて 今回のコンテストでは、オプト社が提供する2017年4月の行動履歴から、2017年5月1週目においてユーザーが関心を示す商品を予測して、その精度を競います。 行動履歴には人材、旅行、不動産、アパレルと異なる4業種が与えられ、それぞれ個別にモデリングをします。 ユーザの行動は、CV、クリック、ページ閲覧、カートに入れるの4種類のev
『大本営参謀の情報戦記』 - 昭和生まれ30代経理マンが令和に始めたBlog
先日、データサイエンティストの方のブログ記事の中で、データ分析に携わる者の必読書として 堀栄三著『情報なき国家の悲劇 大本営参謀の情報戦記』（文春文庫）という書籍が紹介されていたので、読んでみました。予想以上に面白く、かつ歴史に詳しくなくても十分に理解できる内容でしたので、ご紹介させていただきます。 著者の堀氏は、ちょうど30歳を迎える1943年10月に参謀職に発令*1され、若手参謀（階級は陸軍少佐）として大本営に勤務した経歴を持つ方です。若手参謀の視点で、主に情報戦の観点から見た太平洋戦争が描かれています。太平洋では1942年6月にミッドウェーの戦いで日本が大敗を喫して米軍の反攻が本格化し*2、欧州ではイタリアが1943年9月に降伏、ドイツも1943年2月にスターリングラードで壊滅的な敗北を喫して対ソ戦の敗色が濃くなるなど、枢軸国側の戦況の悪化がはっきりしてきた時期にあたります。なお、当
Lean Analytics 虚構の数字と改善に繋がる数字
少し前、スタートアップのための実践的なデータ分析といった趣旨であるLean Analyticsという本を読みまして、これが素晴らしかったのです。 「僕みたいな小規模のアプリだと、たいしたデータ量もないんだし、分析なんて参考にならんでしょ、初期段階はユーザーフィードバックだけでOK！」と以前は思ってたんですが、間違ってました。 直接ユーザの声を聞く定性的なフィードバック、データを使った定量的な分析、アプリをよいものに改善していくのには、どちらもすごく大切で、おろそかにできないなと最近は実感しております。 ポールグレアムも、ちゃんと計測しろみたいな事を言ってましたね。 Webのマーケティング担当者からすると当たり前の事かもしれないけど、とりあえずLeanとつけるバズワードに乗っかろうと思います。 Lean Analyticsってどんな本？ 数々のスタートアップを経験してきたAlistairさん
統計学研究者からみての企業でのデータ分析 - Qiita
はじめに 千葉大学の米倉です．今回は技術の解説の記事ではなく，研究者として企業で行っているデータ分析で感じたことを述べたいと思います．つまりはポエムです．僕は統計学者には珍しくヘルダーリンやツェランを読んでいるのでポエムには自信がある． 目次 1.OKOTOWARI 2.外れ値の存在 3.時系列データの扱い 4.ゴミデータなんてない 5.理解不足 6.頻度論的分析が多すぎる 7.初手ディープの危険性 8.ダメな分析の危険性 9.データの扱いが難しい 10.おわりに 1. OKOTOWARI 今回のポエムは特定の企業などそういった話ではなく，僕が個人なり会社なりで請け負った案件を通し気づいた・思ったことや，同業者から聞かされた話，ネットで見聞きした話しについてなど，様々な話に対してのものです．また僕が所属する企業の見解でもないです． 2. 外れ値の処理が甘いことが多い ほぼ言い切れますが，分
テューキーの教え：データ分析する時に心に刻む10のこと
「The Future of Data Analysis」の中でテューキーが言わんとしているのは、データ分析とはより良い質問を作り出していくことだ、ということでした。 この「The Future of Data Analysis」というエッセイが出版されたのは1961年、今からおよそ60年前のことですが、彼がこのエッセイの中で伝えようとしていたことは今日になっても色あせることがありません。 むしろ、現在データサイエンスの世界で起きている多くの議論というのはすでにこのエッセイの中に見つけることができます。 例えば、統計的に有意かどうかの判断が5％なのか1％なのかといったことに時間を掛けるのが無駄だとか、そもそもそういった仮説検定の手法やその正しさを議論するのに時間をかけるよりも、データから仮説そのものを構築くしていくことにもっと時間をかけるべきだとか、「最適化（モデルの予測精度を上げる）」に
データサイエンティストを数百人単位で発掘する | quipped
どうやらデータサイエンティストなる職業がアツいらしい。 データサイエンティストって何それ美味しいのというのが正直なところだが、「データサイエンスとは何か」について、錚々たる企業の人たちの講演されてらっしゃったので、ちょっと引用してみたい。 まずは花王の大路延憲氏（情報システム部門統括付部長）： ...データサイエンティストの心得として3つのMを挙げた。その上で「まず目的（Mindset）と評価尺度（Measurement）を明確にし、それから手法（Method）を決める。決して手法から始めてはいけない」とアドバイスした。 つまり頭でっかちにならず、目的に即した手法が取れる判断力が必要だという話。 次に大阪ガスの河本薫氏（情報通信部ビジネスアナリシスセンター所長）： 「（ビジネス課題を）見つける力、（分析問題を）解く力、（得られた知識を）使わせる力、の全てを備えた“フォワード型分析者”が、ビ
10Xのデータアナリストになって5ヶ月が経過した。その中で色々悩んだこと｜むらなか
はじめに10Xアドベントカレンダー4日目はじめまして、村中(@ktrru)です。今は10Xでアナリストをやっています。 この記事は10Xアドベントカレンダー4日目の記事です！ 今日は自分が10Xでのアナリストの役割について色々悩んだことについてポエムを書きます。 昨日は@tenjinさんのエモい記事を読んで昔を思い出していました。あ〜エモい。 エモいなあ。我らがtenjin。 一緒に戦って来たんだよなあ。 最近は彼と一緒に昔書いたRedashのクエリをアーカイブしまくる仕事をしました。エモいなあ。https://t.co/3z19FKt1NB — むらなか (10X) (@ktrru) December 3, 2022 ちなみに、私の好きなスーパーはライフで、おすすめの商品はライフのプライベートブランドのBIO-RALより「有機ルイボスティー(ノンカフェイン)」です。 有機ルイボスティー(
組織の中で起業家のように働く、新しい専門職としてのあり方を考える - データ分析職種の場合｜樫田光 | Hikaru Kashida
ここ数年、曲りなりにデータ分析の専門職種としてやってきたが、常々この仕事には困難さがつきまとうなと感じる。その事について、その理由、そしてその困難さとどう戦っていくかについての考察を記してみたい。 気まぐれな雑記のうえ、だいぶ長くなってしまったが時間がある方はお付き合い願いたい。感想の一つでも貰えれば幸いです。 困難さ仕事をしていて苦労することはよくあるわけだが、とりわけデータ系の仕事をしているとおおよそ以下のような面倒さを背負い込んでいることに気づく。 普通にしているとあまり良い仕事が回ってこない 周囲に任せていると細かい本質的ではない仕事に埋もれてしまう 組織の上層の戦略やリテラシに依存するところが異様に大きい 自分たちの成果がどうにもわかりづらい 短期的な都合に押し負かされて自分たちの仕事の優先度を下げられる などなど。これは自分個人の体験だけにとどまらず、他の会社でもデータ分析チー
データ解釈学入門を読んだ - 2022 夏休み - higepon blog
統計検定2級や Kaggle で学んだものたちの隙間を埋めてくれる良い本だった。どことは言わないが、読んでいる途中に仕事のことを思い出す記述があり背筋がピンと伸びた。以下雑多なメモ。 分析者のためのデータ解釈学入門 データの本質をとらえる技術 作者:江崎貴裕ソシムAmazon 測りやすいデータが選ばれがち。 データを歪めるモチベーション（犯罪件数、いじめ件数は少なくレポートしたい） (大きな声で何度でも）データの前処理は一番時間がかかる。手を抜かない。1つ1つの処理前後で正しいか必ず確認する。決してまとめて処理しない。 多重検定に注意。過去にこれやってたな。 HARKing, p-hacking これは・・・ 数々の認知バイアス
データサイエンスの初心者に最適な 8 冊
Tableau を使う理由 Toggle sub-navigation Tableau とは データカルチャーの構築 Tableau Economy コミュニティ Salesforce Advantage Tableau のお客様 Tableau について Toggle sub-navigation ミッション 研究 受賞と称賛 Tableau Foundation Tableau における平等 採用 製品 Toggle sub-navigation Tableau プラットフォーム Tableau Desktop Tableau Server Tableau Cloud Tableau Prep CRM Analytics Tableau Public Data Management Tableau Server Management 埋め込み分析 統合 最新リリース プランと価格 ソリ
データ分析者の需要の変化 - Data Analystのメモ帳
データ分析を仕事にしていると「流行りだし引く手数多でしょ」とか「バブルが終わったからもう仕事がなくなるかもね」なんて言われます。分析者として働く人間としてここらへんの感覚がすごいズレていることを日々感じるのでメモとして書き残します。あくまでも個人の感覚なのでご了承ください。 まず、そもそもとして、分析者という分析を専門に行う人材が大量に雇用されるということがありえないです。これは分析者とは何かを作ったり売ったりする人ではなくバックオフィス業務であるため大量に雇用する意味がないからです。そのため企業規模に応じて雇用される人数が自ずと決まってしまいます。具体的にどれくらいかと言われるとケースバイケースなので一概に言うことは難しいですが、せいぜい1~5%程度の人数比でしょう。外部に委託するケースを考えても予算としては同じようなものになると思います。分析以外の業務をしている人のほうが圧倒的に多いの
【論文メモ】29組のデータアナリストに同じデータセットと同じ質問を与えても、分析結果がバラバラだったという研究 - u++の備忘録
どんなもの？ 29グループ（計61人）のデータアナリストに、同じデータセットと同じ質問を与えたときの分析アプローチのバラツキを分析。質問は「サッカーの主審は、肌の白い選手に比べて肌の黒い選手にレッドカードを与える可能性が高いですか？」。 分析アプローチはチーム間で大きく異なり、オッズ比で0.89から2.93の範囲だった（中央値は1.31）。20チーム（69％）が統計的に有意な正の結果を示した一方で、9チーム（31％）は有意な関係を示さなかった。 これらの知見は、たとえ真摯な専門家集団であっても、複雑なデータの分析結果に主観的な要素が入り込むのは避け難いことを示唆している。 分析を透明化する手段として、同じ研究課題を同時に調査するために多数の研究チームを採用する「クラウドソーシング」が有用であると提言している。 論文リンク http://journals.sagepub.com/doi/10
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データに振り回されて失敗した あんなことやこんなこと＋α 〜なぜ数字の手助けが必要になるのか、その理由と分析の実践例〜
「データ分析」において「分析以外の役割」はキャリアになるのかを考える - Speaker Deck
