10万のサークル名を収集して傾向を可視化してみました - ミジンコ組さんの努力の結晶が詰まった本 - このすみろぐ
みじんこ組さんの「10万のサークル名を収集して傾向を可視化してみました」を読みました。 控えめに言ってすごい本です。 本書は、まずはじめにTwitterの発言をひたすら収集し、そこからサークル名を抜き出します。例えば、正規表現を活用し「サークル名は〇〇です」といった形式のツイートから、サークル名だけを取り出していきます。 まさに、努力の結晶な本です。 daphnia.booth.pm 感想を書いていきます。 なぜ10万のサークル名なのか？ ノイズとの戦い 正規表現によるサークル名の収集 サークル名の傾向について MeCabによるサークル名の形態素解析 自分のサークル名を考え直してみる さいごに なぜ10万のサークル名なのか？ 10万という数字は、仮説を元に導き出された数字です。 年間の土日祝日の数： 120 土日祝日に開催されるイベントの数： 10〜40 小規模、中規模、大規模、超大規模な
BERTによるツイートのいいね数予測とLIMEによる判断根拠の可視化 - クルトンのプログラミング教室
この記事はでぶ Advent Calendar 2022 10日目の記事です。 こんにちは、クルトンです！ この記事ではデブさんのツイートを用いて、ツイート内容といいね数の相関について調べた結果を書いていこうと思います。 この記事を書くに至ったきっかけ TwitterAPIでツイートを取得する 簡単なEDA BERTによっていいね数を予測し、判断根拠をLIMEによって可視化する おまけ コード この記事を書くに至ったきっかけ 殆どの方はご存じかと思いますが、念のために書いておくとデブさんは😡界隈の第一人者として有名なツイッタラーです。 そのツイートの多くには大量の😡が含まれています。 写真は現時点で最新のツイート。このように文末に😡を多く含む文体が特徴的である。そこで僕は「😡系インフルエンサーのデブさんなら😡を多くすればするほどいいね数が増えるのではないか？」という仮説を立てまし
LLMを用いたSNSのテーマ推薦と投稿文の自動生成 | BLOG - DeNA Engineering
はじめに はじめまして！2023年9月にAIスペシャリストのインターンシップに参加させていただきました、柳（ @ynt0485 ）と申します。普段は数理最適化や機械学習関連の研究を行っています。 今回のインターンでは、DeNAが運営するX（旧Twitter）アカウントの投稿文を自動生成するというタスクに取り組みました。この記事では、どのような工夫によって生成の精度を上げることができたのかについて紹介します ！ 課題内容 概要 初めに、今回のタスクの概要についてお話します。 近年の大規模言語モデルの発展により、文章の自動生成は様々な分野での活用が期待されています。特に、ある分野に特化させた文章の生成はクリエイティブの制作やサービス専用のチャットボットの構築に利用することが できます。 そのため、今回は特定分野に特化させた文章生成の1つとして、あるX（旧Twitter）アカウントの過去の投稿文
サービス提供者はユーザーの多様なコンテンツ消費を促すべきか？ - kuri8iveにいきてこ。
はじめに こんにちは、@kuri8iveです。 本記事では個人的に好きな Algorithmic Effects on the Diversity of Consumption on Spotify [Anderson et al. 2020] という論文の紹介を中心に「サービス提供者はユーザーの多様なコンテンツ消費を促すべきか？」について考えたいと思います。 （※画像はいずれも紹介する論文内のものになります。） この記事は情報検索・検索技術 Advent Calendar 2022の13日目の記事になります。 adventar.org はじめに 背景とデータ 多様な消費とユーザー体験 対象となるデータと曲埋め込み GSスコア 様々な観点から見た消費多様性とユーザー体験の関係 消費多様性と活動レベル ユーザー／アルゴリズム駆動の消費多様性 消費多様性と人口統計学的属性 消費多様性と顧客維持
自分の研究を自腹で広告した体験談 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
皆さんは自分の研究成果をどうやって広めていますか？ ひとつの研究は実働時間だけでも最低数ヶ月、全出版プロセスを考えると一年単位で取り組むこととなります。そうして手塩にかけて育てた研究が誰にも認知されない、というのはなんとも悲しいことです。 僕が所属している機械学習分野は人工知能ブームにより、日々洪水のように論文が発表され、その中で存在感を発揮するのは難しくなっています。 一昔前であれば、名のある国際会議やジャーナルに採択されればそれなりに存在感を発揮できたようですが、今では一つの会議に数千本の論文が採択されるため、採択された後にも競争に勝たなければ目立てないという事態になっています。 論文のクオリティを上げて名のある国際会議に採択されるだけでは不十分、となれば一体どうすれば良いでしょう。 有望な策は無く、天に祈って運に任せる、というのが最も一般的なパターンではないでしょうか。広く読まれる論
Tweetから薬の副作用に関する分類と抽出を行う手法 - Ahogrammer
ACL 2019より以下の論文を紹介。 HITSZ-ICRC: A Report for SMM4H Shared Task 2019-Automatic Classification and Extraction of Adverse Effect Mentions in Tweets この論文は、Tweet中に出現する薬の副作用に関するメンションの分類と抽出を行う手法を提案している。背景として、投薬治療後の主な死亡原因に薬の副作用が関係しており、その監視が重要な点を挙げている。最近ではSNSに薬の効果が投稿されるので、それを監視に役立てるという話になる。関連するシェアドタスクとして「ヘルスアプリケーションのためのソーシャルメディアマイニング（SMM4H）」があり、この論文ではその内の2つのタスク(副作用の分類と抽出)に取り組んでいる。結果として、分類では最高性能(F1で0.6457)、
地下アイドル間の関連性をネットワークとして分析したり楽曲派を可視化したりしてみた話 - 蛇ノ目の記
地下アイドルアドベントカレンダー 12/16の記事です。メリークリスマス。 12/16の記事です。 12/16の( adventar.org 前回の更新から8ヶ月以上が経ってしまった。更新をサボっている間に名古屋に行ったり、大阪に行ったり、福島に行ったり、名古屋に行ったり、大阪に行ったり、名古屋に行ったり、名古屋に行ったり、大阪に行ったり、名古屋に行ったりしていた。さて今年は何回名古屋に遠征したでしょうか。名古屋は近所わかる。 アイドル現場まとめは、"その月に行った現場のまとめ"に留めないと持続可能性が低いと痛感。感想などを細かく書いていくとコストが大きくなりすぎてしまう。来年からはもっと簡素にまとめたい。 それでは本題始まります。 概要 Spotify Web APIを用いて「関連アーティスト(アプリ上では"ファンの間で人気"と表示される)」を取得し、地下アイドルの関連アーティストネット
「コロナ」に関するツイートをpythonで収集して、「コロナ」の影響で話題になった単語を自動検出する - Qiita
Twitterデータのpythonでの収集方法と、時系列のテキストデータに対するバースト検出方法の説明です。 技術的には、以下の過去記事と同様です。 過去記事： 「クッパ姫」に関するツイートをpythonで収集して、バースト検出してみた https://qiita.com/pocket_kyoto/items/de4b512b8212e53bbba3 この時に採用した方法の汎用性を確認するために、2020年3月10日時点で話題の「コロナ」をキーワードとして、Twitterデータの収集と、「コロナ」と共起する語のバースト検出を実践してみました。 「コロナ」に関するツイートを収集する 収集方法は、基本的に過去記事とほぼ同じです。 まずは、ライブラリの読み込みなど、ツイート収集の準備を行います。 # Twitterデータ収集用のログインキーの情報 KEYS = { # 自分のアカウントで入手した
新型コロナとツイート感情分析～3連休で本当に皆油断していたかどうか調べてみた｜tori
新型コロナ関係のツイートをひたすら集め続けて2か月以上経過して，データもだいぶ充実してきました．共同研究者にも配布を始めたのですが，どうもデータ収集サーバのTimeZoneが狂っていたらしく，時間については信用できないデータになっていたので，一生懸命再構築中．とほほ． さて，基本的にNLP(=自然言語処理)は苦手なんですが，新型コロナに関する感情がどのように変化しているのかを調べてみました． 結論から言えば， 先週末の連休で皆油断しているといわれていたけど，やっぱり油断してた．今はちょっと緊張感を取り戻しつつある気がする． 使ったデータは「新型肺炎 OR 武漢 OR コロナ(ウイルス OR ウィルス) OR コロナ OR ウイルス OR ウィルス OR COVIT19 OR COVIT-19」で検索したツイート1月16日～3月26日までのリツイート以外の18,471,700件．リツイートじ
機械学習ライブラリ scikit-learn で簡単ツイート分類 | ぱろすけのメモ帳
皆様こんにちは。今日も元気に自分を見つめ直していますか？自分を見つめ直す手段として、過去の自分の発言を見返すことは有用だと考えられます。たとえば、Twitter を使っている方ならば、その過去ログを用いることが考えられるでしょう。Twitter の過去ログはライフログとして機能し、それを用いることにより、過去の出来事のみならず、考え方、感じ方、ふとした着想、などなどを読み取ることができます。しかしながら、過去のツイートを全部見返すのは非常に面倒ですね。たとえば僕のアカウントはトータルで4万ツイート以上あります。これは非常にめんどい。Twitter は情報量多くてだるいよね問題については、従来「再生核 Hilbert 空間を用い、脱ベイズ確率主義に立脚したあまりだるくないツイッター」などの試みが行われてきましたが、今なおその面倒さを軽減する手段については十分とはいえません。本記事では、過去の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Twitter上のデマらしき話題を自動検知し、同時に判断材料を提供するシステム」の構想案
niconicoにおけるコンテンツレコメンドの取り組み
ソーシャルグラフ分析
Twitterからホットなキーワードを抽出する方法