ログ調査基盤を構築してみた
こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず です。 システム運用において、有事の際に迅速かつ適切なシステム稼働状況の確認は欠かせません。 その手段の1つとして、ログの調査や分析の効率化は切っても切れない関係です。 システムが成長するにあわせ、ログの種類や量が多くなり、結果としてログの調査や分析が難しくなるのはよくある話かと思います。 弊社でもサービスのグロースに伴って、ログの種類や量が多くなり、結果としてログの調査や分析で課題を抱えていました。具体的には以下の2点です。 ログから原因調査を行うには、複数ログを横断・突き合わせが必要 ログの追跡に必要な情報がログに出力されない場合がある そこで、課題への対応としてログ調査基盤の構築を行いました。 本記事では背景や苦労したこと、効果についてご紹介します。 複数ログの横断調査実現に向けて ログ調査基盤の構築 苦労したこと
ChatGPTが話題になって約1年。AI技術の発展による社会的インパクトはその後どうなったのか？ あるユーザーによる俯瞰的分析が興味深い
Torishima / INTP @izutorishima アニメリアタイと DTV と技術とﾌﾟﾛｸﾞﾗﾐﾝｸﾞとその他諸々なオタク (⚠⚠⚠AI研究者ではありません!!!フォロー非推奨!!!⚠⚠⚠) IT と AI 関連の情報ウォッチしてます 同IDで Bluesky にもいます 個人的に見てほしいツイートはハイライトに (2023/12~) note.com/sumisutori Torishima / INTP @izutorishima 今年も終盤なので AI 技術の発展について思ったこと: ・革新的な技術は最初は驚きと興奮があるが、社会実装が進むほど「当たり前」になっていく ・ChatGPT の知名度は上がったが、使ってる人・課金してGPT-4使ってる人・結局使ってない人でかなり格差が出来ていて、当初思ったほどに普及してない（続） 2023-10-26 18:02:16 To
画期的な研究成果は「選択と集中」より… 国の研究費18万件分析 | 毎日新聞
高額な研究費を少人数に集中して投じるより、少額でも多くの研究者に配分する方が、国全体として画期的な成果を効率良く出せるとの分析結果を、筑波大などの研究チームが発表した。1991年以降、国が支給した科学研究費助成事業（科研費）の投資効果を調べた。研究予算は、国が進める「選択と集中」路線よりも「広く浅く」配分する方が効果的としている。 チームは、国が91年以降、研究者に支給した科研費のうち、生命科学・医学分野の18万件以上を分析。個々の金額や発表論文数のほか、その後ノーベル賞級の成果につながったり、新たな研究分野に発展したりしたキーワードが論文に含まれているかを調べた。
LLMにデータ分析をさせてみる：テーブルデータの概要解釈 - 渋谷駅前で働くデータサイエンティストのブログ
先日こんな記事を書いたのでした。はてブも400近くに達しており、良くも悪くもバズったようです。 で、この記事の中で言いたかったことは幾つかあるのですが、その一つに「文書・テキスト要約など『そもそもLLMというかLM自体が得意な仕事』をさせると便利なはず」というのがありました。そして実際に現職の日常業務の中でも時々使っているのですが、確かに便利だなぁと思うことが多いです（もっとも時々凄まじいhallucinationを炸裂させてくることもありますが）。 そこでちょっと考えたのが「データ分析の諸作業のうち何をLLMにやらせると効率的か」というお題です。これはちょっと調べれば既に試している人が結構いて、例えば以下のような事例があったりします。 ただ、例えば "Titanic" のような有名過ぎるデータセットだとそこらじゅうにこれを対象として分析してみましたという記事やドキュメントが沢山転がってお
chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
ジャニーズを巡る問題にジャニーズファンは反応したのか（鳥海不二夫） - エキスパート - Yahoo!ニュース
元ジャニーズJr.の方が，ジャニーズ事務所で起きた性被害を告発したことが話題となりました． 2023年3月7日に，BBCニュースで加害が明るみに……それでも崇拝され 日本ポップス界の「捕食者」というニュースが配信され，3月18，19日には「J-POPの捕食者 秘められたスキャンダル」という番組が放送され大きな話題となりました． その後，4月12日には元ジャニーズJrの方が記者会見を行いその様子は新聞等で取り上げられました． そこで，この件がツイッタ―上でどのように話題になったのかを分析してみました． 三行まとめ・性加害に関する話題とマスメディアへの批判の二つの話題が存在した ・性加害関連の情報を拡散したアカウントの多くが過去に政治的な情報を拡散していた ・ファンクラスタのアカウントは性加害についてほぼ話題にしていなかった データについて「ジャニーズ,ジャニー,ジャニ,#ジャニーズ」をキーワ
親露アカウントの９割、過去に反ワクチン関連ツイート 東大大学院教授分析
ロシアのウクライナ侵攻をめぐり、日本のツイッター上で「ウクライナ政府はネオナチ」という親露反ウクライナの投稿をリツイートしたアカウントの約９割が、過去に反新型コロナウイルスワクチン関連のツイートをリツイートしていたことが、東京大大学院の鳥海不二夫教授の分析で分かった。両者の親和性の高さが浮き彫りとなった。 鳥海氏は１月１日～３月５日にツイッターに投稿された約３０万ツイートを調査。リツイートの傾向を①ロシアの侵攻について言及②戦争に反対③ロシアを批判④「ウクライナ政府はネオナチ」などと主張－の４つに分類し、分析した。 分析によると、「ウクライナ政府はネオナチ」という主張は確認されただけで２２８ツイートあり、１万９０７アカウントで３万３４２回リツイート。１アカウント当たりのリツイート数は２・８で、他の３傾向（１・４～１・７）より多くなっていた。 さらに、４分類された傾向をリツイートしたアカウン
なぜロシア軍はこれほど弱いのか、中国人民解放軍が徹底分析 台湾統一を見据え、ロシアの失敗から多くを学ぶ目的 | JBpress (ジェイビープレス)
圧倒的な空軍力を誇りながらロシア軍が航空優位を取れない理由の一つが、米軍が供与している携帯型地対空ミサイル「スティンガー」だ（写真、米海兵隊のサイトより） ロシア・ウクライナ戦争（＝露宇戦争）が勃発してから1年が経過した。ロシアのウクライナ侵略直後、世界中の多くの専門家は「ロシアが短期間でウクライナを占領するだろう」と予想していた。 しかし、米国の統合参謀本部議長マーク・ミリー大将が「ロシア軍は、戦略的にも作戦的にも戦術的にも失敗している」と発言したように、ロシア軍はこの戦争で大苦戦し、多くの失敗を繰り返している状況だ。 世界中の軍事関係者は、露宇戦争から多くの教訓を引き出そうとしている。特に中国にとって、これらの教訓はより重要な意味を持つ。 なぜなら、中国は大規模な戦争の経験がなく、過去数十年間の急速な人民解放軍（＝解放軍）近代化のためにロシアの兵器とドクトリンに大きく依存してきたからで
｢老害｣を人口視点で分析したら、今の40歳がキングオブ老害世代だと判明した｜酒井崇匡（Takamasa Sakai）
｢老害｣の変化｢老害｣という言葉や関連した議論をよく耳にするようになった。 以前は高齢の政治家が不適切な発言をした場合によく使われる言葉だったが、最近の論調では対象となる年代が70代以上のシニア層だけでなく50～60代のエルダー層に拡大しており、より広い分野で一般的に使われる言葉になっている。(ちなみにGoogleTrendでの｢老害｣検索ボリュームも上昇傾向。) 使用される文脈も徐々に変わりつつある。以前のような”個別の発言や行動”が問題視されている状態では、エルダーにも老害な人と、そうではない人がいるという前提があった。 しかし、その人自身の発言や行動に大した問題がなくても、”次の世代にポジションを譲らず居座り続けること” そのものに矛先が向くと様子が変わってくる。 エルダーは総じて早めに下の世代に道を譲り、メインストリームから退場すべしという注文に変質してきているのだ。 では、｢老害
【更新】Spotifyチャートを分析した結果、日本の音楽は先進国とは思えない流行の停滞が起きているらしい
MATSUTANI Soichiro @TRiCKPuSH 松谷創一郎／著書『ギャルと不思議ちゃん論』『SMAPはなぜ解散したのか』、共著『ポスト〈カワイイ〉の文化社会学』『文化社会学の視座』『どこか〈問題化〉される若者たち』等。4月から10月にかけてはカープのことばかり呟くので注意。連絡先： trickflesh@gmail.com sites.google.com/view/trickview/ MATSUTANI Soichiro @TRiCKPuSH Spotifyチャート73か国・地域のデータ6年分を分析して、日本の音楽ヒットが異様な「固着」状況であることを炙り出しました。先進国とは思えない流行の停滞が起きています。 ↓ ヒットの固着──Spotifyチャートから見えてきた停滞する日本の音楽（松谷創一郎） #Yahooニュース approach.yahoo.co.jp/r/QUy
調査の「聞き方」「答え方」がデータに与える影響（大阪大学大学院人間科学研究科教授：三浦麻子） #その心理学ホント？｜「こころ」のための専門メディア 金子書房
調査の「聞き方」「答え方」がデータに与える影響（大阪大学大学院人間科学研究科教授：三浦麻子） #その心理学ホント？ 心理学が使用する代表的な方法の一つが調査法です。多くのデータが得られやすい，実施や集計が容易といった強みを持つ一方，弱みもあります。今回は，調査の「聞き方」，「答え方」によって得られるデータがどのような影響を受けるのかについて，三浦麻子先生にご解説いただきました。 心理学では「心」にまつわる構成概念を測定するために様々な手法を用いますが，そのうち，調査者の問いかけに対象者が主観（自らの気持ちや考え，経験など）を答えるのが調査です．調査では，呈示した質問に対して，あらかじめ用意した数値や選択肢から当てはまるものを選ばせる形で回答を求めることがよくあり，同じ形式で得られたデータですから，たくさんあっても集計・分析するのが容易です．心理学以外の領域でもよく用いられていて，学生の卒論
お客は「どの弁当」の前で立ち止まっているのか ベルクの分析が面白い
「のり弁、チキンカツ弁当、カレー、全部おいしそうだなあ。うーん、どれにしようか決められない」といった感じで、スーパーの弁当売場の周りをウロウロしたことがある人も多いのでは？ 弁当以外でもジュースであったり、総菜であったり、菓子パンであったり。店内のお客を見ていると、熟考している人をよく見かける。 迷っている人たちは、どの弁当の前で立ち止まっているのか。店内にカメラを設置することで、お客の行動を分析しているスーパーがある。埼玉や群馬を中心に、関東で展開しているベルク（埼玉県鶴ヶ島市）だ。 2022年4月、千葉県の我孫子市に「フォルテ我孫子店」（以下、我孫子店）をオープン。そのときにセーフィー社のAIカメラ「Safie One」を設置して、お客はどんな行動をしているのか、立ち止まった人はどのくらいいるのかなどを分析して、売り上げを伸ばそうとしている。近い将来、スタッフの間で「月曜日の昼の時間帯
ロシアはあとどれだけ戦えるのか？ ロシア軍東部軍管区における予備保管装備の衛星画像分析｜ユーリィ・イズムィコ
小泉悠（@OKB1917） 背景 ウクライナ侵略が始まってから9ヶ月で、ロシア軍は戦車1465両、歩兵戦闘車1682両、装甲兵員輸送車259両、その他の装甲戦闘車両695両にも及ぶ膨大な装備品を喪失したと見られている(1)。開戦前の時点でロシア軍が保有していた装甲戦闘車両は戦車3417両、歩兵戦闘車4293両、装甲兵員輸送車7452両であり(2)、特に戦車の損害が極めて大きい。この結果、ロシア軍はウクライナにおける軍事作戦を継続するために予備保管されている旧式兵器を現役復帰させざるを得なくなっている。2022年10月に報じられたところによると、ロシアは旧式化したT-62M戦車など800両を急遽近代化改修して実戦投入する計画である(3)。 では、ロシアの予備兵器はこれまでにどの程度が現役復帰しているのだろうか。また、今後も膨大な損害に耐えて戦争を継続する能力はどの程度残されているのだろうか。
“プーチンの戦争” 終わりは？ ロシア外交の専門家が分析 | NHK
ロシアによるウクライナへの軍事侵攻が始まって半年。 各国が注目するのはプーチン大統領が「いま何を考え、今後どうするのか」です。 「プーチン大統領は欧米と完全に決別する方向にかじを切った」。 そう言い切るのがロシアを代表する外交評論家のフョードル・ルキヤノフ氏（Fyodor Lukyanov・55歳）です。 ロシアの政治の中枢、クレムリンに近いシンクタンクのトップで、プーチン大統領が議長を務める安全保障会議や外務省にもみずからの分析を伝え、助言もしています。 ロシアの外交政策上、影響力のある専門家の1人でもあるルキヤノフ氏に 軍事侵攻開始から半年を前に、ロシア国内でインタビューしました。 （聞き手・権平恒志 モスクワ支局長） プーチン大統領の最近の演説から読み解けることは？ 外交評論家 フョードル・ルキヤノフ氏 特に西側の支配への完全な否定に重点を置いています。これまでもこうした考えはありま
新型コロナ後遺症 最大400万人働けず 米・シンクタンクが分析 | NHK
アメリカのシンクタンクは、アメリカ国内で、新型コロナウイルスに感染したあと息が続かないなどの後遺症に苦しむ人の数がおよそ1600万人にのぼり、このうち最大で400万人が仕事ができない状態に陥っているという分析を発表しました。 アメリカ・ワシントンにあるシンクタンク、ブルッキングス研究所は24日、新型コロナの感染拡大が社会に与える影響について分析した結果を発表しました。 それによりますと、アメリカ国内では現在、18歳から65歳までのおよそ1600万人が、新型コロナに感染したあと、息が続かない、頭に霧がかかったような症状が出るなどの後遺症に苦しんでいるということです。 また、このうちアメリカの労働力全体の1.8％にあたる、200万人から400万人が仕事をすることができない状態に陥っていて、経済的な損失は最大で年間2300億ドル、日本円でおよそ31兆円にのぼると指摘しています。 そのうえでブルッ
「配信者は人気ゲームに乗り換えた方が視聴者数は増えるのか？」統計から分析する論文が公開。ゲーム論文大賞2022、優秀賞に選ばれる - AUTOMATON
ホーム ニュース 「配信者は人気ゲームに乗り換えた方が視聴者数は増えるのか？」統計から分析する論文が公開。ゲーム論文大賞2022、優秀賞に選ばれる 株式会社メディアクリエイトは4月18日、「ゲーム論文大賞 2022」の受賞者を発表した。優秀賞として、配信技術研究所株式会社（以下、配信技研）および中村鮎葉氏の共著「国内ゲーム実況ライブ配信におけるチャンネルのコミュニティ的性質の統計分析」が選ばれた。 ゲーム論文大賞 2022は、2021年8月から今年1月にかけて募集された懸賞論文募集。ゲーム産業に携わる個人・グループを対象に、コンシューマー、PC、モバイル、経営論、e スポーツ、ゲーム実況、社会経済への影響などを広くテーマとして募集した。結果として、今回の募集で大賞は該当作なし。優秀賞として、配信技研および中村鮎葉氏の論文が選ばれた。 配信技研は、インターネットライブ配信技術を開発する国内企
文春オンラインの記事分析を支える爆速ダッシュボードを作るまで｜Shota Tajima
従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いないはずの時間帯にまさかのお客が!? イオンリテールが「AIカメラ」を導入して気付かされたこと
「Google カレンダー」で予定にラベルを付けて分類・分析可能に／「時間の分析情報」にカラーカスタマイズ機能が導入
過去150万年間のCO2濃度解明に成功 海底堆積物を利用 - 日本経済新聞
