ログ調査基盤を構築してみた
こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず です。 システム運用において、有事の際に迅速かつ適切なシステム稼働状況の確認は欠かせません。 その手段の1つとして、ログの調査や分析の効率化は切っても切れない関係です。 システムが成長するにあわせ、ログの種類や量が多くなり、結果としてログの調査や分析が難しくなるのはよくある話かと思います。 弊社でもサービスのグロースに伴って、ログの種類や量が多くなり、結果としてログの調査や分析で課題を抱えていました。具体的には以下の2点です。 ログから原因調査を行うには、複数ログを横断・突き合わせが必要 ログの追跡に必要な情報がログに出力されない場合がある そこで、課題への対応としてログ調査基盤の構築を行いました。 本記事では背景や苦労したこと、効果についてご紹介します。 複数ログの横断調査実現に向けて ログ調査基盤の構築 苦労したこと
01_ユーザーリサーチの進め方
TOKYO METROPOLITAN GOVERNMENT ユーザーリサーチ実施の進め方 2 0 2 3 年 １ 月 デ ジ タ ル サ ー ビ ス 局 ユーザーテスト実施手順書 01 2 本資料の記載にあたって ユーザーリサーチとはサービス利用者の 潜在的なニーズ や 真の課題 を抽出し、最適な解決策 を導くための活 動です。本資料では、ユーザーリサーチを効果的に進められるよう、２種類のユーザーリサーチのパターンを 深掘りしています。ユーザーリサーチに対する理解を深めて頂ければ幸いです。 1. インサイト抽出の重要性 2. ２種類のユーザーリサーチ 2.1 検証型 と 探索型 2.2 検証型 について 2.3 探索型 について 2.4 単独手法を実施する際の注意点 2.5 企画段階における東京都での代表的なデザイン プロセス 3. ユーザーリサーチの進め方 3.1 ユーザーリサーチの計画
Python
Python（パイソン）はプログラミング言語の一種です。最近は機械学習でよく用いられます。ここではPython 3.xを使って統計・機械学習の計算・グラフ描画をします。Rを使った統計・データ解析の姉妹編を目指しています。 [2024-04-07] コード部分をクリックするとクリップボードにコピーされるようにしました。 お品書き はじめの前に / PEP 8 インストール 実行 / Google Colaboratory / EIN（アイン） / Docker / ipynbを公開する方法 Pythonの初歩 / Collatzの問題 / 配列 / 基数変換 / ゼロ除算 プロット / 図のラスタライズ / seabornによるプロット / Plotly / プロットをデータに 曲線を描く / 正規分布の密度関数を描く ヒストグラム / 都道府県人口のヒストグラム / ドットプロット / ヒ
講義資料 – 九州大学 数理・データサイエンス教育研究センター
本ページで公開している講義スライドはすべてCC-BYです（〈参考資料〉は除く）． 編集可能なPowerPointファイル（無償, CC-BY）が必要な場合や，今後改訂したときに連絡が必要な場合は，下記までご連絡ください（PPTは100以上の大学等へ提供済みです． お気軽にどうぞ）． 連絡先：mds-lecture-slides@human.ait.kyushu-u.ac.jp （内田（センター長）・福冨（センター秘書）） スライド内容について間違いがあった場合も，上記連絡先にご連絡いただけると，大変に助かります．（修正の上，改訂版を随時アップロードいたします．） データサイエンス概論Ⅰ＆Ⅱ（夏休み中の3日間での集中講義を予定．2023年度からは，高年次基幹教育科目「データサイエンス総論Ⅰ&Ⅱ」としても開講予定．なお，電気情報工学科「データサイエンス序論」とほぼ同一内容．無編集ですが講義動画
ジャニオタに聞いた「遠征するならこれを食え！」調査結果 - こんなことになるはずじゃなかった
きっかけはゴマサバだった。 2月の初め、私はTravisJapanのデビューツアーに参戦するため、生まれて初めて福岡に降り立った。 いつか行ってみたいとずっと思ってはいたのだけど、飛行機というのがハードルが高く、1回も行ったことがなかった九州。 だが、ちょうど飛行機のセール期間が入ってたこと、そして何より福岡在住のフォロワーさんの「来ちゃいなよ」の一言に背中を押され、文字通り飛び立ったのだ。 ライブももちろん楽しみではあったが、福岡といえばなんといってもグルメだ。天ぷら、ラーメン、あまおう、明太子。行ったことはなくてもいくつも思いついた。何かおいしいものに出会える予感がした。 そして福岡の居酒屋で出会ったのがゴマサバだった。 聞いたことがなかったそれはゴマに和えられた生のサバ。 福岡だとどこでも食べれますよと言われたそれに興味を持って注文するとこれがとんでもなく美味しかった。後で調べたとこ
最新レポート | 三井物産セキュアディレクション株式会社
【2024年4月号 (2024年3月分)】 暴露型ランサムウェア攻撃統計 CIGマンスリーレポート 弊社(MBSD) の Cyber Intelligence Group（以下、CIG）のチームが日々集計している暴露型ランサムウェア攻撃の統計情報をマンスリーレポートとして毎月掲載していく。 本ページで公開するマンスリーレポートは、以前から継続し、同じ集計基準や分析観点で、MBSD社内限定の資料として長期にわたり毎月まとめ続けてきたものであり、より広い皆様に有効活用して頂きたく、この度あらためて一般公開に踏み切ったものとなる。２重脅迫を行う暴露型ランサムウェアを中心とした脅威動向の各種把握に是非活用してほしい。 ※事前の留意点として、ランサムウェア攻撃の集計を一般公開している海外などの一部インテリジェンスベンダーにおいては、被害組織に関する情報（URLや被害組織名の表記など）がリークサイト上
対応分析を KH Coder で実施する方法 - 統計ER
対応分析は、コレスポンデンス分析とも言われる分析方法だ。 テキストマイニングでの対応分析では、どのグループでどんな発言が多かったかの傾向を図でつかむ方法。 KH Coder でどのように実施するかを解説。 ＞＞もう統計で悩むのを終わりにしませんか？ ↑1万人以上の医療従事者が購読中 対応分析とは - 一般的な話 対応分析を実施するには？- KH Coderの使い方 KH Coder全般について KH Coderで対応分析をするデータは？ KH Coderで対応分析をするには？ KH Coder のデフォルトで － リード文の分析 原点から離れた語のみラベル表示 － 上位30語に厳選 バブルプロット － 出現頻度が高いほど大きなバブルで表示する リード文の分析結果まとめ タイトルの分析結果 タイトルの分析結果まとめ まとめ KH Coderで対応分析をする方法―データの読み込みから図の描画・
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
元厚労省官僚が警鐘「ワクチン接種期に震災以上の超過死亡」政府やマスコミが黙り込む"不都合な真実"（プレジデントオンライン） - Yahoo!ニュース
「ワクチン接種期に東日本大震災以上の超過死亡」「80歳未満はワクチン接種者のほうが感染しやすい年齢も」「コロナの症状よりワクチンの副反応のほうが発生率が高い」……次々に明らかになるコロナワクチンの疑惑と真実。しかし、政府やマスコミはいまだに「ワクチン接種」を“推奨”している。この事態に、厚生労働省のキャリア官僚だった田口勇氏が警鐘を鳴らす。11月25日(金)発売の「プレジデント」(2022年12/16号)の特集「頭がいい思考、バカの思考」より、記事の一部をお届けします――。 【図表】2021年と2022年の死亡者数を比較して見えてくることは… ■ワクチン報道、病院ランキングは嘘だらけ 統計・データの数字は正確で公正なもの――。こう考えている人が多いと思います。しかし、厚生労働省の安全衛生部などに所属して、さまざまな統計・データを扱うなかで私が学んだのは、数字は必要以上に強い印象を与えたり、
SSDの故障率をまとめた統計データ「メーカー・モデル別統計データ2022年中間レビューSSD版」をBackblazeが公開
約22万台のHDDおよびSSDを自社データセンターで運用しているBackblazeは、毎年四半期ごとにどのメーカーのHDDが故障しやすいかをまとめた統計データを公開しています。そんなBackblazeが、SSD関連の統計データをまとめた「メーカー・モデル別統計データ2022年中間レビューSSD版」を公開しました。 The SSD Edition: 2022 Drive Stats Mid-year Review https://www.backblaze.com/blog/ssd-drive-stats-mid-2022-review/ Backblazeが公開したメーカー・モデル別統計データ2022年中間レビューSSD版は、同社のクラウドストレージプラットフォームでストレージサーバーのブートドライブとして使用されているSSDに基づくデータです。BackblazeはこれらのSSDの故障率を
「NHK全国ハザードマップ」を公開した理由 34テラバイトのデータと格闘 - NHK
34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場所のリスクを知ることが、災害から命を守るスタートだから
総務省、きょうから「社会人のためのデータサイエンス入門」を無料開講 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
誹謗中傷対策として炎上時のリプライ可視化システムを作ってみた｜tori
社会問題としての炎上・誹謗中傷最近テラスハウスという番組の出演者が亡くなるという痛ましい事件がありました．この番組自体はあまりよく知らないのですが，とにかくネット上での誹謗中傷がひどかったとのことです． 事件の詳細や炎上にどう対処すべきかという話については，こちらが良くまとまっているのではないかと思いますので，詳細は省きます． 木村花さんにはご冥福をお祈りする以外ないわけですが，このような痛ましい事件が起きている一方で，その実態というのはあまりよくわかっていません．私も炎上の分析をやっていたりもしますが，基本的には数百万人規模の炎上を対象としています． というのも，個人が攻撃されている炎上というのはなかなか分析が難しいんですね．規模が小さいと他人からはどうしても見えにくいのです．だからといって，本人にとってそれはどうでもいいことかというとそんなことはないわけで，何とかしなければいけない対象
QGISを使って「災害データを地図で分析」してみよう 初心者向けの入門マニュアル｜NHK取材ノート
分析を身につけるには実際に「手を動かす」ことが一番の近道です。 分析ソフトと自治体のオープンデータを使った分析の進め方をとことん詳しく、マニュアル風にご説明します。やってみたいけど難しそう、わからない！という方の参考になればうれしいです。 （※あくまでもイメージをつかむためのものですので、詳しくはネットや参考書など他の情報もご覧ください） 今回のゴール地震による津波で浸水が想定されている区域に、子どもが通う施設がどのくらいあるのか。公開データから分析、可視化する。 以前、私が分析に携わったこの記事では、津波によって浸水が想定されている区域に、高齢者施設がどのくらいあるかを調べました。 このときのデータは、県や自治体などから取材で提供を受けたものがベースになっていました。そのままオープンにすることはできないので、今回は高齢者と同じく避難に手助けが必要な、「子どもの施設」に津波のリスクがあるか
総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート
総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開 性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS
ゼロから始める、データ分析と可視化 - Kyash Product Blog
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
酷く質の悪いワクチン関連論文を元に、さらにネット上で誤解釈で大変なデマが出回る : やまもといちろう 公式ブログ
ワクチン接種と国民の態度については、それ相応に各種の事前研究が進み、接種計画に反映されたりしています。なので、ある程度は関係者の間では「肌感」があるところなのですが、さっきTwitterを見ていたら「Facebookユーザーの大多数がワクチン接種を拒否」とか「18歳から29歳までの40％以上がワクチン接種に否定的」とかいう明らかなガセネタが出回っていたので（既に削除）、元論文を観に行きました。 そしたら、元ネタは独立行政法人産業経済研究所（RIETI）が発行したディスカッションペーパーのていをした調査報告書だったわけなんですが、流し読みして悶絶するような個所がいくつかあり、椅子から落ちそうになりました。 https://www.rieti.go.jp/jp/publications/dp/21j026.pdf 元データが開示されていないので検証のしようもないんですが、まず、18歳から29歳
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンティスト向け性能問題対応の基礎
2年間針を投げ続けて円周率を求めた結果
元旦名物の航空機による固定資産税調査はその分析にAIが使われるようになっていてごまかしが効きにくい「税を取ることについては有能」
