『仮説が先、データが後』がなぜ重要なのか？ データがあるから規則性や現象が見つかるのではなく、まず仮説をもつことが重要という話
松本健太郎 @matsuken0716 「仮説が先、データが後」は僕が敬愛する鈴木敏文さんの言葉です。「今あるデータから何かできないか」と問われても、何もできない最大の理由です。問題を解決する仮説が先です。しかし、大半の分析は仮説をすっ飛ばしていきなり検証から入り、かつそれを分析と言います。それはおかしい。（1/n） pic.twitter.com/5GaXebGfCM 2022-05-31 22:32:33 松本健太郎 @matsuken0716 データ分析には、仮説構築向きと仮説検証向きの2種類に分かれます。そして"仮説構築"の真意は「筋の良い可能性の選択肢を増やすこと」にあります。すなわち正解は1つでは無い、と私は考えています。分けて考えないと「正解を絞れていない」「確からしく無い」とひっちゃかめっちゃかです。（2/n） pic.twitter.com/ZifqK8q3PE 2022
総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート
総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開 性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS
データ分析のはじめの一歩を無料で学べる 総務省監修の高校教材『データサイエンス・データ解析入門』がpdfで公開 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments
概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで WorldBankから GDPデータを落とす。以下のページ右上の "DOWNLOAD DATA" ボタンで CSV を選択し、ローカルに zip を保存する。解凍した "ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルとして使う。 http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas の Remote Data Access で WorldBan
タイトーに聞く、データ分析基盤の導入効果――スマホ向けゲームで年間480時間の工数削減
アミューズメント施設やモバイルゲームを手掛けるタイトーが、スマートフォンゲーム向けのKPI分析・可視化基盤を構築した。今回の分析基盤は、ETL／ELT（抽出、変換、ロード／抽出、ロード、変換）ツールとしてprimeNumberの「trocco」、データウェアハウス（DWH）とBI（ビジネスインテリジェンス）ツールに、それぞれ、「Google Cloud Platform」（GCP）の「BigQuery」と「データポータル」を導入した。システムの構築は、GCPの導入に実績のあるクラウドエースがサポートした。本稿では、タイトーが構築した分析基盤を通じて、データ分析基盤の導入効果を考察してみたい。 スマホゲームでは、KPI分析が売り上げに直結する 分析基盤は、2021年1月リリースのスマートフォン向けゲーム「ラクガキ キングダム」のサービス開始と同時に運用を開始した。ラクガキ キングダムは、自分
大量のデータを分析して可視化するオープンソースのLooker代替・「MLCraft」
MLCraftは大量のデータを分析して可視化するオープンソースのLooker代替となるBIツールです。データ解析のスタートアップだったLookerは2020年の2月にGoogleに買収されました。 データの処理と可視化自体はCube.jsによって処理されます。MLCraftはダッシュボードを提供し、チームへのデータ共有の場や機械学習実験をワンクリックで行えるUIの提供をするそうです。 LookerはGoogle Cloudに統合されましたので、もともとGoogle Cloudを採用していたのならLookerを使うでしょうが、コスト的な問題、プライバシー、セキュリティ的な問題で使えない際にMLCraftは1つの選択肢となりそうです。MITライセンスのもとでソースコードが公開されています。 GithubMLCraft
データ分析 SQL とその実行結果を共有・検索できるアプリ Bdash Server を作りました - クックパッド開発者ブログ
こんにちは。クックパッドでエンジニアをしている @morishin です。Bdash Server というデータ分析 SQL を共有するアプリケーションを作って社内で使い始めたのでその紹介をします。 クックパッドのサービス開発は「仮説を立てる」→「作ってリリース」→「効果検証」の繰り返しで進んでいます。ここで言う効果検証というのは作ったサービスが狙い通りの使われ方をし、ユーザーに価値を提供できているかどうかの確認のことです。その手段は複数あり、実際に使っていただいたユーザーさんにインタビューをさせていただく場合もあればアプリケーションから送信されたアクセスログ等を分析することで評価する場合もあります。この記事では後者の定量分析を効率化するためのツールを作った話をします。 アプリの概要 まずはアプリの機能を紹介します。Bdash Server は、Bdash という同僚 (@hokaccha
『データ分析のための統計学入門』PDFが無料公開 データサイエンティストたちが執筆 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
自分でシュッとデータ分析をできる人になろう - 「データ分析人材になる。」から学んだこと - Lean Baseball
新年あけましておめでとうございます🎍 年末年始は色々と手を動かしつつ*1, 積ん読を消化していたのですが, 昨年最後の読書🍺 特にこの本にオッってなりまして読み終わる寸前には, これもうすぐ読み終わるのですが、なぜ積ん読にしてたワイは🤔 ってぐらい名著でした📖 https://t.co/RgTILDGc7r— Shinichi Nakagawa (@shinyorke) 2021年1月3日 ...という感想が出る程度にこちらの書籍に興奮しました. データ分析人材になる。 目指すは「ビジネストランスレーター」 作者:木田 浩理,伊藤 豪,高階 勇人,山田 紘史発売日: 2020/10/15メディア: Kindle版 データを使って仕事をする人は（データサイエンティストに限らず）サラッと読んだほうがええやぞ！ というぐらい良い本だったという話を2021年最初のブログとして書きたいと思い
【保存版】データサイエンティスト転職を決めるポートフォリオのガイドライン【書籍化決定】 - Qiita
書籍化されました 本記事をベースに監修者の村上さんが１冊の本にまとめてくれました（感謝） データサイエンティストのキャリア面やポートフォリオの細かい部分をさらに追加・ブラッシュアップした内容になっています。 まえがき はじめに 皆さん、「データサイエンティスト」という職種をご存知でしょうか？ この数年間で、AIやディープラーニングといったバズワードと共にデータサイエンティストというワードも、よく耳にするようになりました。最新の技術を扱えて、年収も高い非常に魅力的な職業なため、データサイエンティストへの転職を検討されている方もいらっしゃるのではないでしょうか？ 実際、データサイエンティスト職への就職・転職希望者は年々増加しています。しかし、未経験の人材を育成できる会社はまだまだ少なく、未経験からの転職は転職希望者の増加に伴い高まっています。 データサイエンティストは求められるスキルの幅が広く
ヤフーの広告配信で機械学習の改善サイクルを高速化した話 〜 TensorFlow Serving導入
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの川崎です。 ユーザーに最適な広告を配信するプラットフォームの開発をしています。 この記事では、広告配信にTensorFlow Servingを導入して生産性改善した事例をご紹介します。 Yahoo!広告 ディスプレイ広告とは？ Yahoo!広告では、Yahoo! JAPANのさまざまなサービスや提携パートナーサイトに広告を掲載できます。Yahoo!広告は、検索広告とディスプレイ広告に大別されます。本記事で扱うディスプレイ広告は、例えば以下の図ようにYahoo! JAPAN トップページなどに掲載される広告です。 広告配信の仕組み 広告配信システムの概略図を以下に示します。
総務省、誰でも無料で受講できるオンライン講座「社会人のためのデータサイエンス演習」を開講！ | gamebiz
総務省は、将来の経済成長を担う“データサイエンス”力の高い人材育成のため、データサイエンス・オンライン講座「社会人のためのデータサイエンス演習」を昨日9月29日より開講した。誰でも受講することができる。 ■「社会人のためのデータサイエンス演習」の開講 データサイエンス・オンライン講座「社会人のためのデータサイエンス演習」は、ビジネスや行政での活用を想定した講座として、ビジネスや業務上での分析事例を中心に実践的なデータ分析（統計分析）の手法を学ぶことができる内容となっている。 講座の⽬的：ビジネス上での分析事例を中⼼に実践的なデータ分析（統計分析）の⼿法を習得する 開 講 ⽇：令和２年９⽉29⽇（⽕） 学 習 時 間：１回10分程度×５〜６回程度（１週間）×５週 課 題：各週の確認テストと最終課題の実施 講 師：データサイエンスに携わる専⾨家、⼤学教授、総務省統計局職員 社会人のためのデータ
横浜市IRに関するパブコメのテキスト分析 - Qiita
0.はじめに 「広報よこはま」８月号が投函されていたので、早速読む。いつも家計相談で「えっ２人で月の食費が５万円ってたかすぎるの！？」など参考にさせてもらっていて楽しく読んでいた。今月は横浜市IRのパブコメ（今年の４月ころにやっていたんですね）についての記事があったので、見てみると、パブコメが1万件ほど寄せられたとのこと。パブコメにこんなにコメント寄せられることは少ないと思われるので、 生データないかな～と思って見てみるとあった！ 生のテキストデータは、誹謗中傷などの情報を加工後に公開されていた。 横浜市は、パブコメの論点を５つほどに分類していたけど、 もっと論点あるんじゃないか、とか、 パブコメをもとに修正した「横浜ＩＲ（統合型リゾート）の方向性（案）」にどんな意見が反映されたんだろうか などと思ったので、とりあえず基本的な分析をやってみることに。 1.パブコメまとめ報告書に記載されてい
先駆者に学ぶ MLOpsの実際
「MLOpsとはなにか？」という質問に対し、「データサイエンティストが、システム開発において、やらないことすべて」と定義した上で、MLOpsの説明、海外事例、「JapanTaxi」アプリでの事例を説明しますRead less
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本として、データソース毎に典型的なデータ収集方法を整理して説明しています。またJapanTaxiアプリにおいてどのように実践しているかを説明しています。Read less
"壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog
こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築するのか データ基盤が“壊れている”とはどういうことか 壊れてないだけでなく、壊れたら気付ける 前提とするシステム構成 壊れたことに気付けるよう監視する 1. バッチジョブが失敗したことに気付く 2. 投入されたデータの性質を監視する 3. ビューが壊れてないかを監視する 4. 利用状況を監視する そもそも壊れてない状態を保つ 1. データリネージを元に修正できるようにする 2. 使われていないテーブルやビューは定期的に掃除 おわりに 参
AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Facebook、リアルタイムにデータをグラフ化する「Visdom」、オープンソースとして公開
事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2
Streamlitとnlplotを使って自然言語を分析してみた
