解像度を上げる 🔬
2023 年 4 月にアップデートしました。 ビジネスにおいて「解像度が足りない」という言葉が使われるようになりました。この解像度という概念を、深さ、広さ、構造、時間の4つの軸で整理して、それぞれでどうやって解像度を上げれば良いのかについて解説しています。 このスライドを使ったYouTube での解説動画はこちら (2023年4月版) 東京大学 FoundX の各種リソース •FoundX Review - 起業家向けノウハウ情報 •FoundX Resource - 整理された記事の紹介 •FoundX Online School - 30以上の学習ビデオ教材 •FoundX Founders Program - 個室の無償提供とコミュニティ
データマネジメントなき経営は、破綻する。by @yuzutas0 / 20200419
データマネジメントなき経営は、破綻する。 〜2つのデータ分析プロジェクトに学ぶ「残酷な真実」〜 第1回 DLG Cross (データマネジメントとデータパイプライン) の発表資料です。 https://data-learning-guild.connpass.com/event/170177/ データマネジメントの Why（なぜ必要か） What（どんな活動なのか） How（どうやるのか）について、 データ分析プロジェクトの成功例と失敗例を比べながら紹介します。 参考文献『データマネジメントが30分でわかる本』 https://amazon.co.jp/dp/B085W4YSZJ/ [2020-04-21] 一部表現を修正しました。
Twitter の広告エンゲージメント分析プラットフォームをモダナイズ | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 3 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Twitter の広告プラットフォームでは、日常業務の一環として数十億もの広告エンゲージメント イベントが日々発生しています。そしてこれらのイベントのひとつひとつが、ダウンストリームの数百もの集約指標に影響を及ぼす可能性があります。広告主がユーザー エンゲージメントを測定し、広告キャンペーンを効率よく追跡できるように、Twitter はさまざまな分析ツール、API、ダッシュボードを提供しています。これらは 1 秒あたりに数百万もの指標をほぼリアルタイムで集約することが可能です。 本投稿では、Steve Niemitz がリードを務めるTwitter の収益データプラットフォームエンジニアチームが、Twitter の広告分析プラットフォームの収益正確性と信頼性を向上させる
ソースコードを分析し、コードの構造や階層・依存関係を可視化する便利な無料ツール -Code Crumbs
フローチャート ※依存関係・フローチャートはJavaScriptのみです。 対応言語は、下記の通り。 JavaScript TypeScript Python PHP Java C++ 望む言語が他にあればIssueにどうぞ、とのことです。 Code Crumbsのデモ デモでは、JavaScriptのコードでその動作を確認できます。 デモページ 依存関係はDependenciesをオンに、フローチャートはFlowChartタブをクリックします。 Code Crumbsの使い方 セットアップ codecrumbをインストールします（yarn global add codecrumbs）。 codecrumbs -d project-src-dir -e project-src-dir/index.jsを実行し、プロジェクトに合わせてパラメータを変更します。-dはソースコードを含むディレクト
750 TB のデータを使用して Amazon Redshift で Amazon Payments 分析を実行する | Amazon Web Services
Amazon Web Services ブログ 750 TB のデータを使用して Amazon Redshift で Amazon Payments 分析を実行する Amazon Payments データエンジニアリングチームは、データの取り込み、変換、計算と保管を担当しています。チームはこれらのサービスを世界で 300 社以上のビジネス顧客が利用できるようにしています。これらの顧客には、製品マネージャー、マーケティングマネージャー、プログラムマネージャー、データサイエンティスト、ビジネスアナリスト、およびソフトウェア開発エンジニアが含まれます。彼らは、ビジネス上の決定を適切に下すために、データをスケジュールされたクエリとワンタイムクエリに使用しています。このデータは、リーダーシップチームがレビューする、週次、月次、および四半期ごとのビジネスレビューメトリクスの構築にも使用されています
カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog
こんにちは、Retty.Inc ソフトウェアエンジニア兼データサイエンティストのchie（@chie8842）です。 好きなたべものは焼肉とみかんです。 現在Rettyでは、次世代分析基盤を構築しています。Rettyでは、サービス拡大に伴いログの急増や分析需要の拡大が見込まれるため、高いスループットとコストパフォーマンスを両立する、スケールするアーキテクチャ設計が求められています。 今回は、こうしたスケールするアーキテクチャ設計の実現のために理解しておくべきDWHのコア技術の一つである、カラムナフォーマットに焦点を当てて紹介します。 はじめに - カラムナフォーマットとは カラムナフォーマットとは、データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくで
機械学習処理におけるカテゴリ変数の扱い方(Feature hashingについて) - MicroAd Developers Blog
こんにちは！機械学習エンジニアの桶原です。 業務では主に機械学習処理を用いた広告効果予測と改善をテーマとしています。 今回は機械学習処理におけるカテゴリ変数の扱い方の中でもあまり触れられることのない、Feature hashingを利用した方法についてお話できればと思っています。 カテゴリ変数の取り扱い Feature hashingとは Feature hashingの種類 hashing functionの比較 概要 注意事項 実装 1. Shi's hash function 2. Weinberger's hash function 結果 次元圧縮手法としてのFeature hashing 1. Shi's hash function 2. Weinberger's hash function まとめ カテゴリ変数の取り扱い カテゴリ変数の扱う方法として多くの教科書ではOne ho
大げさな分析資料はいらない。メルカリの「意思決定」を支えるデータアナリストの役割 | SELECK [セレック]
〜そのデータで、意思決定は変わりますか？ 戦略の策定、新機能の検証、さらに広報まで。組織を横断して最適なデータ活用を実現する、メルカリのBIチームとは〜 データを活用できる組織とできない組織、その違いはどこにあるのだろうか。 国内唯一の「ユニコーン企業」とも称される、株式会社メルカリ。同社の東京オフィスでは、2018年4月時点で7名のデータアナリストから成るBI（Business Intelligence）チームが、経営目標の達成をデータ分析で支える役割を担っている。 チームのマネージャーを務める樫田 光さんは、「『分析こんなに頑張りました』という大げさな資料は、意思決定をする側には必要ない」と語る。 その言葉通り、同社では分析の結果をあくまでもスピード重視で共有。また、できるだけ多くの人がデータを活用できるようにするため、組織を横断した仕組みづくりも強化している。 例えばその活動のひとつ
![大げさな分析資料はいらない。メルカリの「意思決定」を支えるデータアナリストの役割 | SELECK [セレック]](https://cdn-ak-scissors.b.st-hatena.com/image/square/fea85502f20af5a0aa43a5cea548224b5de514f9/height=288;version=1;width=512/https%3A%2F%2Fdpd29bjwmgbr8.cloudfront.net%2Fwp-content%2Fuploads%2F2018%2F06%2F05165910%2F2.png)
整然データとは何か｜Colorless Green Ideas
整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d
11月の現場会議～お客さま分類「ファン」「サポーター」の違いについて～
先週、若手スタッフさん中心の「現場会議」をやってました たこ梅には、定例の月例会議には、店長会議とこの現場会議があるんです この日も、いくつかの議題について、意見を出し合って話しあいました 最近、世の中は「人手不足」のようです 飲食業界は、その最たるもので「人がおらん！」「人が足らん！！」って、よく耳にします たこ梅も、ホールさんの増員と洗い場さんの退職に伴う補充採用をおこなっています 特に、洗い場さんなんですが、数年前までだと、ハローワークに求人を出すと1週間以内には数名の応募がある、、、のが普通でした ちなみに、なんで数年前まで、、、なのかというと、長く続く方が多いので、数年前から今まで洗い場さんの募集したことなかったから、、、^^;;; （今回退職の洗い場さんも、今年が13年目だったりします） ただ、数年ぶりに求人を出してみて、ほとんど反応がない、、、 それで、洗い場さんとしては、初
基礎から分かるマイクロソフトの統計分析・機械学習ソリューション
Microsoft Japan Data Platform Tech Sales Team 倉重 秀昭 マイクロソフトでは、Power BI に代表される Business Intelligence(BI) ソリューションの他にも、統計分析や機械学習ソリューションも提供しています。 統計分析や機械学習と聞くと 「難しそう！」 と感じる方も多いと思いますが、マイクロソフトでは使う方の技術レベルに合わせて様々な分析ツールを用意し、ビジネスユーザから統計技術者まで、いろいろなレベルのお客様が無理なく分析できるソリューションを提供しています。 これから本 Blog や連動する各種媒体を通じて、マイクロソフトの統計分析と機械学習ソリューションについて、分かりやすく基礎からご紹介していきたいと思います。 今回は第一回目として、マイクロソフトが提供する「統計分析」「機械学習」向けのソリューションと特徴
第1回 ビッグデータ分析を始めよう | gihyo.jp
ビッグデータ分析エンジンを比較してみると、ビッグデータを処理する一般的なインターフェースとしてSQLが提供されていることが主となっています。こうして見ると、最近流行っているビッグデータを使った分析とは、SQLによる分析が主となっていることがわかります。 さらに、他の機能を見てみると、スケジューリングや依存関係を考慮したジョブの実行、データの可視化などは分析エンジン自体は備えておらず、別途用意する利用必要があります。 このように考えてみると、以下の点が気になってきます。 ビッグデータ分析基盤で何をできるようにするのか？ ビッグデータ分析基盤と考えたときに他にどういったツールが必要になるのか？ SQLによる集計を基にした分析ではどういったことができるのか？ 本稿では、ビッグデータ分析基盤を構築するために必要な分析エンジンではなく、主にその周辺のエコシステムについてを中心に紹介し、ビッグデータ分
なぜ私たちはSumo Logicを捨ててBigQueryを選んだのか - tech.guitarrapc.cóm
ログ分析サービスはアプリケーションのインフラであり、サービス開発/運用の中で重要な位置を占めます。グラニでは、今年に入って利用しているログ分析サービスを、 Sumo Logic から Google BigQuery に完全移行しました、 本記事は、グラニで議論された「ログ分析サービスとしての SumoLogic と BigQuery」のまとめを推敲、転載したものです。これからログ分析サービスを検討される方々にとって、議論の内容が少しでも参考になることを願い公開します。 アジェンダ まずは文脈を整えるためにアジェンダから。 アジェンダ 日常的なアプリケーション監視フロー APM として盤石な New Relic ログ分析サービスによるアドホックなログ分析 ログ分析サービスに求めること Sumo Logic の利用と課題 Sumo Logic の利点 Sumo Logicで発生した課題 ログ収
Tableau 9.0 ロードショー Tokyo に参加してきた #Tableau | DevelopersIO
Tableauの新しいバージョン、Ver.9がリリースされたのは今年4月上旬。世界各国でTableau9のリリースイベントが開催されていたのですが、リリースから2ヶ月経ち、いよいよ日本でも記念イベントが開催される運びとなりました。 Smart Meets Fast: Tableau 9.0 Is Here! | Tableau Software Smart Meets Fast - Tableau 9.0 の登場です。 | Tableau Software そのイベントが2015年06月10日に開催された以下イベントとなります。弊社としてもこのイベントは勿論チェックしておりましたので、社員数名で参加して来ました！ Tableau 9.0 ロードショー - 東京開催 | Tableau Software 開催場所はベルサール九段@九段下。受付そばの看板(垂れ幕？)も、今回のリリースを記念する
どこまで速くできる？ 達人に学ぶPython超高速データ分析～PyData.Tokyo Meetup #4イベントレポート
PyData.Tokyoは「Python＋Dataを通じて、世界のPyDataエクスパートと繋がれるコミュニティーを作る」ことを目的として設立され、これまでに勉強会3回およびチュートリアル1回が開催されました（過去のイベントのリスト）。4回目の勉強会となる今回は「データ解析アルゴリズムの高速化」をテーマに、株式会社ブレインパッドの佐藤貴海さん（@tkm2261）とシルバーエッグ・テクノロジー株式会社の加藤公一さん（@hamukazu）の2人に話していただきました。 登壇者のレベルの高い講演に加え、ヤフー、日本IBM、NTTデータ、AWS、Gunosy、Preferred Networksなど、第一線で活躍されている非常に質の高い聴講者にも参加いただき、大変充実した会になりました。 Pythonは書きやすい言語仕様と豊富なライブラリが特徴で、手軽に複雑なデータ分析を行えますが、他言語と同じ感
Visual Studioのコード分析機能を利用してコードの品質を上げよう
コード分析とは 継続してアプリケーションを開発していく中では、コードの保守性も重要になってきます。特にチームの開発では、メンバーのスキルにバラつきがあるため、中にはあまり良いとは言えない品質のコードが書かれてしまうこともあります。 こういった問題に対処するための方法にはいくつかあります。有識者、他のメンバーによるレビューを通じて直していくという方法もその一つです。しかし、せっかくの貴重なレビューの場を、ある意味些末な「コーディングルール」というようなものの指摘に費やすのは、非常にもったいないことです。レビューでは機能要件に沿った内容やコードの設計、構造といった、「人でしかできない」ことに注力したいものです。 そこで、「コーディングルール」のような決まりきったものについては、ツールを使って検出し、直していきましょう。そのためのツールの一つが、今回紹介するVisual Studioに搭載された
日経xwoman：doors 20代からのキャリアとライフ：日経xwoman：日経xwoman
2度の挫折越え、22歳で日本人女性初の南ア公認サファリガイドに NEW キャリア 2024.02.09
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分析の基礎（モデリング）/ Basics of analysis ~modeling~
gmx.ne
年収ラボ-最新の平均年収・給料・賃金動向を調査-