ネット上にある、完全無料で勉強になる有益なコンテンツまとめました。 (お金/資産形成、Excel、仕事術、資料作成、英語、ファイナンス、統計・データ分析、プログラミング、ITなど) GWでなにか勉強したいな~、と思っていた方はぜ… https://t.co/wHbkKFUnFM
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
この本では、無料で公開しているnoteの内容をさらに丁寧に分かりやすく、体系化させてアップデートした内容となっています。 noteの内容を立ち読みだと思ってもらい、より丁寧に学びたい場合は是非書籍を読んでもらえると嬉しいですmm これからSQLを学びたいと思っている方向けに作成したSQL勉強会の資料を公開します!(以下の方向けの勉強会資料です) SQLをこれから学びたい人 仕事でSQLを触り始めたけどイマイチよくわからない人 データ集計やデータ分析をエクセル使ってやってる人 資料こちらから最新の資料をダウンロードして下さい。 (※「Source code (zip)」からダウンロードして下さい) 資料の構成は以下の通りです。 docs PDF資料 演習問題など含めて全部で約200ページくらいあります data ハンズオン用テストデータ csvファイル3つ script ハンズオン用テストデ
これは何かGoogleの Material Design Guideline - Data Visualization がとても良くまとまっていたので、自分なりに和訳・編集してまとめたものです。 ※ 注意事項 こちらはあくまで、もとのドキュメントを参考に筆者が和訳・編集したものになります。原文の完全な和訳ではなく、抜粋の範囲や、英=>和の際の意訳を筆者が恣意的に行っています。 筆者の意訳・編集による曲解や元のドキュメントでのオリジナルの文意が気になる方は原文を読むことを強くおすすめします。 和訳の公開の可否についてはGoogle社に直接問い合わせています。1 / 原理原則(Principles) データの可視化は、複雑で内容の多い情報をグラフィカルな形式で表現するコミュニケーション手段である。 可視化の結果、データを比較しストーリーを伝えることが容易になり、データの利用者の意思決定の助け
GCPのML系機能を使いまくりたい・・という時にちょうど良い題材があったのでやってみました。GCPは機械学習を行う上で必要なデータ取得、preprocessing、学習と予測まで、フルマネージドな環境が揃っています。今回はその中で以下を使用しました。 ML Engine Dataflow BigQuery Natural Language API Datalab コードは全てDatalabで実行しました。開発環境を整える必要もなく、インタラクティブに結果を見られるのでGCPのML系を触るときは特におすすめです。 概要 色々発言が注目されるトランプ氏ですが、市場への影響はどれ位でしょうか?ツイートの後と通常(ランダムに時間帯を選択)でUSDJPYの価格変動がどう違うか比較します。 ランダムな日時 ツイート後 横軸は分、縦軸は変動(円)です。きちんと分散をみていませんが、ツイート後10分は荒れ
『ビッグデータ・ベースボール 20年連続負け越し球団ピッツバーグ・パイレーツを蘇らせた数学の魔法』MLBは新しい時代に突入した!解説 by 生島 淳 ここには、ページをめくるたびに、知的な興奮がある。 ここまでメジャーリーグは進化していたのか! という純粋な驚き。そして、なおかつ読んで面白い。『ビッグデータ・ベースボール』は、ポスト『マネー・ボール』の時代でもっとも刺激的なベースボール・ブックだ。 2013年、『ピッツバーグ・トリビューン・レビュー』紙に採用されたトラヴィス・ソーチック記者は、ナショナル・リーグ中地区のお荷物球団、ピッツバーグ・パイレーツの番記者となる。かつては鉄鋼の町として栄えたピッツバーグだが、IT産業など新しい町へと生まれ変わっていた。パイレーツは鉄鋼と同じく衰退の憂き目に遭い、アメリカン・フットボール、そしてアイスホッケーの人気に押され、ファンから20年以上も見放さ
あらゆるスポーツはデータ分析によって評価されています。今回はサッカーです。 調べてみた結果、試合のゴール数はポアソン分布(正規分布)に従うと仮定できるそうで、簡単そうなのでやってみます。 ※かなり前に実験してみた結果なので、その辺はご容赦下さい。 ポアソン分布とは ポアソン分布は平均値を変数として使用することで、ある事象が起こる確率を求めることができます。 今回の場合、λに平均得点、kに得点の0点~3点を代入します。 例えば、2015年サンフレッチェ広島は1ゲームあたり平均2.03ゴールを得点する可能性があります。この情報をポアソン方程式に当てはめると、広島が試合で0ゴールになる確率は13%、1ゴールは27%、2ゴールは27%、3ゴールは18%になります。簡単ですね。 しかしながら、サッカーは対戦相手あってのものです。単純に、これをそのまま利用するのは適切ではありません。 検証する対象試合
モバイルファースト室の @rejasupotaro です。 クックパッドでは、サービスをリリースしてログを収集して分析して改善してまたリリースして、というサイクルを素早く回すことでより良いものを作るということをウェブではやってきました。 クックパッドのサービス開発のフレームワークをモバイルアプリでも適用したいのですが、モバイルアプリにはウェブアプリと違ったロギングの難しさがあります。 今回はモバイルアプリのロギングの問題点とPureeというログ収集ライブラリについて話します。 モバイルアプリのロギングの難しさ ウェブアプリでは、基本的にはサーバー側でログを収集することができますが、モバイルアプリの場合は画面の制御はアプリ側で行われ、APIを介してデータを受け取るため、クライアント側でログを収集して送信する必要があります。 アプリのログを収集するのに、画面遷移をしたりタップするたびにサーバー
宮古島で元サッカー日本代表の奥大介さんが交通事故で亡くなった。メディアの多くは死因について全く気にしていない。しかし自動車業界から見ると「なぜ?」という気持ちが強く残る。というのも頑健な身体を持つ人であれば死亡事故になるようなクルマの損傷度合いじゃないからだ。 むしろ安全対策は全て機能してます。最初に衝突したであろうコンクリート製の電信柱は「クルマが衝突したら砕けて折れる」という設計通りになっていた。大きな衝撃を受けると砕けてエネルギーを吸収するようになっているのだ。その証拠にクルマの損傷は比較的軽い。Aピラーは健在。 ボンネット部分の変形で全てエネルギーを吸収出来ている。窓ガラスに乗員の頭の衝突痕も無いため、シートベルトは着用されていたことだろう。そしてエアバッグはキチンと展開されていた。自動車メーカーや、道路を作っている人達が「命を守りたい」と開発した技術が全て入ってます。 あの程度の
2014年6月12日にブラジルで開幕し、世界中の人をくぎ付けにしている2014 FIFAワールドカップは、日本時間の7月5日と6日に渡って、ベスト4を決める準々決勝が行われます。2010年に南アフリカで開催されたワールドカップでは、ドイツの水族館で飼育されていたマダコのパウルくんが、予想した全8試合を全て的中させ話題を呼びましたが、2014年はGoogleが世界中から集められたビッグデータを使って勝敗予測をぶち上げ、なんと決勝トーナメント1回戦の勝敗全てを的中させ、次に行われる準々決勝の勝敗予測を公開しています。 Google Cloud Platform Blog: Google Cloud Platform goes 8 for 8 in World Cup predictions http://googlecloudplatform.blogspot.ch/2014/07/googl
先日リニューアルされた「はてなブックマーク」。 大幅なデザイン変更に対し、ネット上では賛否が分かれているようです。 【参考記事】 ・はてなブックマークのリニューアルがいけてない5つの理由 - enator's blog ・はてブリニューアル賛成論 個人的には「あぁ、見づらくなっちゃったな…」と感じましたが、何となく不満を訴えても仕方がないので、今回はその原因をマミオン得意の「アイトラッキング分析」を用いて考えてみることにしました。 綺麗な「F字型」を見せる旧デザインまずはリニューアル前のデザインについて分析ができればよかったのですが、時すでに遅し。代理として、以前のデザインに近い以下のサイトで分析を行ってみました。 Hatebu::Classic - 見慣れたデザインのはてなブックマーク 被験者は、30代男性である筆者1名です。いつものように、ホットエントリーをチェックする行動を行った結果
現地時間の2012年10月1日、日本時間では10月2日にGoogleから新たなWebサイト向けツール「Google Tag ManagerTM」が公開されました。 これはGoogleアナリティクスTMやコンバージョンタグなどといった「HTMLに差し込んで使用するコード」をHTMLから外部化して、一元管理するためのいわゆるタグマネジメントツールです。 今までのGoogleのツールと比較すると少々使い方などが特殊で、人によっては分かりづらく感じる方もいらっしゃるかと思いますのでざっくりとした紹介をしてみようと思います。 「HTMLに埋め込むコード」を一元管理するためのツール 具体的には、外部ツールが生成したコードをまとめる 実際に使ってみよう 使用準備(初期設定) Google Tag Managerコードの埋め込み 既存HTMLから埋め込んでいる他ツールのコードを切り出し 「タグ」と「ルール
「君と僕の関係*1」、というタイトルで、AKB48メンバーブログの“コメント欄”のテキスト分析をしました。 さながら、「ファンレター2.0」、ですよ。すごい世界。ぞくぞく。 きっかけと背景 個人的に、アイドルブログの真骨頂はコメント欄だと思ってて、わりと眺めるのがすきです。甘い愛の言葉も熱い激励の言葉も、クラスの友達かよwってくらい軽くて近くて短すぎるコメントもまぜこぜで、あまりに混沌としていてうっとりします。すてき。距離感がめちゃくちゃ。 今、2011年(データとった当時)のアイドルとファンの関係を知りたくて、ブログの“コメント欄”だけで形態素解析をしました。あっち側の人たちの経営戦略やマネジメントの手腕は誰か偉い人がきっと分析してくれるから、わたしはもっとこっち側の、お祭に加担してる、一緒に踊らされてる人たちのことを知りたい。どんな人がいるんだろう、何を考えているんだろう、どんなことに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く