WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
世界的な人気を誇る乙女ゲームにおける，徹底したデータドリブンによる物語構築術
GAMEBOOKのChief Business Development Officer，Nico Nowarra氏 日本で主に女性に人気のある，いわゆる「乙女ゲーム」というジャンルは当然ながら海外にも存在し，その一部は大きな売上を上げる巨大ジャンルとなっている。なかでも有名なのはビジュアルノベル系のゲームで，プレイヤーはゲーム内で提示される選択肢を選ぶことで異なる物語体験ができるというシステムのものだ。 日本からはあまり見えてこないタイプのゲームだが，このシステムを有するゲームを実際にどう設計し，運用するかにまで踏み込んだ講演がdevcom 2019で行われたので，レポートしたい。 必要に応じてメインプロットも変更 登壇したのはGAMEBOOKのChief Business Development Officer，Nico Nowarra氏だ。GAMEBOOKは多数の乙女ゲームを制作してい
色んな会社の分析チームのことがわかりそうなリンクのまとめ｜樫田光 | Hikaru Kashida
データ分析チームは色んな会社に存在すると思いますが、そういった種々のチームの内情がわかりそうなリンクを会社ごとにまとめてみました。（随時更新） 会社研究などにお使いください。 mercari
DeNAのデータ分析基盤 あらゆるサービスのログを蓄積・分析するインフラの仕組み
DeNAにおける、データ活用の重要性 松木秀憲氏（以下、松木）：よろしくお願いします。「2020年代に向けたDeNAの分析基盤」というタイトルでお話をさせていただきます。松木と申します。株式会社ディー・エヌ・エーのAIシステム部でAIと分析の基盤を担当しております。 なぜ「AI＆分析基盤」という担当になってるかなどを含め、お話させていただきたいと思います。 まずDeNAとAIシステム部という部署について、紹介させていただきます。 DeNAという会社はいろいろなサービスを提供している会社です。そして、自社独自であるいはパートナーさまと一緒に日々多くの価値あるサービスを創出するべく取り組んでいます。それでいて、大規模のインターネットサービスのプラットフォームの構築・運用力も持った会社です。 そのDeNAでのデータ活用ですが、やはりサービスを提供している会社なので、スライド右下の部分ですが、サー
メルカリのデータ分析チームの極意を公開──成長も意思決定もとにかくスピード感重視！ | 【レポート】アナリティクス サミット2018
アナリティクス アソシエーション（a2i）主催で4月18日に開催された「アナリティクス サミット 2018」には、ビジネスの最前線で活躍するデータアナリストが次々と登壇。メルカリの樫田氏は、同社BIチームの運営体制や、その仕事哲学などを解説した。 創業5年でアプリ1億ダウンロード＆3か国展開メルカリは、スマホ1台だけで簡単に個人間売買ができる“フリマアプリ”。売りたい商品の出品はもちろん、購入までをアプリだけ完結させられる手軽さで人気を集めている。 国内でトップ級の知名度を誇るメルカリだが、国際化にも力を入れている。サービス展開国は日本・米国・英国の3か国に合計6つのオフィスを構える。アプリのダウンロード数は全世界で1億件を突破した。 メルカリのアプリが公開されたのは2013年のこと。わずか5年でここまでの規模に成長しただけに、メルカリでデータアナリストを務める樫田氏も「（企業としての）成
良い感じにログを収集するライブラリ、Puree-Swiftをリリースしました - クックパッド開発者ブログ
こんにちは。技術部モバイル基盤グループの三木(@giginet)です。 クックパッドでは、Pureeと呼ばれるiOS/Android/ReactNative向けのログ収集ライブラリを公開しています。 モバイルアプリのログ収集ライブラリ「Puree」をリリースしました - クックパッド開発者ブログ ログ収集ライブラリ Puree の iOS 版をリリースしました - クックパッド開発者ブログ 最近、以前開発されていたPureeをpure Swiftで書き換え、OSSとして公開しました。 この記事では、新しくなったPureeをご紹介します。 概要 クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。 クックパッドのデータ活用基盤 - クックパッド開発者ブログ この仕組みを使い、公開している多くのモバイルアプリからも、1つのログ基盤にさまざまなログを
📚最近弊社で買ったデータ分析入門書📚 - 弥生開発者ブログ
はじめに こんにちは、Misoca開発チームの洋食（yoshoku）です。 Nintendo Switchを自宅近くの電器屋さんに買いに行ったらなかったので、あきらめてPS Vitaを買いました。 ゲームアーカイブスにある、PC Engineの「夢幻戦士ヴァリス」に大満足です。なんで、あんな薄着で戦うのでしょうか。 本の紹介 私はMisocaでは主にデータ分析を担当しています。 社内で参考書リストが欲しい!!というバイブスが上がってきました。 せっかくなので、ブログで世界に共有することにしました。 確率統計・線形代数 scikit-learnとかをたたくだけでも機械学習アルゴリズムを利用することはできますが、 アルゴリズムの特性を理解した上で適切に使う・結果を解釈するには、数学の知識があった方が良いです。 というわけで、復習・自習するために良いかなと思うモノを選びました。 高専生を対象とし
無償のETL Talendで郵便番号と位置参照情報をマージしてみた[前編] | Tech Blog | CRESCO Tech Blog
初めまして。データアナリティクスチームの飯村北海です。 唐突ですが、データ分析を行う上ではいくつか欠かせない手法やツールがありますが、ETLツールのTalendについて記事を書きたいと思います。 皆さんはETLツールという言葉を聞いたことはありますか。ELT（Every Little Thing）ではありません（ちょっと年がバレますね）。ETLとはExtract, Transform, Loadの頭文字をまとめたもので、それぞれの3つの機能を備えているツール（ソフトウェア）のことを指します。 ETLをご存じない方にとって、最初に気になるのはETLとは何をしてくれるものなのか？というところだと思います。Wikipediaによると、ETLのExtract / Transform / Loadとはそれぞれ次のような作業を定義しています。
シェークスピア「ヘンリー六世」は共同執筆、ビッグデータで証明 - エキサイトニュース
［ロンドン ２４日 ロイター］ - 英オックスフォード・ユニバーシティ・プレスが発刊する最新のシェークスピア全集「ニュー・オックスフォード・シェークスピア」では、三部作である「ヘンリー六世」の共同執筆者として、同時代の劇作家クリストファー・マーロウの名が記載される。また、この全集に含まれる４４作品のうち、１７作品が他の作家との共著であることが判明したという。 「ヘンリー六世」執筆でシェークスピアがマーロウと協力した可能性については、憶測や陰謀説を含めて何世紀も議論されてきたが、これまで証明できていなかった。 上級編集員の１人であるゲリー・テーラー米フロリダ州立大学教授は、今回はシェークスピアやマーロウにとどまらず、エリザベス朝時代に書かれた演劇など多数の著作のデータを活用し、特有の単語や、単語の組み合わせを検討したと述べた。 テーラー教授はロイターに「こうしたビッグデータはつい最近まで入手
Pythonで統計学を学ぶメリットは？勉強の手順も解説
Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に
失業率が１％上がると，自殺者は何人増えるか？
「予見せんがために，見る（voir pour prevoir）」とは，オーギュスト・コントの有名な言葉ですが，過去のトレンドから未来を予測するのは，データ分析の重要な仕事です。 アメリカで，経済的理由による自殺者が増えているという記事を見かけましたが，決して対岸の火事ではないでしょう。参院選が間近ですが，日本の政治家さんにも真剣に考えてもらいたい問題です。今や，「格差・貧困」は，わが国の社会状況を言い表すキーワードです。 http://news.livedoor.com/article/detail/11680650/ 私は前に，失業率と自殺率の長期推移のグラフを作ったことがありますが，見返してみると，2本の曲線は気持ち悪いくらい同調しています。失業率が上がれば，自殺率も上がる。こうした共変関係がクリアーです。 あらゆる財やサービスが貨幣を通じて交換される社会では，失業によって収入源を断た
あなただけにそっと教える弊社の分析事情 #data analyst meetup tokyo vol.1 LT
data analyst meetup tokyo vol.1でのLTスライドです． 弊社の分析事情を，私のいままでの経験や主観と比較しながら書いています．
データドリブンはここまで進んでいる！ 先進企業4社が語る効果測定とデータ活用の重要性
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
あきんどスシロー様とAmazon Machine Learningを用いた待ち時間予測の精度向上を実施しました ｜ Developers.IO
株式会社あきんどスシロー様とクラスメソッド株式会社はAmazon Machine Learning(以下、Amazon ML)を用いて、機械学習を用いた店舗混雑時の待ち時間予測の精度向上に取り組んでいます。 直近の取り組みでは、今までの方法では予測が困難であった一部の店舗に対して新手法で予測を行い、精度を向上することができました。今回はこちらの取り組みについて紹介したいと思います。 概要 券売機やスシローアプリなどに表示される入店までの待ち時間を予測するため、チケット情報・店舗の状態などからデータ分析を行い、特徴を抽出した上で機械学習を行いました。 各店舗では既に待ち時間予測のための仕組みが導入されていますが、商業施設内などの一部の店舗ではユーザが他店舗とは異なる行動をするため、別の切り口から予測を行う必要がありました。 今回は、この一部店舗を対象にTableauを用いてチケットデータ等の
アドネットワークのデータ解析チームを支える技術
PyConJP 2015にて発表 https://pycon.jp/2015/ja/schedule/presentation/61/
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
DMMゲームのログ解析~ログ収集と解析の概要~ - DMM.comラボエンジニアブログ
現在オンラインゲームのバックエンド、KPIシステムを担当していますマサヨシです。 今回のブログでは【DMMオンラインゲームで実際に実装しているログとKPI】に関して3回にわたってご紹介致します。 DMMオンラインゲームでは、これまではオンラインゲームのプロジェクトごとに行っていたログの収集方法を統一し、プロジェクトに依存しない基本KPI機能とゲーム独自のKPI機能を実装するためのフレームワークを開発しましたのでその事例をもとにご紹介します。 ログ収集、解析の概要 まず、オンラインゲームのログ収集の全体像をご紹介します。 オンラインゲームのログ収集ではApacheやnginx、PHPのログをfluentdで収集しています。 fluentdに集めたログをHadoopの分散処理システムに保存し、HiveやImpalaで解析をする流れになっています。 ご存知の方も多いと思いますが、HiveとはHD
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セキュリティ診断・検査のGMOサイバーセキュリティ byイエラエ
死にゆくアンチウイルスへの祈り
『データ・スマート Excelではじめるデータサイエンス入門』発売｜株式会社エムディエヌコーポレーション