cookpad storeTV の広告配信を支えるリアルタイムログ集計基盤 - クックパッド開発者ブログ
こんにちは。メディアプロダクト開発部の我妻謙樹（id:kenju）です。 サーバーサイドエンジニアとして、広告配信システムの開発・運用を担当しています。 今回は、cookpad storeTV （以下略：storeTV ）の広告商品における、リアルタイムログ集計基盤の紹介をします。 storeTV における広告開発 storeTV とは？ storeTV は、スーパーで料理動画を流すサービスで、店頭に独自の Android 端末を設置し、その売り場に適したレシピ動画を再生するサービスです。 より詳しいサービス概要にについては、弊社メンバーの Cookpad TechConf 2018 における以下の発表スライドを御覧ください。 storeTV における広告商品の概要 storeTV では、imp 保証型の広告商品を提供予定です。imp 保証型の広告商品とは、例えば「週に N 回広告を表示す
Go言語でオンライン外れ値検出エンジンSmartSifterを実装した
推薦システムにおける被推薦者の文脈把握に向けて確率的な手法での行動分析を検討している．そこで，データマイニングによる異常検知で紹介されていたオンライン外れ値検出エンジンであるSmartSifterの理解を深めるため実装してみた． SmartSifter On-line Unsupervised Outlier Detection Using Finite Mixtures with Discounting Learning Algorithms. This method is proposed by Yamanishi, K., Takeuchi, J., Williams, G. et al. (2004) refs: http://cs.fit.edu/~pkc/id/related/yamanishi-kdd00.pdf SmartSifterはデータの発生分布が時間とともに非定常に
【Day-23】機械学習で使う"距離"や"空間"をまとめてみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed
RedashとRundeckで安全・安心なサービス運用 - KAYAC engineers' blog
Lobiチームの長田です。 今回はLobiチームで使用しているRedashとRundeckというツールについて紹介します。 Redash http://redash.io/ Redashとは Redashはデータベースにクエリを発行するためのダッシュボードです。 複数種類のデータベースに対応しており、それらに対して クエリ発行 クエリ結果を保存 クエリ結果を可視化 することができます。 その場でクエリ発行する他に、間隔を指定して定期実行することもできます。 ブラウザからクエリを定義して、 グラフとして表示したり。 何に使ってるの？ LobiではアクセスログをAmazon Redshiftに取り込み、解析を行っています。 定常的に観察するべき項目については専用の解析処理と結果を保存する仕組みを用意しているのですが、 単発で数字が必要になる場合がたびたび発生します。 このような場合に毎回Red
統計学の基礎の基礎
統計学レクチャー資料です。 全くの初心者が統計学の概要を理解できることをターゲットとした内容となっています。
Infer Static Analyzer | Infer | Infer
A tool to detect bugs in Java and C/C++/Objective-C code before it shipsInfer is a static analysis tool - if you give Infer some Java or C/C++/Objective-C code it produces a list of potential bugs. Anyone can use Infer to intercept critical bugs before they have shipped to users, and help prevent crashes or poor performance.
データドリブンでユーザー体験を改善する試み - クックパッド開発者ブログ
こんにちは。サービス開発エンジニアの出口貴也 (@dex1t) です。 私は4月までユーザーファースト推進室にて、ユーザー体験の数値化や、その下地作りに取り組んでいました。まだ模索段階ではありますが、本エントリにてこの試みの現状をご紹介します。 点だけでなく線も検証する リーンスタートアップのBMLループに代表されるように、サービス開発において、検証のフェーズは非常に重要です。 クックパッドでも、開発と検証はセットで考えられており、施策の良し悪しを指標から判断することは日常的に行われています。 ただ同時に、施策単体の検証だけでなく、施策を実施した結果、サービスを通してユーザーが得る体験がどうなったかを検証することも重要です。 クックパッドで言えば、「レシピを探す」機能 (点) だけを改善するのはもちろん、その前後関係を含め「レシピを探し、レシピを決め、作ってよかった！と思えた」という一連の
何故DeNAがverticaを選んだか？
Kenshin YamadaGeneral Manager, Analytics Infra Department at DeNA
A/Bテストでおかしがちな7つのミス
By Lauren Macdonald 異なる複数のデザインを用意してユーザーの反応を比較することでより優秀なデザインを決定する手法である「A/Bテスト」は、ウェブサイト構築の現場で広く活用されています。そんなA/Bテストを実行する上で、おかしてしまいがちな7つのミスが公開されています。 Seven A/B testing mistakes you need to stop making in 2013 - Visual Website Optimizer Blog http://visualwebsiteoptimizer.com/split-testing-blog/seven-ab-testing-mistakes-to-stop-in-2013/ A/Bテスト専用ツールを提供するVisual Website Optimizer(VWO)は、同社の公式ブログ上でA/Bテストでうまく成
InsightIDR - XDR & SIEM Platform - Rapid7
Unified SIEM and XDR is here InsightIDR is lightweight, cloud-native, and has real world vetting by our global MDR SOC teams. Let’s talk. Change your job without changing jobs Own your entire attack surface with more signal, less noise, embedded threat intelligence and automated response. Anticipate attackers, stop them cold Certain behaviors foreshadow breaches. Static rules can’t match our advan
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
業界最大級のライブチャットDXLIVE
9月14日（水）午前5時～5時30分(日本時間)に、サイトのメンテナンスを行ないます。その間は、一時的にチャットが中断される場合がございます。メンテナンス期間は、作業状況により多少前後することもございます。ご利用の皆様にはご迷惑をおかけ致しますが、ご理解ならびにご協力の程、何卒宜しくお願い申し上げます。 日本時間午後10時30分頃から午前零時頃までの間、チャットに繋がりにくい状態がありましたが、現在は解決しています。ご利用されている皆様には大変ご迷惑おかけいたしましたことをお詫び致します。 9月6日（水）午前4時30分(日本時間)より約1時間、サイトのメンテナンスを行ないます。その間は、一時的にチャットが中断される場合がございます。メンテナンス期間は、作業状況により多少前後することもございます。ご利用の皆様にはご迷惑をおかけ致しますが、ご理解ならびにご協力の程、何卒宜しくお願い申し上げます
解析者として僕が大事にしていること - doryokujin's blog
あけましておめでとうございます。@doryokujinです。今回は技術的な内容ではなく、フロントの解析者・アナリストとして僕が大事にしていること・日々感じていることを書きたいと思います。 このエントリーのきっかけは、最近多くの方から以前の10月に書いたエントリー「解析者の立ち位置」について僕が思うこと。に対して多くの共感のコメントを頂いた事です。この事で僕は今年も解析者として変わらぬ信念を持って、今いっそうの努力を続けていけばよいのだ、やるしかないという決意をもつことができました。コメントを寄せて頂いた皆さん、どうもありがとうございました。 解析者として僕が大事にしていること ここ数年においては、データが大量に蓄積されてきており、それを解析・マイニングするデータ解析者の重要性が理解されるようになってきているように感じています。それは解析者にとって非常に喜ばしいことでもあると同時に、大きなプ
資料屋のブログ - 出生数と中絶数をだらだら並べてみたり。そしたら少妊娠化が見えてきた
出典 「でき婚」出生数及び人口 2004年までは厚生労働省「平成17年人口動態特殊報告」。なお、でき婚出生数は「平均的な結婚週数の場合」の数値である。 2005年以降…人口は総務省統計局「平成17年国勢調査」、及び同局「人口推計」、でき婚出生数は厚生労働省「平成22年度「出生に関する統計」の概況 人口動態特殊報告」によった。 20代母出生数 厚生労働省「人口動態統計」 20代の中絶率と20代女子人口当たりのでき婚出生率、20代の母親から産まれた子の数に対するでき婚出生率をグラフにすると次のようである。なお、中絶率と人口当たりのでき婚出生率は千分率、子の数に対するでき婚出生率は百分率である。それぞれ単位が違うのでグラフをご覧の際はよく注意していただきたい。 出生に占める「でき婚」の割合の増加ほどには人口当たりの「でき婚」の割合は増えていない。でき婚が増えたのではなく出生が減ったのだ。〔201
web-analytics-or-die.org - このウェブサイトは販売用です！ - web analytics or die リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The era of blind faith in big data must end
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon.co.jp: 10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA): 青木峰郎: 本
ベクトルで理解する相関係数
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
