数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
第4回 BBRの出現 | gihyo.jp
バッファサイズ増加とバッファ遅延増大 近年、ルータやスイッチ等のネットワーク機器に搭載されるバッファメモリのサイズが増加してきました。この主な要因としては、メモリの低価格化が進んだことが挙げられます。またネットワーク機器に限らず、メモリサイズは大きい方が良い、という通念が主流となってきたことも大きく影響しているでしょう。ネットワーク機器のバッファサイズが大きくなることで、パケット廃棄が起こりにくくなるという利点があります（図1）。すなわち、ネットワーク機器に一度に大量のパケットが到着した場合にも、それらのパケットをメモリに蓄積しておき、順番に送出することができるようになります。 図1 バッファサイズとパケットロス しかしながら、バッファサイズが大きくなることによる弊害もあり、それがバッファ遅延の増大です。バッファ遅延の増大によって生じる遅延の増加現象はバッファブロート（Bufferbl
管理不備と報じられたLINEの問題についてまとめてみた - piyolog
2021年3月17日、日本国内のLINE利用者の個人情報に対し、国外から技術者らがアクセスできる状態にあったにもかかわらず、規約上で十分な説明が行われていなかったと報じられました。ここでは関連する情報をまとめます。 何が問題と報じられたのか LINEの（主に日本国内利用者における）個人情報保護管理の不備が報じられた。報道で問題として指摘されたのは国内LINE利用者の個人情報移転先である国名の明記。移転先やアクセスを行う国名は原則として明記を行った上、利用者から同意を得るよう個人情報保護委員会が求めていた。 LINEは利用者へ国外で一部利用者情報を取り扱っていたことについて十分な説明ができていないと判断。利用規約において、「利用者の居住国と同等のデータ保護法制を持たない第三国に個人情報を移転することがある」と説明するも国名までは明記していなかった。 今回は管理不備とされる問題が報道で指摘され
ユーザーページをリニューアルしました - Qiita Blog
※こちらの機能について2020/03/25にリリースしたユーザーページについて、現在の状況を共有いたしますを公開いたしました。 早急に「読んだ記事」の取り扱いに関する社内協議を全力で進め、適切に対応していく所存でございます。 こんにちは、Qiita開発チームのgetty104 です。 最近サウナにはまっていて、疲れた時にはだいたいサウナで整いながら物思いにふけっています！ さて、今回はユーザーページがリニューアルされたことをご連絡します。 よりアイデンティティを発見、表現できるページへ今までのユーザーページはあまり自己表現には向いていなかったと思います。 今回のリニューアルでは、より「どんなエンジニアなのか」を自分自身で見ても気づきを得られ、他の人が見れば自分がどんなエンジニアなのかがわかるページを目指しました。 新しいユーザーページのUIは以下のようになっています。 また、新しいユーザー
データ利活用を促進するメタデータ
ヤフーのメタデータ可視化の取り組みについて紹介します。メタデータを３つのlayerに分類してそれぞれの課題と対応について説明します
エラーページ - ヤフー株式会社
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
アベノミクスの「成果」を示すデータ集 - モノシリンの３分でまとめるモノシリ話
さて，選挙も近づいてきたということで，アベノミクスの成果を示すデータを貼り付けていこうと思う。 選挙のたびに「経済」が強調されてきたのだから，有権者にとってアベノミクスの成果を確認することは必要不可欠である。 まずはツイッターで盛大にバズったこのグラフから。アベノミクス前の2012年を100とした賃金と物価と消費の推移である。 データ元：厚労省，総務省 消費税増税と円安により，物価が6年間で6.6％も上がった（赤）。 その一方，名目賃金は2.8％しか伸びなかった（青）。 だから実質賃金は，アベノミクス前と比べて3.6％も落ちた（緑）。 そして，実質世帯消費動向指数は9.3％も落ちた（黄色）。 日銀によると消費税増税による物価上昇効果は2％だそうだ。 残りの4.6％はアベノミクスがもたらした円安が最も影響しているだろう。 （なお，2015年に原油の暴落があったおかげで円安による物価上昇の勢い
ネットワーク越しでパイプしたり、あらゆるデバイス間でデータ転送したい！ - Qiita
何を解決したいか？ Mac, Windows, Linux, iPhoneやAndroidのスマホ・タブレットとかのデバイス間でデータの転送したいことがあります。 SlackとかLineとかSkypeとかAirDropとかあっても 送りたい相手と共通して使っているサービスを探す必要とか、 GUIのソフトウェアのインストールが必要とか、 AirDropだとApple系OSである必要 があるなどの転送の障壁があって、GUIが使えないデバイスに送りたいときなどは困ってしまいます。 すでにたくさんのファイル共有系のサービスがありますが、コマンドを使ったCUIベースにあまり親切な設計なものはあまりないと思います。 そこで、上記の問題を解決するために、以下のようなファイル転送の仕組みを作りました。 他デバイス間でデータ転送ができ、 別途ソフトウェアのインストール不要で、 パイプにとても親和性が高くエン
ユーチューブ、アマゾン、ネットフリックスが標的「8社がGDPR違反」制裁金は最大2兆3400億円（木村正人） - エキスパート - Yahoo!ニュース
「私のプライバシーはお前には関係ない」［ロンドン発］個人情報保護活動家でオーストリアの弁護士マクシミリアン・シュレムス氏は18日、世界大手のストリーミングサービス、アップル、アマゾン、ユーチューブ、ネットフリックスなど8社が欧州連合（EU）の一般データ保護規則（GDPR）に違反しているとしてオーストリアのデータ保護機関に申し立てました。 違反が認定されれば最大で2000万ユーロ（約24億9000万円）か、世界での年間売上高の4%という巨額の制裁金が課されます。シュレムス氏によると、8社で計最大約188億ユーロ（約2兆3400億円）の制裁金が課されるそうです。 シュレムス氏と非営利団体「私のプライバシーはお前には関係ない（noyb.eu）」がユーザー10人の依頼を受けて調査を行った結果、構造的な違反を確認しました。 個人データの域外持ち出しを原則禁止するGDPRは5月25日に施行され、その当
pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
『Prestoとは何か，Prestoで何ができるか』 - Arm Treasure Data
トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 Hadoop Conference Japan 2014 以前に告知したHadoop Conference Japan 2014で，弊社Software Architectの古橋が発表しました。 テーマは，Facebookが公開した新しい分散処理基盤，Presto。実はFacebookが彼らの超大規模なデータセットに対してインタラクティブに結果を返せるようにと開発されたものです。開発が始まってまだ2年も経っておりませんが，今ではトレジャーデータを初めとして多くのハッカー達がコミッターとして参加する活発的なプロジェクトに成長しています。 PrestoはHiveやImpalaと同じ「SQL Query Engine」であり，特に数百GBを超える大規模データに対してもインタラクティブなレスポンスを（コンマ0秒以下，遅くて
第1回 データサイエンティストの育成とチーム組成：マスクド・アナライズの道場破り！リアルデータサイエンティスト・中山心太編｜gihyo.jp … 技術評論社
2018年10月30日『データサイエンティスト養成読本 ビジネス活用編』の発売を記念して、「仕事ではじめる機械学習」の共著者としてもおなじみの中山心太氏（ところてん）に、データ分析業界に突如として現れたイキリデータサイエンティストのマスクド・アナライズ氏（マスクド）がデータ分析者の未来について聞きました。 マスクド：中山さんの経歴についてはじめにお伺いして良いでしょうか。 ところてん：私の経歴はいろいろと転々としていて、もともとは情報セキュリティの研究者をやっていました。そこからクラウド部門に移動しました。その後ソーシャルゲーム会社に転職し、技術支援部門的なところでインフラや集計等を行っているうちに、データ分析の仕事をメインに行うようになりました。リリース前のゲームのパラメータ設計を担当するうちに、企画そのものをやり始め、最終的にはゲームディレクターとして働いていました。 そのあとはEC
データ基盤エンジニアの面白さ - 下町柚子黄昏記 by @yuzutas0
データ基盤エンジニアという仕事の魅力について、質問を受ける機会がありました。 何が魅力なのか。どういう面白さがあるのか。どこにモチベーションがあるのか。 せっかくなので自分なりに考えをまとめてみます。 5つの面白さ ざっくりまとめると、データ基盤エンジニア（あるいは：分析基盤エンジニア・データエンジニア）というのは、「主体的に働きやすく」「スキルを(伸ばし/広げ)やすく」「キャリアアップに繋げやすい」仕事だと思います。 1. データ活用担当への第一歩として データ分析や機械学習を仕事としてやりたい。だけど、職務経歴としてはアプリケーション開発やインフラに強みがある。 この立場の人がキャリアをピボットするための踊り場として、データ基盤の担当になることがあります。 持ち前のスキルを活かしてデータ基盤の構築・運用に関わるところから始めます。 データ仕様に詳しくなっていき、徐々に活用側へと染み出し
良心のため960億円の報酬を捨てたWhatsApp創業者ブライアン・アクトン、Facebookとの決別を語る - GIGAZINE
10億人以上のユーザーを抱えるメッセンジャーアプリ「WhatsApp」を育て、2兆円以上でFacebookに売却した後に、8億5000万ドル(約960億円)の報酬受取権を放棄してFacebookを退社したWhatsApp共同創業者のブライアン・アクトン氏が、Forbesの独占インタビューに応じ、WhatsAppをFacebookに売却した経緯や、その後のマーク・ザッカーバーグCEOとの軋轢、なぜFacebookを去ったのか、そして、決して譲ることのできない自身のポリシーなどについて打ち明けています。 Exclusive: WhatsApp Cofounder Brian Acton Gives The Inside Story On #DeleteFacebook And Why He Left $850 Million Behind https://www.forbes.com/site
約60時間を非常用電源設備で乗り切った石狩データセンターの奇跡
2018年9月6日に北海道を襲った震災により、停電状態に陥ったさくらインターネットの石狩データセンターに対し、9月8日ようやく電力供給が再開された。想定を超えた約60時間を非常用電源設備で乗り切り、インフラ事業者としての矜持を見せた石狩データセンターの「奇跡」について、改めてきちんと説明していきたいと思う。 卓越したオペレーション能力で「想定外」を「想定内」に 2011年11月に開設された石狩データセンターは、数多くのサーバーを収容するさくらインターネットの基幹データセンターになる。開設当時はソーシャルゲームの普及でサーバーの需要がうなぎ登りだったほか、環境に配慮したエコなデータセンターが求められていた。こうしたニーズに対応する石狩データセンターは、寒冷地のメリットを活かした外気冷却と東京ドーム1個分に相当する広大な敷地を用いたスケーラビリティが大きな売りだった。私も開設時と増設時で2回ほ
Chrome拡張の高速な英語辞書ツールをつくりました(Mouse Dictionary) - Qiita
経緯 もともとMouseoverDictionaryという素晴らしいFirefox用辞書があったのですが、Quantumの登場とXULの廃止とともに使えなくなってしまったため、自分用にChrome拡張をつくった次第です。 ソースコード 実装に関わる技術寄りの用語: React, esbuild, chrome.storage.local, chrome.storage.sync, Cross-extension messaging, Hogan, debounce, resizable/draggable, intl.v8BreakIterator, deinja, クロスブラウザ, など。 ※詳細は「Mouse Dictionaryの技術的な話」をご参照ください https://qiita.com/wtetsu/items/2a5568cb0b5a38c003fb 使い方 インストール
あまりに暑いので，140年分の気温をProphetで分析した - Qiita
はじめに 統計開始以来最も暑い夏を生きる皆様，お疲れ様です．あまりに暑くてムシャクシャしたので，気象庁から約140年分（1872年1月1日-2018年7月21日）の東京の気温データを入手し，Prophetで分析しました． 以下は，過去365日分の最高気温の実測値と，2018年7月22日から1ヶ月先までの予測値を表したものです． また，以下は，最高気温のトレンドと年単位の周期性を表したものです． 分析の結果，平均・最高・最低気温の全てに関して，1920年付近から上昇し続けており，そのトレンドを考慮してもなお，ここ数日は特に暑いことを確認しました．分析に用いたNotebookはこちらです． 注：本記事は，2018年7月22日に個人サイトに投稿した記事を，Qiita向けに再構成したものです． 環境 macOS Sierra, 10.12.6 Python, 3.6.6 Prophet, 0.3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2
履歴を持つデータの設計
NTT Communications' Initiatives to Utilize Infrastructure Data
