1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
小売業の特徴は、いわゆる｢ニッパチの法則｣（売り上げを支える売れ筋商品は全体の2割という法則）。いかにして売れ筋商品の在庫を把握し、将来の需要を予測して、欠品なく並べ続けるかは生命線だ。 一方、ダイソーの特徴は、取り扱う商品点数が非常に多いことだ。 大創産業情報システム部課長の丸本健二郎氏によると、ダイソーは全世界27カ国で5270店に展開し、新商品は毎月約800。｢均一価格｣は日本と同じだが、価格レンジは各国地域の物価に合わせている。 こういう状況では、｢人間の能力では在庫を把握するのは難しい｣という前提に立って、丸本氏が取り組んだのが、POSデータの統計的解析から個店ごとの需要予測をして欠品をなくす｢自動発注システム｣（2015年導入）だった。 着想後、いくつかの店舗で試験的に導入したところ、着実に欠品率が下がり、｢チャンスロス｣が解消された。
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に - ITmedia NEWS いやーこれはまずい。この件に限らず、「悪いやつをAIで予測する」というのはすなわち 「あなたに似た人が悪いことをしたので、あなたも悪い人と見なします」 ということだからだ。 レストランのランプ たとえばこんな例を考えてみよう。ある街でレストランが強盗に襲われる事件が相次いだ。これを防ぐため、レストランの入口に防犯カメラを設置することにした。このカメラはAIで犯罪者の顔を学習していて、「犯罪を犯しそう」な人間を検知してくれるのだ。 もちろん検知するといってもサイレンが鳴ったりするわけじゃない。あくまで「犯しそう」なだけで、まだ犯罪を犯したわけではないからね。でもキッチンに置いてある赤いランプがピカピカ光って、「要注意人物」が来たことはわかるようになっている。ああこれで安心だ。 …さて、これは本
エストニアの経済通信省と国家情報システム局が提供する「電子政府コードリポジトリ」により、将来的には、セキュリティ上の理由から特に要求されない限り、エストニアのデジタル国家ソリューションのすべてのソースコードが公開され、誰でも使用できるようになると。 Estonia creates a public code repository for e-governance solutions データの再利用を進めるEUでは、オランダやマルタ共和国など、電子政府で使用するソースコードを公開している事例がありますが、総合的な電子政府コードリポジトリ（電子政府ソースコードの再利用サービス）を提供するはエストニアが初めてなのではないでしょうか。これは非常に重要な試みで、一般的な電子政府が最終局面に入ってきたことを意味します。 個人的には、いわゆるGAFA（Google、Amazon、Facebook、App
人気レジャー施設が「現地払いのWeb予約」をやめただけで、売り上げ2.5倍以上に──なぜ？：PANZA宮沢湖（1/3 ページ） PANZA宮沢湖は、2019年4月に埼玉・飯能市にオープンしたアドベンチャーパークだ。施設内では「ファンモック」という空中アスレチックが楽しめる。森の中に張り巡らしたネットの上で揺られながら寝転んだり飛び跳ねて浮遊感を味わったりと、自分なりの方法で過ごせ、子どもから大人まで利用できる。 長引くコロナ禍の中、自然豊かな土地に出掛けて「非日常を気軽に味わえれば」と集まる人も多いだろう。コロナ禍でも人気は絶えず、安定して利用者が訪れている。 このPANZA宮沢湖では、予約システムを見直し「現地払いのWeb予約」をやめたことで、月商が対前年比で平均157％、最高値の月では272％もアップしたという。つまり売り上げが平均して2.5倍以上にもなった。なぜそれほどの効果があった
34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場所のリスクを知ることが、災害から命を守るスタートだから
風俗客とキャスト「性接触の全国ネットワーク」を可視化 口コミ9万件分析で見えた「世界の狭さ」 - 弁護士ドットコムニュース
誰と誰が性的な関係を持ったかという性接触のネットワークはHIVなどの感染症予防のために古くから研究されてきた。一方で、もっとも他人には知られたくないプライバシーに関わる内容ゆえに大々的な調査は不可能とされ、その実態は謎につつまれていた。 しかし2022年11月、静岡大学の守田智教授と長崎大学の伊東啓助教らのグループは、性風俗の口コミサイトに寄せられたレビューをもとに全国規模の「性接触ネットワーク」の構築に成功したと発表した。 その内容はどんなものなのか。守田教授と伊東助教が解説する。 「ネット上で公開されている風俗店のレビューはある人とある人が性的接触をした証拠なわけです。これを使ってネットワークを作れないかと考えました。レビューの中から女性キャストの名前と客のハンドルネームだけを抜き出して、誰と誰がつながっているのかというのを収集しました。 例えばAさんが静岡のお店で働くaさんに対して口
みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。
イントロNetflixは、スマホやPCがあれば、どこでもいつでも、映画やドラマを見放題で楽しむことができます。今年はお家時間が増えたことで、Netflixをより満喫している方も多いのではないでしょうか。実際に、2020年1月〜3月に会員が全世界で1600万人ほど増え、合計1億8000万人を超えています。 Netflixをいくつかの数字で見てみると、さらにその凄さに驚かされます。 ・全世界のインターネット通信量(下り)の15%をNetflixが占めており、YouTubeを超える世界一の動画サービス ・時価総額が20兆円超え ・サブスクリプション収入が月々約1500億円 そんな多くのユーザーを有するNetflixの魅力の１つに、推薦システムがあります。Netflixのホーム画面には、今話題の作品やユーザーにパーソナライズ化されたおすすめの作品が並びます。 Googleの検索と違って、Netfl
高梨陣平 @jingbay 99台のスマホを手押し車で運び、virtualな交通渋滞をGoogle Map上で起こす。この活動によりグリーンで表示された道路を赤に変えることで現実世界に対し、自動車を他の道へ誘導するという影響を与えることが可能だ。 twitter.com/simon_deliver/… 2020-02-03 02:11:44 Simon Weckert @simon_deliver 99 smartphones are transported in a handcart to generate virtual traffic jam in Google Maps. Through this activity, it is possible to turn a green street red which has an impact in the physical world
本Webサイトでは、エムスリー株式会社が保有する医療リアルワールドデータであるJAMDAS（日本臨床実態調査）をベースとした国内患者数に関する推計値と、厚生労働省または国立感染症研究所（NIID）による公表値を掲載しています。 JAMDASデータは、統計処理された集計データとして個人と紐づかない形で医療機関から提供されており、一切の個人情報を含みません。 新型コロナウイルス感染症新規陽性者全数報告に関する厚生労働省からの公表が2023年5月8日をもって終了したため、本Webサイトにおける新型コロナウイルス感染症新規陽性者の公表値の更新も、2023年5月8日分をもって終了しています。 JAMDASは国内約4,100医療機関（2022年12月時点）由来の臨床データに基づくデータベースで、検査結果等も含んだ前々日までの臨床データをリアルタイムに反映しています。 JAMDAS推計値は、医療機関の受
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ダイソー快進撃を支える｢毎晩105億件データ処理｣する需要予測システムはどう生まれたか
「悪いやつをAIで予測する」のがなぜいけないか - yhara.jp
エストニアのデジタル国家ソリューションのすべてのソースコードが公開されます
人気レジャー施設が「現地払いのWeb予約」をやめただけで、売り上げ2.5倍以上に──なぜ？
「NHK全国ハザードマップ」を公開した理由 34テラバイトのデータと格闘 - NHK
データサイエンティスト生活でお世話になった本｜武田邦敬｜Kunihiro TAKEDA
Netflixを支える推薦システムの裏側｜masa_kazama
スマホ99個を１カ所に集めてGoogle Mapsに幻の渋滞を起こし，現実世界の人間の動きを誘導する実験が面白い
新型コロナ・季節性インフルエンザ・RSウイルス リアルタイム流行・疫学情報