1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
宮崎県の統計システムの公募がすごい。
宮崎県から出された公募が前代未聞な形で話題になっています。github にプロトタイプが公開されている他、技術的に「分かっている」人が書いた感が漂っており、多くの人の興味を引いています。 さらに、これを書いた職員は実は生え抜きの公務員で、独学でプログラミングを学んだとか・・・
人身事故が起きた全国130万件分の地点を日本地図に置き、あなたの近くに潜む危険な場所を可視化しました。各地の小さな交差点で交通事故が多発していることも明らかに。
小売業の特徴は、いわゆる｢ニッパチの法則｣（売り上げを支える売れ筋商品は全体の2割という法則）。いかにして売れ筋商品の在庫を把握し、将来の需要を予測して、欠品なく並べ続けるかは生命線だ。 一方、ダイソーの特徴は、取り扱う商品点数が非常に多いことだ。 大創産業情報システム部課長の丸本健二郎氏によると、ダイソーは全世界27カ国で5270店に展開し、新商品は毎月約800。｢均一価格｣は日本と同じだが、価格レンジは各国地域の物価に合わせている。 こういう状況では、｢人間の能力では在庫を把握するのは難しい｣という前提に立って、丸本氏が取り組んだのが、POSデータの統計的解析から個店ごとの需要予測をして欠品をなくす｢自動発注システム｣（2015年導入）だった。 着想後、いくつかの店舗で試験的に導入したところ、着実に欠品率が下がり、｢チャンスロス｣が解消された。
政府がマイナンバー（個人番号）カードを活用して2020年度に実施するポイント制度の概要が1日、分かった。10月の消費税増税対策で、一部自治体が独自発行する「自治体ポイント」の拡充を検討していたが、変更して全国共通にするのが柱。民間のスマートフォン決済事業者と幅広く連携し、利用者がスマホに入金すると、地域を問わず使えるポイントを国費で上乗せする。20年10月に始め、入金2万円に対して5千円分（25％）を提供する案が有力だ。 本人認証やポイント管理にマイナンバーカードのシステムを使う点は変わらず、利用はカード取得が条件だ。
息子が爆誕しました！ 「くらしとココロに、彩りを。」でお馴染みのLideaをご覧の皆さんこんにちは。 ライターのヨッピーです。 今日は皆さんにお知らせがあります。 実は……、 かわいいかわいい息子が爆誕してしまいました。本当にありがとうございます。 「お前に息子が誕生したことと、くらしとココロの彩り、何が関係あるの？」と聞かれれば「さあ？」としか答えられないのですが、息子氏が爆誕したことによって、酒をかっ食らってゲームをして寝るだけみたいな、荒れた日々を送ってきた僕ですら家事だの育児だのを頑張るようになってくらしに彩りが出てきました。 実は僕、子どもが生まれる前から、Twitterなんかで「育児、大変！」「子育ては地獄や！」みたいな意見がたくさん流れてくるのを見ていたので、子どもが生まれることに対してかなりビビっており、爆誕前から育児本を読み、時短家電を買いあさり、義両親の手を借りるため義
【シリコンバレー=奥平和行】米グーグルがインターネットの閲覧履歴などを保存する「クッキー」の利用制限に向けた取り組みを加速する。広告主と協力し、代替技術の試験的な運用を4月に始める方針だ。消費者のプライバシーに対する意識が高まるなか、ネット広告の効率維持との両立を目指す。プライバシーなどを担当するグループプロダクトマネジャーのチェトナ・ビンドラ氏が25日、ブログを通じて代替技術の開発状況につい
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」
「西側諸国を支援するために立ち上げた」 2019年秋のある晴れた火曜日の午後、パリのリュクサンブール公園でアレックス・カープ（53）が太極拳をしていた。青のナイキのスウェットパンツに、青のポロシャツ。靴下はオレンジで、スニーカーはチャコールグレー。赤のアクセントが入った白縁のサングラスが、彼の最大の特徴である天に向かって逆立つゴマ塩の髪を引き立てていた。 栗の木の木陰でカープは太極拳と気功の一連の優雅な動きをする。体をひねったり、向きを変えたりするたびに足元の小石や土がわずかに動いた。その姿を、近くにいた10代の若者たちが面白そうに眺める。 10分ほど、そうやって体を動かした後、カープは近くのベンチに行った。そのベンチにはボディーガードの一人が置いた楽器ケースのようなクーラーボックスがある。 ケースにはカープが愛飲するドイツのノンアルコールビールの瓶も数本入っているが、いま中から取り出した
「運賃4割引き」「グリーン車無料」JR東日本が銀行参入で“豪華特典” 専門家「太っ腹だが…いつまで特典続くか」｜FNNプライムオンライン
9日、JR東日本が参入したのは銀行。新たにスタートしたインターネット銀行サービス「JRE BANK」が、豪華な特典を得られると話題を呼んでいる。 特典１「片道料金４割引き」 「JRE BANK」の注目の特典の1つ目は、50万円以上預金するなどの条件を満たせば、JR東日本の路線内で「片道料金が4割引」となるというもの。 この記事の画像（16枚） 例えば、東京駅から新青森駅まで新幹線で旅行した場合、指定席の片道運賃は一人約1万7500円。これが4割引きとなると、運賃は約1万500円と、約7000円の割引となる。 この割引について街の人からは、「かなり（割引が）大きい！」「ねぶた祭とか見てみたい」「“ちりつも”で、いつか年に1回の旅行とか使うチャンスがあれば使いたい」といった声が聞かれた。 特典2「グリーン車無料」 特典の2つ目は、「グリーン車の無料」だ。 こちらも預金残高が50万円以上あるのが
11日までの3連休の人出について、2回目の緊急事態宣言が出ている1都3県の各地で分析したところ、いずれも先月の土日・祝日より減少したものの、去年の1回目の宣言時を大幅に上回ったことがビッグデータの分析から分かりました。 NHKは、IT関連企業の「Agoop」が利用者の許可を得て個人が特定されない形で集めた携帯電話の位置情報のデータを使って、1都3県の主要な駅周辺や繁華街の3連休中の人の数を分析しました。 分析した時間は ▽駅周辺が日中時間帯の午前6時から午後6時 ▽繁華街は夜間帯の午後6時から翌午前0時です。 主要駅周辺の人出 その結果、主要な駅周辺の人出は、いずれも先月の土日・祝日の平均より5％から40％近く減少していたものの、去年の緊急事態宣言時の土日・祝日の平均と比べると2倍以上に増えていました。 このうち東京駅は、先月と比べて38％減少しましたが、去年の宣言時と比べるとおよそ2.4
Google アカウントのストレージポリシー変更について
Gmail、Google ドライブ、Google フォトは、世界の数十億人のメール、ドキュメント、写真、動画などを安全に保存して管理するお手伝いをしています。そして今、かつてないほど多くのコンテンツがアップロードされており、Gmail、ドライブ、Google フォト全体で、1 日 にアップロードされるデータの容量は 430 万 GB 以上にのぼります。 今後増え続ける需要に対応し優れたストレージの利用体験を継続して提供するためストレージポリシーの変更を行います。本変更は、Google フォトと Google ドライブ（Google ドキュメント、スプレッドシート、スライド、図形描画、フォーム、Jamboard ファイル）に適用されます。さらに 2 年以上使用されていないアカウント 及び、2 年以上ストレージ制限を超えた状態が続いているファイルについても、新しいポリシーを本日公開します。これ
As global communities responded to COVID-19, we heard from public health officials that the same type of aggregated, anonymized insights we use in products such as Google Maps would be helpful as they made critical decisions to combat COVID-19. These Community Mobility Reports aimed to provide insights into what changed in response to policies aimed at combating COVID-19. The reports charted movem
最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
リクナビ問題、なぜ「脱法」サービスが生まれたのか
新卒採用に応募した学生1人ひとりの選考離脱率や内定辞退率の予測スコアなどを契約企業へ提供していたことが発覚した就職情報サイト「リクナビ」。この問題に関して、運営会社のリクルートキャリアは2019年8月22日、学生会員向けにおわびのメールを配信した。 リクナビは毎年会員を更新しており、2019年3月から運用しているのは「リクナビ2020」、前年は「リクナビ2019」だ。スコア算出の対象者である7万4878人の大部分はリクナビ2020の会員だが、リクナビ2019の会員が1万2330人いる。 ところがおわびメールを送った相手はリクナビ2020の会員のみで、リクナビ2019の会員には送っていないという。学生がスコア算出の対象者に自分が含まれるかどうかを調べる特設サイトも、リクナビ2019会員は対象外である。 同年8月26日にリクルートキャリアが開いた記者説明会で、同社の小林大三社長は「問題の根本は
ビッグデータの外部提供が広がる | NHKニュース
ＩＴ大手のヤフーは、インターネットで検索されたことばなど、大量のビッグデータを外部に販売する新たなビジネスを始めました。個人は識別できないということで、商品開発などに向けてビッグデータの活用が広がりそうです。 専用のウェブサイトで調べたいキーワードを入力するとそのことばを検索している人の性別や年代ごとの動向や、一緒に検索されたほかのことばなどが分かり、商品開発や価格設定といったさまざまな活用方法があるとしています。 記者会見したヤフーの川邊健太郎社長は「個人情報の保護を第１とし、より使いやすいもの、効果があるものにアップデートを繰り返し、事業の柱にしていきたい」と話していました。 ビッグデータをめぐってはＮＴＴドコモが携帯電話の基地局の情報をもとにどの地域にどのくらいの人がいるかを示すデータを有料で提供しているほか、楽天もネット通販の購買情報を分析したビジネスを展開するなど、活用が広がって
Big Data is Dead
For more than a decade now, the fact that people have a hard time gaining actionable insights from their data has been blamed on its size. “Your data is too big for your puny systems,” was the diagnosis, and the cure was to buy some new fancy technology that can handle massive scale. Of course, after the Big Data task force purchased all new tooling and migrated from Legacy systems, people found t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全国130万件の交通事故マップ-みえない交差点-プレミアムA：朝日新聞デジタル
ダイソー快進撃を支える｢毎晩105億件データ処理｣する需要予測システムはどう生まれたか
政府、全国共通の新ポイント発行 マイナンバーカードを活用 ｜ 共同通信
17万人の育児データから、赤ちゃんの特長や個人差について調査してみた | Lidea(リディア) by LION
Google、脱「クッキー」加速 4月から広告主と試験運用 - 日本経済新聞
GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック（構造化データ加工編）
給料の大半が家賃に消えてしまう…日本の住宅政策は大丈夫か？ 藤田孝典さん持論 - 弁護士ドットコムニュース
3連休 1都3県の人出 前回の緊急事態宣言時を大幅に上回る | NHKニュース
COVID-19 Community Mobility Report
BigQuery と Snowflake を徹底比較