データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介したいと思います。 なお、SQLを使ったデータ基盤の監視自体については私の前職のTech Blogで詳細に書いていますので、そちらを参照してください。 SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog 本エントリはこれをベースに「dbtをフルに活用している10Xの環境向けに入れた監視」や「BigQuer
統計不正、懲戒処分の幹部が検証に関与 事務局で中心的な役割果たす：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
基幹統計の不適切処理 最大で年間5兆円程度 過大に計上と試算 | NHK
国土交通省が国の統計の中でも特に重要な「基幹統計」をめぐってデータを二重に計上するなど不適切に処理していた問題で、外部の有識者会議が、統計のデータが最大で年間5兆円程度過大に計上されていたという試算をまとめたことがわかりました。 国の基幹統計の1つで建設業の毎月の受注動向を示す「建設工事受注動態統計」をめぐって、国土交通省は事業者から送られたデータを二重に計上するなど不適切な処理を続けていたことが明らかになっています。 この問題についてデータの復元方法などを検討している外部の有識者会議が、不適切な処理によって統計のデータが年間で最大5兆円程度過大に計上されていたという試算をまとめたことが関係者への取材でわかりました。 過去の調査票はすでに廃棄されたものもあることから、有識者会議は、残っている2020年度の調査票を元に過去のデータを試算し、率にして最大で6.6％程度受注額が過大になっていたと
性欲のピークと性犯罪のピークは20年ズレている
男性の性欲は14～18歳くらいにピークが出て、以降はゆるやかに下がっていく。 変態ピアノ配信者の「ゆゆうた」は、中学生の夏休みにスタンプカードを作って オナニーした回数を記録した結果、200回を超したそうだが、 このような射精回数記録の多くは、中学時代に最高記録が出るものだ。 https://hakusyo1.moj.go.jp/jp/62/nfm/n62_2_6_4_5_2.html しかし上記の「犯罪白書」のデータを見ると、性犯罪者の犯行時年齢は平均38.3歳であり、 「初回」の性非行・性犯罪時の年齢についても、20～29歳が最も多くなっている。 つまり20代で初犯、そこから約20年間に渡って性加害を繰り返すというのが、 「犯罪白書」から見える性加害者の典型例だ。 性欲自体の強さのピーク期と、性犯罪を活発に行うピーク期は、20年ズレている。 思い出してほしい、性欲が最も強かった頃は、性
係長「報告すべき」→上司が消極的 統計不正、検証委が明かした実態：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
統計不正、検査院が国会報告せず 「行間に書き込んだつもり」：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
「永年保存」したデータも書き換え後のもの 統計不正、検証は困難に：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 --><!--株価検索 中⑤企画-->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">
建設統計、19年以前の分は廃棄 GDPへの影響検証、困難に ｜ 共同通信
Published 2021/12/15 21:32 (JST) Updated 2021/12/15 21:43 (JST) 建設業者の受注に関する国の統計調査を国土交通省が書き換えていた問題で、2019年以前の調査票を同省が廃棄したことが15日、分かった。保管期限の2年間を過ぎたためで、同省は「再集計は困難」と説明している。国内総生産（GDP）の算出などに与えた影響の検証は難しくなった。書き換えは毎月、数百から千件程度あった。 3年前に厚生労働省の「毎月勤労統計調査」で不正が発覚、各省庁が点検した後も不適切な処理が続いていた。提出者に無断で書き換える行為は統計法に違反する恐れもある。統計行政を担当する総務省は今後、事実関係などを調べる。
国交省、基幹統計を無断書き換え 建設受注を二重計上、法違反の恐れ：朝日新聞デジタル
建設業の受注実態を表す国の基幹統計の調査で、国土交通省が建設業者から提出された受注実績のデータを無断で書き換えていたことがわかった。回収を担う都道府県に書き換えさせるなどし、公表した統計には同じ業者の受注実績を「二重計上」したものが含まれていた。建設業の受注状況が8年前から実態より過大になっており、統計法違反に当たる恐れがある。 この統計は「建設工事受注動態統計」で、建設業者が公的機関や民間から受注した工事実績を集計したもの。2020年度は総額79兆5988億円。国内総生産（GDP）の算出に使われ、国交省の担当者は「理論上、上ぶれしていた可能性がある」としている。さらに、月例経済報告や中小企業支援などの基礎資料にもなっている。調査は、全国の業者から約1万2千社を抽出し、受注実績の報告を国交省が毎月受けて集計、公表する。 国交省によると、書き換えていたのは、業者が受注実績を毎月記し、提出する
「計91％が緊急避妊薬の薬局販売に反対」→実際は42％だった。産婦人科医会が調査結果について謝罪
Search, watch, and cook every single Tasty recipe and video ever - all in one place! News, Politics, Culture, Life, Entertainment, and more. Stories that matter to you. 「計91％が緊急避妊薬の薬局販売に反対」→実際は42％だった。産婦人科医会が調査結果について謝罪緊急避妊薬の市販薬化をめぐり、日本産婦人科医会が厚生労働省に提出した資料がが「調査結果が歪曲されている」と批判を浴びた問題で、同会が謝罪した。当初の資料では「産婦人科医の91％が反対」と結論づけていたが、反対と回答した割合は42％だと訂正した。
「ICU患者」を集計せず 東京都 重症者の“定義”変更
東京都の重症者は31人だったが、以前は人工呼吸器や人工肺(ECMO)をつけないICU(集中治療室)の患者も重症者に集計していたが、現在は集計していないことがわかった。 都内の重症者は、4月下旬に最多の105人になったときは人工呼吸器の使用者、人工肺(ECMO)の使用者、ICU(集中治療室)の患者を重症者として集計していた。 18日の都内の重症者は31人だが、現在は、人工呼吸器やECMOを使用していないICUの患者は重症者に集計していないことがわかった。 都の担当者は、「現場の意見を聞きながらこういう定義にさせてもらっている」と話している。 一方、重症者が東京都より多い65人となっている大阪府は、ICUの患者も集計に含んでいる。
厚労省調査によるホームレス数の推移について - 電脳塵芥
※減少率の話を少し書き変えました。書き換え前は安倍政権と民主党政権の期間の長短を考慮していなかった為、少し比較として不適切でしたのでその部分を修正。 というツイートがあったのでホームレス数の話でも。ちなみに別のツイートやリンク先では下記のグラフを引用されておりその推移が示されています。 なお、この「ホームレスの実態に関する全国調査」は調査月が各年の「1月」となっています。安倍政権は2012年12月26日発足となり、実質的には2013年からのその政権が始まっています。2013年1月時点での調査においては安倍政権による政策効果というよりも民主党政権の効果と考えた方が妥当であり、2013年を起点としますが2013年は前年からの削減率には入れないこととします。 で、安倍政権におけるホームレス数推移は、 【安倍政権下でのホームレス数推移】 2013年（0年目）：8265人 累計削減率 0% 2014
なぜ分散は２乗の和なのか - 小人さんの妄想
Ｑ．なぜ分散は、単純な差（偏差の絶対値）ではなく、差の２乗を計算するのか？ Ａ．分散を最も小さくする点が平均値だから。（単純な差を最も小さくする点は中央値となる。） “分散”というキーワードは統計学の基礎中の基礎であり、どんな教科書にも“平均”の次くらいに載っていることがらです。 しかしながら、いきなり登場する“分散”の意味が分からず、統計学の入り口で挫折する人は少なくありません。 偏差の２乗の平均、つまり、各値と平均との差の２乗の平均を分散といい、 分散の平方根の正の方を標準偏差という。 統計で、ちらばりを表すものとして、標準偏差や分散が多く用いられる。 -- 高校の教科書（啓林館）より. 教科書にはこのように書かれているのですが、これで分かった気になるでしょうか。 ・なぜ、差の２乗を計算するのか？ ・差そのものであってはいけないのか？ ・なぜ、分散と標準偏差の２種類があるのか？ 最後の
結局、機械学習に必要な数学ってなに？
前置き# 記事がはてぶ炎上して恥ずかしい思いをしたので、結構書き直しました。 この記事よりも良質な記事を参考記事に列挙したので、このページをブックマーク集だとして、他のページを参照していただければと思います。 はじめに# 機械学習を勉強するにあたって、 ベースとなる数学を勉強したいというモチベーションが高まってきた。なぜか？それは、今まで数学的な知識なしに勉強を進めていたのたけれども、論文が読めなかったり、少し数式で込み入ってくると、とたんにわけがわからなくなったからだ。 しかし、一番のモチベーションは、やっぱり機械学習を勉強するものとしての登竜門、PRML(パターン認識と機械学習)を読みたいというものがある。 参考記事# そこで、機械学習のために必要な数学を調べてみたのだが・・・どのサイトをみてもこれはというものがみつからないのだ。 2017年現在で、有益な記事をできるかぎり集めてみた。
「ヤフコメ」と「はてブコメント」の違い。テキストマイニングより見えてきたもの - プリキュアの数字ブログ
（プリキュアにあんまり関係ない記事です。興味ない方はスルーして下さい。） 先日（4/13）、当ブログを紹介していただいた朝日新聞withnews様の記事が、（数時間ですが）ヤフーのトップに掲載されました。 娘がプリキュアに追いついた日… 父のブログに涙する人が続出 当たり前の日常の中にある愛情、著者に聞く （withnews） - Yahoo!ニュース さすがにヤフーのトップ、記事中に直接リンクが貼ってあったわけではありませんが、多大な反響があり、その1日だけで「イワオ～キン骨マンの超人強度」くらいにはＰＶを頂きました。 はてなブックマーク、ツイッター含め、沢山のコメントを頂きまして、本当にありがとうございました。 すべてのコメントを読まさせていただきました。 その全てが、ありがたく、身に染みるものでした。 で、今回「ヤフーのトップニュースに載る」ことにより、 「自分のブログ記事の内容が”
富裕層の海外資産２．５兆円 NHKニュース
日本人の富裕層が海外に持つ資産は少なくとも２兆５０００億円に上ることが、国税庁のまとめで初めて明らかになりました。 これは海外に５０００万円を超える資産を持つ人が、毎年の確定申告の締め切りまでに資産の内容を申告することを義務づけた「国外財産調書制度」がことしから始まったのを受けて、国税庁がまとめたものです。 それによりますと、去年末の時点で５５３９人が、海外に合わせて２兆５１４２億円、１人当たりにすると４億５０００万円を超える資産を持っていることが分かったということです。 財産の種類別では、株などの有価証券が１兆５６０３億円と全体のおよそ６２％を占め、次いで預貯金の３７７０億円で１５％、建物が１８５２億円の７％、土地が８２１億円で３％などとなっています。 このほか、骨董品や貴金属といった「その他」の資産が２３９６億円に上りました。 国税庁によりますと、こうした日本人の富裕層が海外に持つ資産
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Masa 🇬🇧 on Twitter: "一昨年、統計学もプログラミングもまともに勉強したことがなかったので両方学べるcouseraの↓のコースを履修しました。統計、数学の知識がなくても学べ、直感的な説明で分かりやすかった。英語だけどたしか日本語字幕もあったはず。統計学の… https://t.co/3EaasdwS0g"
内閣支持率、調査手法で数値に差 「重ね聞き」が影響 - 日本経済新聞
大阪府警:犯罪８万件報告せず ２８０人処分 - 毎日新聞