1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
人はミスをする。これは当たり前のことだ。 だからミスしないように準備をするし、仮にミスしたとしても、トラブルにならないように防護策を立てておく。人命に関わるような重大なトラブルになるのであれば、対策は何重にもなるだろう。 個人的なミスが、ただ一つの「原因→結果」として重大な事故に直結したなら分かりやすいが、現実としてありえない。ミスを事故に至らしめた連鎖や、それを生み出した背景を無視して、「個人」を糾弾することは公正なのか？ 例えば、米国における医療ミスによる死亡者数は、年間40万人以上と推計されている（※1）。イギリスでは年間3万4千人もの患者がヒューマンエラーによって死亡している(※2）。 回避できたにもかかわらず死亡させた原因として、誤診や投薬ミス、手術中の外傷、手術部位の取り違え、輸血ミス、術後合併症など多岐にわたる。数字だけで見るならば、米国の三大死因は、「心疾患」「がん」そして
バッチ処理 プラクティス
バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か？」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。
2/28(日) 午前の仕事を終え次の仕事に向かうまでの間、翌日3/1(月)以降の引き落としに備えて入金するため、駅併設の商業施設内に設置されたみずほ銀行ATMで預け入れを行うつもりだった。 12:20頃だったと思う。 【トラブル内容】 ATMから入金するため、 トップメニュー→預け入れ→通帳挿入→現金挿入 →紙幣投入口が閉まったところで取り扱いエラー画面になる …………え？ いや、さっきまで普通の感じで動いてたじゃん！ 故障？故障なの？ ATM画面横の受話器からは繋がらず、画面外左上に設置された受話器からATMセンターへ連絡する。 プルルルル、プルルルル、プルルルル、 ・・・・ッツー、、ッツー、、ッツー、、 何度かけても同じ。 時折、「担当者を呼び出しますのでそのままでお待ちください。〜♪〜」 とアナウンスが流れるも、 「ただいまお電話が混み合っております。しばらく経ってからおかけ直しくだ
#翻訳 https://www.scalyr.com/blog/the-10-commandments-of-logging/ CC BY 4.0 @Brice Figureau 1.自分でログの書き出しをしない printfをつかったり、ログエントリを自分でファイルに書き出したり、ログローテションを自分でやったりしてはいけない。運用担当者にお願いして、標準ライブラリやシステムAPIコールを使うようにしよう。そうすれば、実行中のアプリケーションが他のシステムコンポーネントと適切に連携して、特別なシステム設定なしに適切な場所またはネットワークサービスにログを記録できるようになる。 ロギングライブラリを使いたければ、特にJavaの世界にはLog4j, JCL, slf4j, logbackなど多くのものが存在する。私はslf4jとlogbackを組み合わせて使うのが好きだ。とてもパワフルで、設
通販サイトの「Amazon.co.jp」で、他人の注文履歴が表示されてしまうエラーが、9月26日から一部のユーザーの間で起きているようだ。 Amazon.co.jpで注文履歴を選ぶと、そこに身に覚えのない注文履歴が並んでいるという報告がTwitterなどで相次いでいる。名前や住所なども閲覧できる状態だという。 CNET Japan編集部でも確認したところ、同様の事象が起きているスタッフがいた。東京都内で暮らしているが、届け先の住所が「鹿児島県」になっていた。 アマゾンジャパンに同件について問い合わせたところ「Amazonは、お客様のセキュリティとプライバシーを大変重要に考えています。本件については認識しており、現在調査を進めております」との回答を得た。続報があり次第、お伝えする。 【追記】同社は9月28日9時30分に「本事象は解決し、お問い合わせいただいたお客様にはご連絡をしています」とコ
はじめに 今携わっているプロジェクトで凄腕エンジニアさんと一緒に開発をさせていただいているのですが、その凄腕エンジニアさんから教えていただいた例外の話がとても勉強になり、 さらにこの例外の話を他のプロジェクトのエンジニアさんに伝えたところ、反応が良く、とても勉強になりました！という声をいただけたので、アウトプットしていきたいと思います。 （この記事の中で凄腕エンジニアさんのことはTさんと呼ぶことにします。） ※【凄腕エンジニアさんから学んだ例外の話】の補足 というQiita記事を書きました。 この記事を読み終わった後に疑問が残った人などは補足資料として読んでいただけると嬉しいです。 例外の考え方の源 Tさんの例外の考え方は http://diveintopython3-ja.rdy.jp/your-first-python-program.html#exceptions ↑こちらのPyth
「丁目、番地が全角しか入力できない」「何の入力チェックでエラーが出ているのかわからない」みんながネットでイラつく#クソ入力フォーム選手権 開催中
米村歩@日本一残業の少ないIT企業社長 @yonemura2006 ・丁目、番地が全角しか入力できない ・電話番号が全角しか入力できない ・建物名が全角しか入力できない ・生年月日がカレンダーで果てしなきページ送りを要求される ・何の入力チェックでエラーが出ているのかわからない ・入力チェックエラーになると入力内容が全部消える #クソ入力フォーム選手権 2021-09-06 22:44:39
ここのところちょっと時間に余裕があり、暇を見つけてはQiitaの質問に答えるという取り組みをやっています。以前StackOverflowでも同様の取り組みをちょっとだけしてたことがあります。 9日間で35個の質問に回答してみて、正直に思うのは「質問の質が悪すぎるなー」ということです。ただ、どう質が悪いのか上手く言語化できず悶々としていました。 そんな折、今朝googleのおススメ記事に飛び込んできたQuaraのこちらの回答を読んで、「これこれ！こういうことよ！」という気持ちになったため、これから質問する人に向けてこの内容を少し嚙み砕いてまとめてみます。 ベテランはどうデバッグをしてるのか （自分をベテランと言っていいのかはさておき）日頃からコードを書いていると、デバッグには、その時使っている言語やフレームワークによらず、ある程度の行動パターンがあることに気付いてきます。 デバッグには難しい
フロント開発を炎上させてしまった話
はじめに お久しぶりです、皆様のサンドバックが帰ってまいりました。 投稿ができていない期間、Nuxtにボコボコにされて裸足で逃げ出し、逃げた先のReactにも強烈な左カウンターをお見舞いされました。 本来であれば、このような場所に投稿することすらはばかられる内容ですが、敢えて書きましょう。 私はフロント開発を炎上させた愚か者です。 なぜ今懺悔するのか Twitterでこんな投稿を見ました。 確かに、実務で得られる経験は、とても大きく得難いものです。 当然、ご迷惑をおかけしてしまうことは、だれであろうとあるでしょう。 ただし、その「ご迷惑」の大きさについて、我々は知っておかなくてはなりません。 見えている地雷を踏んでしまうようなモノ好きもいないでしょう。 特に、この手の地雷は強力ですからね。 塵となって吹き飛んだ私の命が、新たな浅瀬の民の糧となることを祈っています。 具体的に何が起こったのか
Ｓ Ｕ Ｚ Ｕ@旅パッキングand客力の磨き方 @suzukyuin ヒューマンエラーの勉強をすると「気をつける」は対策ではありませんと、教え込まれるので。全てのものにフールプルーフ＆フェールセーフをするようになるので、エラーが減ります。 エラーする人は自分を信じすぎでは？って思ってる。 2020-06-18 21:21:45 Ｓ Ｕ Ｚ Ｕ@旅パッキングand客力の磨き方 @suzukyuin 得にルーティーンで決まってることの途中でイレギュラートラップ（例えば話しかけられる、電話かかってくるとか途中の流れをインターセプトされる状況）が起きると、全部スッこ抜けて大事故につながるエラーを起こすので、そう出来ない仕組みを作るとかね。 とにかく「人は間違える」って思うの大事 2020-06-18 21:24:36 Ｓ Ｕ Ｚ Ｕ@旅パッキングand客力の磨き方 @suzukyuin とんでもな
分かると、実に、おもしろい！ QRコードの仕組み
少しマニアックな知識、QRコードの仕組みを紹介します。 QRコード決済、リンクをQRコードで提供するなど、日常的に使用されているQRコードにあるそれぞれのパターンがどのように機能しているか、どういう役割をしているのか、なぜ上下逆さにしても読み取れるのか、なぜ一部が隠されても読み取れるのかなどが分かります。 QR codes by Dan Hollick (@DanHollick) 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 はじめに QRコードの仕組み 終わりに はじめに QRコードがどのように機能しているのか、疑問に思ったことはありませんか？ 控えめに言って、実に、おもしろい！ 注意: この記事⬇では非常にマニアックな内容が含まれています。 QRコードの仕組み QRコード（Quick Response code）は自動車部
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ミスを責めるとミスが増え、自己正当化がミスを再発する『失敗の科学』
みずほ銀行ATM障害で通帳と現金25万が吸われたまま仕事も飛んだ話｜まるやあかね
ロギングベストプラクティス - kawasima
アマゾンで他人の“注文履歴”が見えてしまう状態に--同社は「現在調査中」
凄腕エンジニアさんから学んだ例外の話 - Qiita
Qiitaの質問に答えまくって気付いた初心者に足りないバグ解決スキル - Qiita
「エラーする人は自分を信じすぎでは？」ヒューマンエラーの勉強で得た、「気をつける」は対策ではないという考え方