1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
Classiで発生した2つの問題を繰り返さないために我々が取り組んでいること - Classi開発者ブログ
はじめに こんにちは、Classiの佐々木（@sasata299）です。前回の投稿からだいぶ間が空いてしまい、季節はすっかり秋になってしまいました。 この期間、Classiでは外部の攻撃者による不正アクセス（4月）があり、また、サービスの高負荷によるアクセス障害（4月・5月）が続くなど、利用者の方々には多大なるご心配とご迷惑をおかけしました。この9月までClassiのCTOとしてサービスとお客様に向き合ってきた立場として、改めてお詫びを申し上げます。 本記事では、この2つの問題について改めて振り返りると共に、当時の状況と今我々がどのように対策を進めているのかについてお伝えします。 （※当社のCTOの変更については、後日改めて記事を出す予定です） 外部の攻撃者による不正アクセスが発覚（4月） 「Classi」は、学校現場の多様なシーンで活用されるクラウドサービスです。スマートフォン・タブレッ
「飛行機を自ら設計し、作り、乗って飛ぶ」 一流の航空機設計者を目指す技術者の挑戦（ROKKO WORKS）｜CEMEDINE Style｜セメダイン株式会社
HOME ものづくり 「飛行機を自ら設計し、作り、乗って飛ぶ」 一流の航空機設計者を目指す技術者の挑戦（ROKKO WORKS） ものづくり 2019年10月16日 「飛行機を自ら設計し、作り、乗って飛ぶ」 一流の航空機設計者を目指す技術者の挑戦（ROKKO WORKS） 貰った名刺には「宮内空野」とあった。 「そらの、と読みます。変な名前でしょ。父も母も空が好きだったので……」と、宮内さんは言う。 変などころではない。これほど相応しい名前を持つ人もめずらしい。なぜなら、彼は今、自分達の飛行機を作ろうとしているのだから。 ROKKOW WOKKS代表 宮内空野さん 宮内さんの名刺には、「新明和工業 航空機事業部」と書いてある。新明和は航空機事業部を擁し、海上自衛隊向け救難飛行艇「US-2」を製造する会社だ。では宮内さんの「自分達の飛行機」とは、新明和の新製品なのか。 そうではなかった。神戸
LINE社内で大評判のテクニカルライティング講座で説明した内容をあらためてブログにまとめてみた
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、Developer Contentチームの矢崎です。LINE株式会社でテクニカルライターとして働いています。今日は、私が1文を書くときに気をつけていることや手法についてお話しします。 そして、この書き出しは、6月にmochikoさんが書いた「LINEの社内には「テクニカルライティング」の専門チームがあります」という記事のオマージュになっています。mochikoさんが書いた記事ですごいpvをたたき出したそうなので、人のふんどしで相撲を取ってみようという作戦で始めてみました。 この記事ではLINE社内で私が講師を務めた「LINE社内で大評判のテクニカルライティング講座」に沿って、わかりやすい1文を書くコツを紹介していま
LINE社内テクニカルライティング講座第2弾！1文では説明が終わらない文章を書くコツ
こんにちは、Developer Contentチームの矢崎です。LINE株式会社でテクニカルライターとして働いています。先日、このLINE Engineering Blogで「LINE社内で大評判のテクニカルライティング講座で説明した内容をあらためてブログにまとめてみた」というタイトルで、1文を書くときに気をつけていることや手法について紹介しました。 前回の記事を簡単にまとめると「たくさんの文案を書いて、一番良さそうなものを選択することがとても大切です」という話を多くの例文を使って説明しました。まだ読んでいない方はぜひ読んでみてください。 今回の記事は、第2弾です。次のステップとして「1文では説明が終わらない文章をどのように組み立てていくとわかりやすいか」という話を、以下のような文章を例に説明していきます。 ここでは、このくらいの情報量の文章を「トピック」と呼びます。 第2弾を最後まで読む
一体なぜ鋭くて硬いはずのカミソリの刃がヒゲを剃っただけで鈍ってしまうのか？
カミソリやナイフの刃はステンレス鋼などの硬い材料で作られており、時にはダイヤモンドライクカーボンなどのさらに硬い材料でコーティングされています。そんなカミソリやナイフの刃が、金属よりずっと柔らかいヒゲや野菜を切っただけで鈍ってしまう理由を、マサチューセッツ工科大学の研究チームが突き止めました。 How hair deforms steel | Science https://science.sciencemag.org/content/369/6504/689 Why shaving dulls even the sharpest of razors https://phys.org/news/2020-08-dulls-sharpest-razors.html 人間の毛はカミソリの刃より50倍も柔らかい素材ですが、それにもかかわらずカミソリの刃は使い続けると切れ味が鈍り、交換しなければい
2010年代に日本のインターネットでいろんな事業をいい感じにやってきた会社から2020年代へのヒントをもらえる本を作った - golden-luckyの日記
半年ぶりの新刊です。『Engineers in VOYAGE ― 事業をエンジニアリングする技術者たち』です。紙とPDFがセットになった直販サイトはこちら。 Engineers in VOYAGE ― 事業をエンジニアリングする技術者たち（紙書籍＋電子書籍） https://www.lambdanote.com/products/engineers-in-voyage さて、今回の新刊、いろいろ疑問を呼ぶタイトルかもしれません。 「なぜ VOYAGE GROUP？」 「なぜ t_wada？」 「なぜ宇宙船？」 「答えは本書で！」と言って済ませることもできるのですが、ここで少し「個人的」なふりかえりをして何となく答えた気分になっておこうと思います。 なぜ VOYAGE GROUP？ なぜ t_wada？ なぜ宇宙船？ で、結局のところどういう本なの？ 気合い入ってます なぜ VOYAGE G
DXって何じゃらほい？或いは2025年の崖っ淵に向かって熊とワルツを踊る刹那について｜楠 正憲（デジタル庁統括官）
何週間か前のこと、急にエンプラっぽくないAIベンチャーの社長さんからメッセで飲みに誘われ、秋葉原の焼き鳥屋さんでDXとやらについて聞かれて、とりあえずこのレポート読んどけと返しつつも考えちゃった訳です。Direct Xとか、よくテレビに出てるマツコの方じゃなくて「2025年の崖って実際どうなんだ？」とか何とかオッサンたちから相談される話あるじゃないですか。あれって何なんですかね？オンプレをクラウドにリフトしたらDXなのか。華麗にk8sやらコンテナ使いこなしてCIパイプライン組み立ててテスト自動化したらDXなのか、だいたいDigital Transformationなのに、どうしてDXなのか。SAP R/3とCOBOL PL/Iを捨てて、どこぞのSaaS入れてSparkぶん回してPythonとか書いたらDXなのか。おいおい、そんな話だっけ？って心配になっちゃう訳です。 内製内製って簡単に言う
高度に発達したシステムの異常は神の怒りと見分けがつかない - IPSJ-ONE2017 - ゆううきブログ
名古屋大学で開催されたIPSJ-ONE2017 で登壇しました。 IPSJ-ONEというのは、情報処理学会の各研究会から選ばれた日本の若手トップ研究者17人が集まり、自身の研究を高校生でもわかるように発表するイベントです。 1000人ぐらい入る講堂で、しかもニコニコ生放送で配信されるというとても大掛かりなイベントです。 ちなみに、昨年は、同じ研究会からの推薦で、 id:matsumoto_r (matsumotory) さんが登壇されています。 IPSJ-ONE 2016で登壇してきた - 確実に時代は変わってきている #ipsjone - 人間とウェブの未来 発表 「高度に発達したシステムの異常は神の怒りと見分けがつかない」という、一見何の話かわからないやばそうな話なんですが、大真面目に話してきました。 スライドを以下に公開しています。ただ、スライドだと何の話をしているかおそらくわからな
【翻訳】技術的負債という概念の生みの親 Ward Cunningham 自身による説明 - t-wadaのブログ
システム開発の世界において「技術的負債（Technical Debt）」は繰り返し話題になり、しばしば炎上しています。 技術的負債という概念の生みの親は Ward Cunningham （ウォード・カニンガム）です。彼は 1992 年にオブジェクト指向プログラミングの国際カンファレンス OOPSLA '92 の Experience Report でコードの初回リリースを負債に例えました（"Shipping first time code is like going into debt"）。 Ward Cunningham はソフトウェアの世界に多くの貢献を果たしてきました。Wiki の発明者であり、XP と TDD の父 Kent Beck の師匠のような存在であり、建築の世界の「パタン・ランゲージ」を Kent Beck と共にソフトウェアに輸入した人であり、「アジャイルソフトウェア開
業務知識と計算機科学の知識 - 発声練習
aikeの日記：スーパークリエイターがSI業界で即戦力になれない理由 この記事の企業側の発言で「コンピュータ・サイエンスの学科を増やさないと問題は解決しない」というのがあったが、これは嘘だ。SI業界に限っていうと、仕事で必要になるコンピュータ･サイエンスの知識量は大したものではない。本当に必要なのはいわゆる「業務知識」と、それを通常どのようにコンピュータで実現するかという知識だ。 そもそもプログラミングとは目的ではなく手段だ。だから何かシステムを開発する場合、手段（プログラミング）だけでなく、目的にも詳しくなくてはならない。SI業界だと分かりにくいのであれば、たとえばＣＧ作成ツールの開発会社に、グラフィックやモデリング、ベクトル計算にはまったく知識のない天才プログラマーが入ったとしたらどうか？ あるいは今まで一回もゲームをやったことがないスーパークリエイターがゲームソフト開発会社に入ったと
Books For Site Reliability Engineering
By: Heather Adkins, Betsy Beyer, Paul Blankinship, Ana Oprea, Piotr Lewandowski, Adam Stubblefield Can a system be considered truly reliable if it isn't fundamentally secure? Or can it be considered secure if it's unreliable? Security is crucial to the design and operation of scalable systems in production, as it plays an important part in product quality, performance, and availability. In this bo
Nagoya.Testing in Tokyo -テストを強いられている人達の話- に参加した - @kyanny's blog
ソフトウェアのテストに関心があるので、Nagoya.Testing in Tokyo -テストを強いられている人達の話- - connpassという勉強会に参加した。 テストというよりもアジャイル開発、とくにスクラムと、チームのマネジメント・コーチングの話で、とても参考になる内容だったものの、自分が求めていたものとは少し違っていた。求めているもののほうが間違っているのかもしれない、という気づきがあった。 特に印象に残った部分 バグの根源には何かしら「無理」がある。無理からくるバグをテストで取り除こう、という考え方が間違い。無理をやめよう。 いかに普段からテストして、テストを減らすかを常に考える。 残業をしない。 ソフトウェア工学の知見を活かす。先人に学ぶ。 チームメンバーに、わかるまで800回くらい、同じことを表現を変えて言い続ける。伝え続ける（人間とはそういうもの） いかにして、アイデア
3週間で48,000行のコードをこの世から抹消した話 – FiNC Engineering Blog – Medium
qsona (twitter) です。以前、7,600行のコードを安全にこの世から抹消した話 という記事を投稿しましたが、今回はそれよりもずっと泥臭い話を書きたいと思います。あまりテクニカルな話はありませんが、現場における取り組み・試行錯誤の経過を読んでいただければ幸いです。 たくさん消しました、がんばりました〜背景肥大化するRailsサービスFiNCはマイクロサービスを指向しており、主にRuby on Railsで書かれたサービスが30個ほど存在します。しかし、FiNCアプリのメインとなるRailsのサービスは、テーブル数800を超える大きなサービスになっています。 FiNCのサービスは2014年から書きはじめており、かなり初期の段階(2015年)からマイクロサービス化を意識してきました。にもかかわらず1つのサービスが肥大化している理由はいくつかあります。 最初の1〜2年ですでに大量のコ
Unpublished Event
This event has passed. Thank you! Contact the host to learn more
業務ハックしてクビにならないために｜ふらふら
本記事は「GYOMUハック/業務ハック Advent Calendar 2019」にリンクされている記事です。つい先日、仙台からリモート参加したニワカです。よろしくお願いいたします。 ■ 自己紹介 はじめましての方ははじめまして。またお前かの人は毎度どうも。仙台でコーポレートエンジニア（＝情シス・社内 SE ）を生業としているふらふらと申します。 ガチの開発から身を引いてもう 15 年位になります。技術そのものよりも「その技術で何ができるのか」「実践したらどうなるのか」という課題解決のほうが好きな性質なので、地方中小企業で社内 SE というのはある意味、天職だなあと思っています。 どういう経歴でどういう考え方の持ち主なのかについては、下記を見てもらうのが良いでしょう。みんなで情シス！第４回でお話したときの資料です。 なんのことはない、職歴の汚い「オッサン SE」です。タイトル通り業務ハック
クックパッドの海外展開におけるSREの役割と挑戦
2019年2月27日、恵比寿ガーデンプレイスザ・ガーデンホールにて、「Cookpad TechConf 2019」が開催されました。Cookpadのエンジニアやデザイナーがどのようにサービス開発に取り組んでいるのか、またその過程で得た技術的知見について公開します。プレゼンテーション「Challenges for Global Service from a Perspective of SRE 2nd season」に登壇したのは、クックパッド株式会社技術部SREグループエンジニアの渡辺喬之氏。講演資料はこちら クックパッドSREが語るグローバルサービスへの挑戦 渡辺喬之氏（以下、渡辺）：それでは発表をはじめます。よろしくお願いします。今日の発表内容ですが、まずクックパッドの海外展開について、ご存じない方がいらっしゃると思いますので、ご紹介いたします。その後、クックパッドにおけるSREの役割
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
できるビジネスパーソンは「最適化」という言葉を使わない
Throttling CPU usage with Linux cgroups
https://engineering.mercari.com/entry/2019/12/01/microservices-migration-progress
