【2024年度 サイバーエージェント 新卒研修】システム運用の基本と戦略
株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用の基本と戦略に関する講義を行いました。
株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用の基本と戦略に関する講義を行いました。
ブラウザキャッシュの仕組みについてまとめた
Web開発において、ページの読み込み速度は非常に重要になります。 そのためにもブラウザのキャッシュは効率的なWebサイト運営に不可欠な機能です。 ブラウザのキャッシュには次のHTTPヘッダを設定することができます。 Expiresヘッダ Cache-Controlヘッダ Last-Modifiedヘッダ ETagヘッダ これらのキャッシュには強いキャッシュと弱いキャッシュで分類が可能です。 「Expires」「Cache-Control」は強いキャッシュであり、「Last-Modified」「ETag」は弱いキャッシュに分類できます。 強いキャッシュと弱いキャッシュ 強いキャッシュは設定された期間内は完全にローカルキャッシュを利用して、サーバーへのリクエストを行いません。 一方で弱いキャッシュはキャッシュされたリソースの検証が必要であり、ETagやLast-Modifiedヘッダを利用して
起きたこと 僕が運営している『オンライン絵しりとり』というサイトで起きた話となります。 これは訪れたユーザー同士で絵しりとりを楽しめるサービスです。 ある日、このサービスをホスティングしているConoHaVPSより、規約に違反しているため利用を制限した旨のメールが届きました。 お客様のVPSにおきまして、弊社会員規約に反するコンテンツが 検出されましたので、ご利用サービスの制限をさせていただき ましたこと、ご連絡申しあげます。 そして、メールが届いたほぼ同時刻にサーバーが停止され、サービスへアクセスできない状態になりました。 メールによると、JASRACより著作権侵害に対する防止措置の申し出があったとのことです。 指摘対象のコンテンツを確認したところ、ユーザーがサイト内のチャットでYOASOBIの楽曲である『アイドル』の歌詞の一部を投稿しておりました。 ご覧の通り、話の流れで流行りの曲をみ
ジャック・ドーシー、Blueskyからの離脱は「Twitterと同じ過ちを繰り返しているから」とインタビューで述べる | テクノエッジ TechnoEdge
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 Twitterの共同創業者で、現在は決済サービスBlockを率いるジャック・ドーシー氏は、最近Blueskyの取締役会から降りた理由として「（Twitterが犯してきた）あらゆる過ちを繰り返しているから」だと語りました。 ドーシー氏はTwitterの歴史のごく初期に、営利企業としての都合や、広告主など外部の力で運営方針を左右されることのない、オープンソースのプロトコルとしてのTwitterを構想していました。 しかし、Twitterが成長していくにつれ、違法コンテンツなどのモデレーションやユーザーのアカウント凍結といった対応が必要となり、オープンで分散したネットワークという方向性に舵を切るのは難しくなります。
クラウド時代のデータベースを理解するために①
最近、分散データベースとかNewSQLとかサーバレスなデータベースとか色々聞きますよね。 でも、専門ではない人たちにとって、「何が違うの？」「自分たちに必要なDBはどれなの？」という点が分かりづらいと思います。 私も良く聞かれます。 AuroraはNewSQLですか？ NewSQLってサーバレスなんですか？ スケールできないDBとか聞きますけど、リードレプリカ増やせますよね？ などなど。この辺に基本的なところから答えられるように、順を追って解説していきましょう。 「コンピュートとストレージは別であれ」 と神が言うと、コンピュートとストレージは分離された。 と言うのは冗談ですが、まずはここからスタートしましょう。 クラウド以前のデータベースを使っていた人にはお馴染みのように、それまでデータベースは大きな1つの箱でした。 過去に私は下図でデータベース（厳密にはRDBMS）のコンポーネントを解説
切り替える理由 自社の主力製品で利用している技術(WebRTC / WebTransport)がブラウザベースのため TypeScript を利用する Go を採用したのは sqlc が使いたかったという理由 sqlc-gen-typescript が出てきたのでもう Go を使う理由がなくなった 自社サービスチーム全員が Go にまったく興味が無い sqlc 自体は便利 そもそも自社に Go への興味がある人がいない 自社サービスの規模ではボトルネックになるのはデータベースであって言語ではない もしアプリでスケールが必要なときは Rust や Erlang/OTP に切り替えれば良い コネクションプールは PgBouncer を利用すればいい TypeScript からは 1 コネクション 1 接続で問題無い どうせフロントエンドでは TypeScript を書く 自社では React
オブザーバビリティ研修実践編
株式会社サイバーエージェント AI事業本部 2024年度エンジニア新卒研修 オブザーバビリティ研修実践編（一部社内向けの内容）
社内で検知された悪性通信を調査したらドメインパーキングだった話 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの冨樫です。Network Analytics for Security プロジェクトに所属しています。 突然ですが皆さんはドメインパーキングというサービスを知っているでしょうか？詳細については後述しますが、以前イノベーションセンターの検証網でマルウェアに関する悪性通信が検知されたため通信先を調査したところ、ドメインパーキングだったことがあります。本記事ではこの調査を通して得られたドメインパーキングに関する知見とその調査過程を紹介します。また、今回紹介するドメインパーキングの悪用事例や外部インテリジェンスを活用した調査は基礎的な内容ですので、本記事は主に初学者の方の知見にしてもらうことを目的としています。 ドメインパーキングについて アラートの概要 Ursnif について 接続先についての調査 検知されたアラートの危険性について さいごに ドメインパーキン
情報漏えいを受け、LINEヤフーが韓国NAVERへの業務委託の終了を決めた。5月8日に開かれた2023年度通期・第4四半期決算会見で明かしたもので、LINEヤフーが2024年度中と進めていたLINEとPayPayのアカウント連携についても、社内のセキュリティガバナンス強化の優先を理由に計画時期を見直す。 LINEヤフーは、23年10月に不正アクセスによる情報漏えいが発生したと発表。情報流出は、同社と韓国の関連会社NAVER Cloud委託先企業の従業員PCがマルウェアに感染したことをきっかけに、NAVER CloudのADサーバも感染。その管理者権限や、LINEヤフーのADサーバの認証情報が奪取され、不正アクセス被害につながったとみられている。 この件に関し、LINEヤフーは24年3月に総務省から行政指導を受けており、同社は4月に報告書を提出。NAVERのシステムとの分離を進める他、「NA
日本の富裕層の金融資産は、2030年までに約200兆円増加する見通しだ。米モルガン・スタンレーが16日付のリポートで試算を示した。 リポートによると、日本の「超富裕層」と「上位富裕層」の純金融資産は現在の約690兆円から30年までに906兆円に達する見込み。 試算を前提にすると、日本の金融機関は約５兆9000億円相当の収益機会を得ることになるという。株式市場の上昇と日銀のマイナス金利政策の解除によって日本の資産に対する関心が高まりつつある中、日本の銀行や証券会社は将来の成長の重要な柱としてウェルス・マネジメントに注目している。 とりわけ日本の若年の富裕層は、市場の拡大を担う潜在投資家として注目を集める。リポートでは「このグループが資産を増やし、ポートフォリオのニーズがより洗練されるにつれ、ミューチュアル・ファンドへの資金流入が長期的に大きくなる可能性があるだろう」と指摘している。 原題：J
ツナカン(TUNA-JP Conference) #12 で発表した資料です
自分も含めて社内に詳しい人がいない領域のコードをいじることってあるよね。特に歴史の長いサービスだと当時触っていた人が誰もいないとか。仮にいたとしても1年くらい触ってないとほとんど忘れてしまって知らないのと同じような状態になっていたりする。 自分もそういうことが何度もあって、雑にスタンスややってることをまとめておこうと思う。 前提のスタンス 「これを倒したら俺がこの領域で一番詳しい最強になるんや」という気持ちを持ってる 詳しい人がいない状態で属人化とか気にしても仕方ない。まずは自分が詳しくなってから考えるでよい 自分用メモを作る キャッチアップしたことを書き残していく。ドキュメントじゃなくてSlackに垂れ流すでもいい 過去のドキュメント・やりとりを探す 全体像を把握できるドキュメントがないかを探すのを最初にやってる ここは近道はない。とにかく全部集めて全部読む気持ちで臨む Google D
「情シス担当者がいなくなってサーバーやネットワーク機器を管理する人がいないので皆さんで管理しましょう」→斬新すぎる管理方法だった
Shadowhat @shadowhat HAGIWARA Takahiro (仮想化プリセエンジニア) 主にNutanix、最近M365、時々Linux、稀にネットワークな日々 発言は個人の見解であり、所属する企業の見解や意見を代表するものではありません。 Nutanix Technology Champion 2018-2024 infraapp.blogspot.jp Shadowhat @shadowhat 「情シス担当者がいなくなって社内のサーバーやネットワーク機器を管理する人がいないので皆さんで管理しましょう。」 といって、社内全員にAdministrator権限のユーザ名とのパスワードを共有する斬新な管理方法を聞いた。 なお、SIでソフトウェア開発をやっている会社さんだそうで。。。 2024-05-08 09:04:29
TSKaigi 2024 ref: https://tskaigi.org/talks/tockn
はじめに Next.js を Cloudflare にホスティングしようとすると、必然的に Edge Runtime 環境になります。しかし、Edge Runtime 環境では、Node.js Runtime と異なり、Prisma がそのまま使えません。 最初に思い浮かぶ解決策は Prisma Accelerate です。Prisma Accelerate は公式のサービスで、接続プールイングやグローバルキャッシュ機能を備えており、Edge Runtime でも Prisma を使えるようにします。 しかし、無料プランだと月に 6 万クエリの制限があり、本番運用には不安が残ります。 そこで、今回は Prisma Accelerate を自前で Cloudflare Workers 上に構築し、本番運用に耐えうるサービスを無料で開発する方法を紹介します。この方法なら、無料プランでも 月に
止まらないLinuxシステムを構築する!高信頼性クラスタ入門 クラウド、オンプレどちらの環境でも障害は不意にやってきます。 そんなときもサービスを継続提供するためのHAクラスタ。 今回は高信頼性を実現するクラスタの考え方の基本から、具体的にLinuxクラスタを設計/構築するコツについて解説します! こんな方にオススメ ・Linux初心者の方 ・Linuxが好きな方 ・高信頼性、高可用性クラスタに興味ある方
政府は公的年金に上乗せする私的年金のiDeCo（個人型確定拠出年金、イデコ）について、掛け金の上限引き上げを打ち出す。運用次第で老後の所得を増やせる仕組みを拡充し、岸田文雄政権が掲げる資産運用立国の実現につなげる。政府は6月にまとめる経済財政運営と改革の基本方針（骨太の方針）に上限引き上げの検討を明記する。自民党金融調査会が政府への提言で「年末にかけて議論される年金改革の中でイデコについては加
この記事はTSKaigi2024での以下の私の発表内容を書き下ろしたものです。 なぜAPIに型をつけたいのか 現代のWebのシステム開発において、クライアント・サーバーともに型のある言語で開発されることが増えてきました。静的な型検査はコードの堅牢性やよりよいメンテナンス性の向上をもたらします。 プログラミング内部だけで型検査をするだけでも十分メリットはありますが、外部I/Oに対する型付けが不十分だとそのメリットを最大限に発揮してるとは言えません。外部I/Oとは、例えばWebフロントエンドだとLocalStorageやDOMからの入力値、それからネットワーク通信（今回はこれをAPIと呼びます[1]）などですね。サーバー側でいうとAPIからの入力・レスポンスやデータベースへの読み書きが該当します。 個人的な経験から言うと、Webシステムの開発におけるエラーの多くはAPIやデータベースとのやり取
Postfixのログ監視で注意すべきSMTPのステータス仕様について - Hatena Developer Blog
システムプラットフォームチーム SREのid:MysticDollです。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の5月号です。先月分は id:heleeen さんの Mackerel で行った障害対応演習を紹介します でした。 先月 Platform Engineering Meetup #8 にて 「はてなにおけるメール基盤とDMARC対応」というタイトルで登壇させて頂きました。 speakerdeck.com この記事では資料では紹介しきれなかった、メール送信基盤の監視で気をつけるべきSMTPのステータスの仕様とそれらを踏まえた監視方法について紹介します。 メールのステータス形式 SMTP Reply Code 1桁目 2桁目 3桁目 DSN 1つ目 2つ目 3つ目 Postfixのログからのエラーのメトリクス化 まとめ メールのステータス形式 SMTPにお
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ユーザーが『アイドル』を歌うとサーバーが停止する - Qiita
自社サービスのバックエンドを Go から TypeScript へ切り替えるための整理
LINEヤフー、韓国ネイバーとの委託関係を終了へ PayPayとLINEのアカウント連携も延期に
日本の富裕層の金融資産、2030年までに約200兆円増へ－モルガンＳ
エンジニアとしてのキャリアを支える自宅サーバー
社内に詳しい人がいない領域のコードを触る時 - Konifar's ZATSU
Prisma ORMを2年運用して培ったノウハウを共有する
Next.jsとPrismaをCloudflareにデプロイして月300万のDBクエリに無料で耐える
止まらないLinuxシステムを構築する_高信頼性クラスタ入門
iDeCo掛け金の上限引き上げ 政府検討、資産運用後押し - 日本経済新聞
TypeScriptとGraphQLで実現する型安全なAPI実装