SI企業の強み・弱みを分析し、SIビジネスの先行きについてまとめた書籍『SI企業の進む道 業界歴40年のSEが現役世代に託すバトン』。同書から抜粋し、「誰も指摘しなかったSI企業の課題」を連載で指摘する。今回は、SIerがユーザー企業の要望に応えられない根源的な理由を探る。（技術プロダクツユニットクロスメディア編集部） 既存ITシステムの問題をユーザー企業以上に理解しているのはSIerである。ところが、その問題をユーザー企業に説明し、対策をとろうとはしない。ではなぜ、SIerのIT技術者たちは口を閉ざしているのだろうか。 その答えはこうだ。問題を説明した後に「では、どうすればいい？」と問われても答えられないからである。つまり、既存ITシステムの変革をどのように行えばいいのか分からないのだ。 情報処理推進機構（IPA）が平成29年に出したレポート「システム再構築を成功に導くユーザガイド」には
Reject Day 2023(https://connpass.com/event/282843/) 登壇資料 登壇動画: https://www.youtube.com/live/kMiijJdWi-s?feature=share&t=4500
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースであるCloud Firestoreを当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が掛からず、また安価でスケーラビリティにも優れたハイパフォーマンスなデータベースです。 しかし、Cloud Firestoreを使用して開発・運用していく中で直面した様々な課題からGCPのフルマネージドのリレーショナルデータベースであるCloud SQLのPostgreSQLにデータベースのリプ
企業・銀行・官公庁・ITベンダー・コンサルが大騒ぎ！ ヤバいDX 2023 いまだ盛り上がり続ける「DX（デジタルトランスフォーメーション）ブーム」。だが、その裏では、企業・自治体などのITシステムはさまざまな意味での危機を抱えている。さらに、ブームに支えられて、わが世の春を謳歌していたコンサル業界にも異変の足音が。DXが本来目指していたはずの楽園とは真逆の「ヤバい」事態を多方面から炙り出す。 バックナンバー一覧 みずほ銀行のシステムトラブルの裏で起こっていた「IT部門の超弱体化」と「ユーザー部門が自前で作ったシステムの乱立」とは？特集『企業・銀行・官公庁・ITベンダー・コンサルが大騒ぎ！ ヤバいDX 2023』（全13回）の＃2では、あのシステムトラブルの渦中を中から見ていた元みずほ銀行マンをゲストに、みずほトラブルの内側を座談会で語る。（聞き手／ダイヤモンド編集部 鈴木洋子） 座談会参
コロナ５類移行３カ月 感染者数６倍、イベント再開も一因
新型コロナウイルスの感染症法上の位置付けが５類に移行してから８日で３カ月となる中、一貫して感染者の増加が続いている。今夏は祭りや花火大会などのイベント再開が感染拡大の一因とされ、お盆の帰省などでさらなる感染増も懸念される。警戒度の引き上げを求める声も高まるが、危機感の共有に向けては課題も残る。 厚生労働省によると、７月３０日までの直近１週間に、全国約５千の定点医療機関から報告された１医療機関当たりの感染者数は、１５・９１人。５類移行から１１週連続の増加となり、移行直後の約６倍に達した。 同省に助言する専門家組織は今月４日の会合で「より免疫逃避が起こる可能性のある株の割合増加」「夏休みなど接触機会の増加」などを挙げ、今後の見通しを「患者数の増加が継続する可能性がある」と分析した。 現在主流で複数のオミクロン株が組み合わさった「ＸＢＢ」系統は、従前のＢＡ・５より感染力が高く、ワクチンや自然感染
Nuxt.js で開発されていたAI受診相談ユビーのフロントエンドを Next.js で作り直しました。 まだまだ仮説検証を繰り返すフェーズのスタートアップのため、機能開発を止めて一気に置き換えることはできず、機能ごとに少しずつ置き換えてリリースをしました。結果、5人のプロダクト開発チームによる機能開発と並走して、全体の移行を1人で1ヶ月の短期間で終わらせることができたので、その意思決定や過程、工夫を紹介します。 移行前の課題 まず前提として、移行前の Nuxt.js による実装は 2018 年に立ち上がったもので、当時 toC の Web サービスを持っていなかった Ubie が ほぼ 1 人の小さいチームで PoC 的に作り始めたものでした。また、当時の Next.js は今ほど多機能ではないプレーンなフレームワークでした。 これらを踏まえて、当時の状況で MVP を最速で作るための技
米国 海軍は７兆円超のリソース管理を行う最大の基幹システム(ERP)をAWSに移行完了 | Amazon Web Services
Amazon Web Services ブログ 米国 海軍は７兆円超のリソース管理を行う最大の基幹システム(ERP)をAWSに移行完了 アメリカ海軍（U.S. Navy）が、”最大”の基幹システム(“U.S. Navy’s largest SAP ERP system”)をAWSへ移行した事例が公開されました。今回のブログでは、AWSジャパン・パブリックセクターより、この事例から読み取られるべきインパクトについて、ご紹介します。 ７兆円超の巨大な資源管理をするERPシステムをAWSへ移行 戦闘準備の整った海軍を維持・訓練・装備を充実させることを使命とする米海軍（U.S. Navy）は、軍のメンバーが十分な情報に基づいた意思決定を行い、目前のタスクに集中できるようにするため、テクノロジーやサービス、人事に関連する多くのバックオフィス機能を自動化しています。ただし、これまで整備されてきたオンプ
背景 やったこと1. 廃止 やったこと2. GCPに移行 ユースケース図 URLベースで見たユースケース図 実行環境で見たユースケース図 実際にGCPに移行したアプリ達 Cloud Run Cloud Functions AppEngine GCP移行した全てに共通してること やったこと3. CircleCIに移行 付録A. 道のり 付録B. 調査メモ（移行時に参考にしたドキュメントやサービスなど） 無料プラットフォームがまとまってるドキュメント ElephantSQL (PostgreSQL) PlanetScale (MySQL) Redis Enterprise Cloud 付録C. Redisを雑にFirestoreに置き換えたらクラウド破産しかけた 2022/09/22 20:45ブコメレス 背景 Herokuの無料プラン終了のため10個以上あった個人アプリを1ヶ月くらいかけて色
はじめまして、開発部の@taikishiinoです。 2020年3月にアンドパッドにジョインし、約一年が経ちました。 現在、チャットサービスの開発・運用をするチームに所属しており、その中で最近、RDSからFirestoreへのデータ移行を行いました。 本記事では、その際の課題やそれに対して実際に行ったことなどを中心にご紹介していきます。 データ移行の背景 僕たちのチャットサービスを開発するチームでは、現在、プロダクトのデータベースをRDSとFirebase RealtimeDatabaseのミックスからFirestoreに移行する大規模プロジェクトが行われています。 旧環境「RDSとFirebase RealtimeDatabase」の課題として、 チャットのアクセスを処理しているAPIサーバーのバックグラウンド処理は複数プロダクト共通で利用しており、チャット起因で負荷が高まってしまうとい
スタディスト 技術支援ユニットの笹木 (@s_sasaki_0529) です。 2022年上半期、およそ500コンポーネントを持つ Vue 2 プロダクトである Teachme Biz を、半年間に渡る単独作業を経て、 Vue 3 に移行することに成功しました。 本記事では、私達がどのようにして、機能開発は止めずにバージョンアップや破壊的変更への対応を行えたのかを簡単に振り返ろうと思います。 昨年の TypeScript 移行の次のステップとして、今年は Vue 3 移行を実現することにより、相乗効果でのフロントエンド開発体験の向上を実現しました。 モチベーションTeachme Biz をVue 3 に移行するモチベーションは概ね以下になります。 モダンブラウザに合わせてリアーキテクチャリングされた Vue 3 の恩恵を受けることVue 2 への機能追加・改修が 2.7 で終了してしまった
「もうデスマーチが始まってますよ」。自治体情報システムの開発を手掛ける複数のベンダー幹部は口をそろえる。自治体は2025年度末までに主なシステムを標準仕様に準拠させ、政府が契約したクラウドサービスに原則移行しなければならない。ところが標準仕様の改版が続いている上に、岸田文雄政権の経済政策に伴うシステム改修が追い打ちをかけているためだ。 全国約1700の自治体は2025年度末までに、それぞれの自治体で仕様が異なっていた戸籍情報や住民記録など計20の基幹業務システムを同じ標準仕様に基づいて作り直さなければならない。その上で政府が運営する「ガバメントクラウド」に原則移行する。 政府の大号令によって、全国の自治体は一斉に移行作業を迫られる。ベンダー各社では既にシステム開発担当者らが過酷な労働を強いられる「デスマーチ」が始まっているという。政府のシステムでなぜデスマーチを招く事態になっているのか、匿
Terraform の CI を AWS CodeBuild から GitHub Actions + tfaction に移行しました - スタディサプリ Product Team Blog
こんにちは。 SRE の @suzuki-shunsuke です。 Terraform の CI を AWS CodeBuild (以下 CodeBuild) から GitHub Actions + tfaction に移行した話を紹介します。 これまでの Terraform Workflow (CodeBuild) 弊プロダクトの Terraform の CI に関しては過去の記事でも何度か紹介していますが、 元々 CodeBuild 上で CI を実行していました。 かつては CircleCI 上で実行していましたが、 CodeBuild に移行しました。 blog.studysapuri.jp CodeBuild に移行した理由は大きく 2 つありました。 Security 永続的な Access Key を発行することなく AWS のリソースを管理できる GCP に関しても Wor
スタディスト 開発部 技術支援ユニットの笹木 (@s_sasaki_0529) です。 2021年上半期、およそ6万行の JavaScript コードを TypeScript に置き換える作業を、半年間単独で行いました。 本記事では、機能開発自体を止めずに、どのように走り切ることができたのか、ふりかえりたいと思います。 なお、本記事の内容は、移行開始直後の登壇資料 “大規模 Vue アプリケーションの TypeScript 移行” と、移行完了後の登壇資料 “6万行の TypeScript 移行とその後” と重複する内容を含んでいます。 Teachme Biz と TypeScript弊社が開発している、マニュアル作成・共有システム Teachme Biz は、iOS/Android や Windows など、マルチプラットフォームで提供されています。 その中でも、作成・管理に多く使われて
医療機関データのオンプレ → クラウド移行にかけた1年と、6倍の効率化について - JMDC TECH BLOG
株式会社JMDC開発本部データ基盤開発部の中村と申します。 私が所属する医療機関基盤グループでは、昨年から今年にかけて基幹システムをオンプレからクラウド（AWS）へ刷新しました。 この移行プロジェクトは、JMDC史上トップを争うくらい難易度の高いプロジェクトだったと個人的に感じています。マネージャーの立場から今回のシステム刷新のきっかけや、プロジェクトのハードな道のり、そしてクラウド化で得られた成果などを振り返っていきます。 プロフィール 中村竜甫（https://twitter.com/rh1011_） 株式会社JMDC 開発本部 データ基盤開発部 医療機関データ基盤グループ マネージャー SIerにて広告配信システムの企画・開発・運用を経験。その後2015年9月から現職。 基幹システムの刷新リーダーを担当後、Webプロダクト開発のマネージメントを経験。現在は医療機関基盤Gマネージャとし
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告（以下、ディスプレイ広告）エンジニアの池田です。 本記事では、ディスプレイ広告において広告主の予算に対する課金処理・配信制御に使われるRelational Database（以下、RDB）を障害を起こさずにサービス無停止で移行した事例について紹介します。無停止でのRDBの移行を検討されている方がいらっしゃったらぜひ参考にしていただければと思います。 サービスを停止できない理由 今回、私たちが運用していたOracle Database（以下、OracleDB）のハードウェアのEOLおよびソフトウェアのEOLに伴うバージョンアップ（Oracle12c→Oracle19c）などの理由により、
仕事用のマシンをWindows 11で新しく組むことにした。今使っているマシンのCPUは第4世代Coreなので、メモリー増設もCPU交換も限界。そもそもWindows 11ではサポートされていないため、潮時と考えた。 こういう場合は問題を引きずらないように、Windowsは新しいドライブに新規インストールすることにしている。ドライブのイメージコピー（クローン）は楽だが、潜在的なものを含めトラブルも「コピー」してしまう可能性がある。 Windows XPの頃に比べれば、システムの引っ越しはラクになったが、相変わらずアプリケーションは手作業で入れ直す必要がある。環境設定作業が面倒になるので、どうしても代替品がないときを除いて、筆者はインストール台数が制限されているアプリケーションは使わないことにしている。いきなりマシンが動かなくなった場合に、短時間で環境を再構築できない可能性があるからだ。そう
この記事はエムスリーAdvent Calendar 2023の20日目の記事です。 エムスリーエンジニアリングG コンシューマチームの松原(@ma2ge)です。 今回はコンシューマチームで利用していたSaaSのメール配信システムを、新規に開発した社内システムに移行した経緯や設計時に意識したことなどについて紹介します。 最近使っているキーボードの様子 背景 今回移行する契機となったのはメールの配信数増加に伴うSaaSの利用料金増です。 特に定期的に送るメルマガ配信については、配信量も多く利用コストを押し上げる要因となっていました。 そのためメルマガ配信で大量に使用する部分についてのシステム移行検討が始まりました。 移行検討 SaaSから移行後のシステムについて試算すると、システムの開発や利用料といったコスト面では社内で構築したシステムの方が大幅にコストが下がることがわかりました。 しかしなが
魔窟と化した全文検索サーバーとふっかつのじゅもん - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズのクラウド黎明期から運用し続けていたSolrサーバーを Elasticsearchに置き換えるプロジェクトが先日完了しました。 プロジェクト完了報告もかねてプロジェクトのあらましを公開したいと思います。 はじめに このプロジェクトの主軸は『魔窟と化したレガシー技術をどう捌くか？』になります。 このプロジェクトの報告をする前に、いくつかエクスキューズをさせていただきます。 クラウド黎明期を支えてくれたSolrには畏敬の念に近い感謝をもっています レガシーな技術に対してマウントやディスリスペクトの意図はありません 魔窟にかかわることになってしまった人に対して負の感情は一切ありません 今回の採用している構成はElasticsearchのあるべきアーキテクチャではありません 今後、Neco 環境への移行を通して継続的に改善していきます サイボウズでのSolrの使い方と用語説明 サイボウズ
KARTE リアルタイムユーザー解析基盤のDB (450TB)をゼロダウンタイムで 新DBに移行したノウハウ
2022 Developer Summit登壇資料 https://event.shoeisha.jp/devsumi/20220217/session/3655/
はじめに 過去の記事『淡路島発着の高速バス検索サービス「GO TO AWAJI」をリリースした話』で Python を用いて個人開発サービスのバックエンドを実装したことを紹介しました。 勉強のためにこのサービスのバックエンドの一部を Rust で書き換えたので、本記事で紹介させて頂きます。 クローラーサービス 今回 Python から Rust に書き換えを行ったのはクローラーと呼んでいるサービスです。 これは GCP の Cloud Run 上で動いており、 Cloud Scheduler から定期的に実行されて以下のことを行っています。 クローラーサービスのシステム構成 各バス会社の新着情報をスクレイピングする 取得した新着情報を DB (SQLite) に保存されている過去の新着情報と比較する 新しい新着情報が存在する場合DBに保存し、SendGrid で筆者宛にメールで通知する な
PerlからGoへのシステム移行のアシスト 〜Perl XSとUnix Domain Socketを活用〜 - Mirrativ Tech Blog
こんにちは ハタ です。 Mirrativ では 2020年頃から サーバサイドの技術をPerlからGoへのシステム移行 を行っており、2024年現在でもサグラダファミリアのように移行作業は継続しています PerlとGoという2つの環境を同時に運用していますが、 基本的には 新機能は Go で実装 し、 Perlでは積極的に新規実装を行わない というスタイルで進めていました しかし、既存の機能の一部に手を加えたいとなった場合、まだまだ Perl の実装に手を加えることが一定あり、Perl から Go の機能を呼び出したいというニーズが出てきました （配信やギフトといったビジネスの根幹を支えるレガシーな実装においては顕著） そこで PerlXS を利用することで Perl から Go を直接呼び出せるようにできないかと考え検証を進めることにしました Goの -buildmode=c-shar
こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあったので、移行することにしました。 Amazon Aurora バージョン - Amazon Aurora これからAurora MySQL8.0へ移行を検討されている方の参考になれば幸いです。 想定される読者 Aurora MySQL 5.7系を使っていて、アップグレードを検討している方 実際の Aurora MySQL 8.0 への移行手順を知りたい方 AWS インフラに興味がある方 前提 Aurora MySQL5.7互
Amazon Auroraを活用したソーシャルゲームの複数ワールドデータ統合 / AWS Dev Day Online Japan
Amazon Auroraを活用したソーシャルゲームの複数ワールドデータ統合 / AWS Dev Day Online Japan
古いiPhoneから新しいiPhoneへのデータ移行、やめました。2020.11.13 22:0064,048 ヤマダユウス型 数年に一度の、リボーン。 スマホを買い替えて面倒なのが、データの引き継ぎです。昔はちょくちょくiTunesにバックアップを取っていたんですけど、最近は買い替えのタイミングでもないとPCとスマホを繋がなくなりましたね。さて、ではiPhone 12 Proに買い替えたのでバックアップを取ってと…え、今はバックアップいらない？ なんならPCに繋がなくても良い!? バックアップ浦島太郎気分僕はiPhone 8 Plusからの買い替えたので、スパンとしては3年ぶりのスマホ乗り換えになります。そのあいだにデータ移行のやり方も変わったみたいですね。無線でやりとりできるのは神！ でも、データ移行の方法を調べるうちに、こう思い始めました。 そんなにデータ引き継ぐ必要あるか…？ 要る
JR東日本は4月4日、交通系IC「Suica」について、2023年度から「センターサーバー方式」を採用した、新しい改札システムを導入すると発表した。これにより、サービスの拡張や処理速度の向上など、ニーズの多様化に対応するという。
とあるｺｰﾃﾞｨﾝｸﾞ初心者勢のエディタ遍歴
追記 初出では記事のタイトルを「とあるｺｰﾃﾞｨﾝｸﾞﾁｮｯﾄﾜｶﾙ勢のエディタ遍歴」としていました。 「ﾁｮｯﾄﾜｶﾙ」の意味を全く理解せずにタイトルに用いてしまい、不快に思われた方にお詫び申し上げます。 「ﾁｮｯﾄﾜｶﾙ」とはすなわち、Linus Torvalds レベルの超上級者のことをさす言葉ということを先ほど知りました。 もちろん自分は到底上級者とは程遠い存在であると自負をしております(記事を読んでいただければわかると思います)。 今年でコードを本格的に書き始めて 8 年目になる。 これまでに メインのエディタを 3 回変えているので遍歴を書いてみる。 (本記事では IDE は除く) Atom (2015 ~ 2017) 2015 年に大学に入学して、初めて自分のコンピュータ(MacBook Pro 13)を手に入れることができた。 小学生の頃からコードを書くことには興味があった
こう見たとき、"FileNotFound"のバグが一番多い。と分かりました。そうすると、"FileNotFound"のバグを修正すると、多くの移行エラーが解消され、効率よく移行が進むと考えられます。しかし、現実問題として、それほど直りませんでした。 "簡単なバグ"とは何か？ 前節では、バグの発生頻度が高いものから修正していくとアプローチをしていきましたが、実際問題それほどうまくいきませんでした。端的に、なぜ失敗したか。というと、"バグが直らなかった"からです。仮に"FileNotFound"のバグを直そうとしたとき、2,520個あるログファイルから、ランダムに1つとりだし、どの部分でエラーになっているのかを細かく見ていきます。それで、バグの原因を特定し、直す。という極シンプルなアプローチをするわけですが、「このバグの原因を特定する」ということが、そもそも難しかった。ということです。先にも書
大規模サービスのデータベースエンジンを MySQLからAurora MySQLへの移行 〜リードレプリカ, DNSを利用した最小ダウンタイム移行方法〜 - メドピア開発者ブログ
バックエンドエンジニアの徳富(@yannKazu1)です。先日、メドピアのメインサービスであるmedpeer.jpで使われているデータベースエンジンを、MySQLからAurora MySQLへと移行しました。今回はその移行のプロセスについて詳しくお話しします。 移行したデータベースの簡単なインフラ構成 移行方針 今回移行するデータベースは複数のアプリケーションから参照されており、ダウンタイムによるユーザー影響が大きいため、移行方針の検討の段階で重視したのは、ダウンタイムの最小化でした。これを達成するために、DNSのCNAMEレコードと、Auroraのリードレプリカを活用し、移行させることにしました。 DNSのCNAMEレコードの使用 データベースエンドポイントをアプリケーションに直接記述する代わりに、DNSのCNAMEレコードを利用して間接的に参照するようにしました。これにより、データベー
サービスの歴史が長い場合、既存のフロントエンドを一気にモダナイズ化することは現実的ではなく、一部の画面から徐々に移行していくアプローチが考えられます。 本セッションではMPA(Multi Page Application)で構築されたレガシーフロントエンドからNext.jsへの段階的な移行を可能にするためのAWSアーキテクチャについてご紹介します。
バッチ処理における冪等性の検討 ─ クラウドネイティブもしくは、はてなダイアリーの自動移行を題材に - Hatena Developer Blog
アプリケーションエンジニアのid:tkzwtksです。今回はバッチ処理の冪等性（べきとうせい、idempotence）について、どう考えるか／考えてきたかをご紹介します。 このエントリを書くきっかけとなったのは、はてなエンジニア有志で定期的に開催しているCloudNative推進会です。ここでは、社内のシステムをクラウドネイティブにしていくため「クラウドネイティブなシステムとはどういうものか？」を考えており、この会での「クラウドネイティブなバッチ処理」の議論も踏まえつつ説明していきます。 バッチ処理における冪等性とは メッセージ送信の信頼性を考慮する クラウドネイティブで可用性を高めるために どのような場合に冪等性を考慮すべきか 冪等な実装における3つのケーススタディ ケース1: n分前までに更新されたレコードを集計する ケース2: DB上の対象レコードを更新する ケース3: 対象ユーザー
こんにちは、インフラ部の id:sue445 です。 先日ピクシブ社内で利用しているGitLabをオンプレミス環境からGCPに移行しました。 とても長いので全3回にわけて紹介したいと思います。 全体の構成 前編：前置きとアーキテクチャ検討 中編：環境構築 後編：実際の移行作業とその前後の対応。移行後の所感など 今回の目次 全体の構成 今回の目次 tl;dr; 移行の理由 筆者略歴 GitLab移行の時系列 やったこと1: アーキテクチャ検討 構成図 GitLabをクラウドに移行するための障壁をまとめた URLをどうするか Cloud IAP利用時の通信のオーバーヘッドをなくしたい 実際にGCP移行した後の構成 AWSでPoC環境を作った時の構成 LDAPからの依存をやめたい＆複数のログイン方法を統一したい ssh接続時にあるLDAP依存を不要にしたい 余談 AWS移行案 GCP移行案 Gi
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、LINEの京都開発室でフロントエンド開発を担当している柴坂浩行です。 みなさんは仕事中などにパソコンで音楽を聴くことはありますか？ LINE MUSIC にはスマホアプリだけではなくWeb版アプリがあります。 私たちが開発しているWeb版アプリでは、JSフレームワークとして Vue.js を使用しています。 https://music.line.me/webapp/ これまでこのWeb版アプリには Vue2 が使われてきましたが、 2022年6月、私たちは Vue3 にアップグレードしたバージョンをリリースしました。 私たちのチームではWeb版アプリの機能開発と平行して、パフォーマンスの改善にも取り組んでいます。パ
はじめに こんにちは、技術本部SRE部ZOZOSREチームの堀口です。普段はZOZOTOWNのオンプレミスとクラウドの構築・運用に携わっています。またDBREとしてZOZOTOWNのデータベース全般の運用・保守も兼務しております。 ZOZOTOWNではSQL Serverを中心とした各種DBMSが稼働しています。その中でZOZOTOWNサービスの根幹となるいわゆる基幹データベース（以下、基幹DBと呼ぶ）を5年ぶりにリプレースしました。 基幹DB群は、商品情報、在庫情報、注文情報、会員様情報、ブランド様情報、配送管理、キャンペーン情報、分析系情報などZOZOTOWNサービスにおけるほぼ全ての情報を管理しているものとなります。 リプレースのモチベーションは5年のハードウェア（以下、HWと呼ぶ）保守期限終了およびSQL ServerのEnd Of Life（以下、EOLと呼ぶ）を迎えるため、HW
75億ドキュメント以上のデータを保持するMongoDBを、Amazon EC2からMongoDB Atlasへ約3ヶ月で移設した方法 | CyberAgent Developers Blog
75億ドキュメント以上のデータを保持するMongoDBを、Amazon EC2からMongoDB Atlasへ約3ヶ月で移設した方法 はじめに タップル SREの赤野、CAM SREの庭木です。 タップルは2021年3月頃にMongoDB on Amazon EC2(以下EC2 MongoDB)からMongoDB Atlas(以下Atlas)への移設を行いました。 今回はこの移設での取り組みについて紹介します。 Atlasへ移設することになった経緯・目的 タップルでは定期的にキャパシティプランニングを目的とした負荷試験を実施しており、今後のDAU増加のシミュレーションに対してシステムのキャパシティが確保できるかを定期的に確認しています。 タップルSREのキャパシティプランニングの取り組みについては、以前発表させていただいた資料があるのでこちらにも目を通していただけると幸いです。 2020年
私も大変有り難く利用させてもらっている、みんな大好きLet's Encryptはいろんな方の寄付のおかげで無料で利用できるSSLサーバー証明書の発行サービスですが、何やらルート認証局の移行が話題になっているので、ちょっと調べてみました。 問題の概要は、こちらのブログでとても詳しく解説されており、とても参考になりました。ありがとうございます。 公式から出ている説明だと、出てくる証明書の関係がわかりにくく、図もちょっと間違っていたので、別の図を起こしました。簡単には、DST Root X3ルート証明書が期限切れを迎えそうなので、新しいISRG Root X1ルート認証局に移行したいわけです。 certbotを使っていると /etc/letsencrypt/archive/ドメイン/ に発行された証明書、チェーン、秘密鍵の履歴が残りますが、その時期を頼りにどうなっていたのか見てみます。 2020
はじめにこれは、2021年11月4日から5日にかけて開催された、CloudNative Days Tokyo 2021 においての私の発表資料となります。 発表 こんにちは。今日は、OOParts というクラウドゲーミングプラットフォームを Kubernetes 基盤に移行した話をします。よろしくお願いします。 私は、うなすけといいます。フリーランスとして、Webアプリケーションを開発する仕事をしています。2019年から、Black で OOParts のクラウドインフラ周りを担当しています。 皆さん、OOParts というサービスをご存知でしょうか。OOParts は、年代を問わず名作とされるビジュアルノベルゲームを、Webブラウザだけで遊ぶことができるクラウドゲーミングプラットフォームです。ユーザーは、インターネット環境さえあれば、端末を問わずにいつでもゲームをプレイすることが可能です
こんにちは、データ基盤の開発、運用をしていた谷口（case-k）です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている方や新しくデータ基盤を作ろうとしている方の参考になると嬉しいです。 データ基盤の紹介 旧データ基盤の紹介 旧データ基盤の課題 変更があっても更新されないデータ 性質の異なるテーブルを同じ命名規則で管理
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
2022/03/19 追記 続編みたいなやつ書きました。 shallow1729.hatenablog.com はじめに メリークリスマス!! はてなのエンジニアのid:shallow1729です。この記事ははてなエンジニア Advent Calendar 2019の25日目の記事です。昨日はid:hitode909さんの以下の記事でした! blog.sushi.money 今回はタイトルにある「異なるシステム間での大量データの同期」について、仕事でいくつか関わったので悩んだ事をログに残そうと思います。一緒に難しいねって笑ってくれたら嬉しいです。 「異なるシステム間での大量データの同期」って何のこと？ これは自分がつけた名前なのですが、例としてはシステムを完全にリニューアルするとかでDBのスキーマを再設計したシステムにデータを移すような場合や、あるシステム上の大量のデータをスプレッドシート
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
COBOLをJavaで「リライト」の愚、SI企業の良識はどこに？
EC2からのECS移行においてIaCとCDをどう変えたか
Cloud FirestoreからPostgreSQLへ移行したお話 - ZOZO TECH BLOG
みずほシステムトラブルの当事者が暴露！「IT部門の超弱体化」と「自前システム乱立」【IT座談会1】
150万MAUのNuxt.js製サービスを機能開発を止めずに1ヶ月&1人でNext.jsに置き換えた話
Herokuにあった個人アプリを軒並み対応した - くりにっき
5000万件越えのRDS大量データをFirestoreに移行する勘所 - ANDPAD Tech Blog
機能開発を止めずに、500コンポーネント規模の Vue 3 移行を完了させた開発プロセス
官製デスマーチがやってくる、全国の自治体やベンダーが証言するシステム移行の実態
機能開発を止めずに、6万行の TypeScript 移行を完了させた開発プロセス
サービス無停止でRDB移行 〜 Yahoo!広告のOracleDB移行事例
Windowsのシステム引っ越し作業にWingetを使って、アプリインストールを楽にするのを試みる (1/2)
メール配信システムを SaaS から新規社内システムへ移行した - エムスリーテックブログ
個人開発したサービスのバックエンドを Python から Rust に書き換えてみた
Aurora MySQLをMySQL8.0へ移行した話 - inSmartBank
古いiPhoneから新しいiPhoneへのデータ移行、やめました。
「Suica」に新改札システム 運賃計算を改札機からサーバに移行 首都圏は23年夏ごろから
大規模な移行バグを修正するための戦術 - Qiita
レガシーフロントエンドからNext.jsへの段階移行を可能にするAWS構成
「Google ブックマーク」が9月30日で提供終了／それまでに［ブックマークをエクスポート］機能で保存、「Chrome」へのインポートを
GitLab GCPに 移行した（前編） - pixiv inside
LINE MUSIC のパフォーマンスを向上させた Vue3 マイグレーション
ZOZOTOWNの基幹データベースをリプレースした話 - ZOZO TECH BLOG
Let's Encryptのルート認証局移行についてちょっと調べてみた - Qiita
なぜ我々はクラウドゲーミング基盤をKubernetesに移行したのか #CNDT2021｜うなすけ
全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
異なるシステム間での大量データの同期について - shallowな暮らし