マイグレーション｜Prismaチュートリアル
さてさて、前々回の「入門！Expressのインストールと基本のまとめ」でも少し書いたのですが、Node.jsのフレームワーク「Express」を本格的に使ってみた実感として、Laravelのようなデータベース周りの機能がなく、ちょっと残念な気持ちになっていました。 ところが、やはり世界中には天才プログラマーたちが多数いるもので、Node.jsに以下３つの機能を一気に提供してくれるパッケージがあることを知りました。 マイグレーション ・・・ DBテーブルの管理 Seed ・・・ テストデータの管理 モデル ・・・ データベース操作（LaravelのEloquentのようなもの） その名も「Sequelize」です。 ※ YouTubeを見る限り、「すぃーくぅらいず」と読むようです。英語でSQLを「すぃーくぅ（る）」と読むことに掛けてるのかと思います。 しかもこのパッケージには、Laravel
SmartHR：Google Cloud へのフル マイグレーションを敢行し、モダンなサーバーレス環境を構築 | Google Cloud 公式ブログ
SmartHR：Google Cloud へのフル マイグレーションを敢行し、モダンなサーバーレス環境を構築 クラウド人事労務ソフト『SmartHR』で労務管理クラウド 4 年連続シェア No.1（※）を誇る株式会社SmartHR（以下、SmartHR）。国内有数のユニコーン企業としても知られる同社が、『SmartHR』のクラウド プラットフォームを Google Cloud へと全面移行しました。そこにどんな事情と課題があったのか、移行によってどのような価値を生み出したのか。この移行を舵取りした全社Ops クラウド基盤ユニット 藤村 宗彦氏に話を伺いました。 ※ デロイト トーマツ ミック経済研究所「HRTechクラウド市場の実態と展望 2021年度」 利用しているサービス： Cloud Run、App Engine、Cloud Storage、Cloud SQL、Memorystore
マイグレーションを実現するために - 第 2 回 : 移行戦略と移行パスとは ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
エンタープライズ・トランスフォーメーション・アーキテクトの佐藤伸広です。ソリューションアーキテクトの中でも主にクラウド移行の上流工程をご支援させて頂いております。 リモートを主とした在宅勤務などの新しい生活様式にもなれてきたことかと思いますが、我が家も家事分担の見直し実施を行い、私が中学生の娘のためにお弁当を毎朝作ることになりました。以降、常に明日のお弁当には何を入れよう、と考えています。夕ご飯はきれいに食べてしまって残りは無いし、娘の好きな唐揚げ弁当を毎日作るのも何だし、と悩みは尽きることがありません。しかしながら、前日のうちに次の日のお弁当のメニューを予め考えておくことでスッキリと眠ることが出来ますし、朝の忙しい時間にメニュー選択で慌てることもなくなります。 毎朝のお弁当作りと同じ様に、クラウド移行をする際にも、将来判断する必要があることを事前に予測し、最初から対応を考えておくことは非
これはCDK Advent Calendar 2021の3日目の記事です。 IoT事業部のやまたつです。 もともとは別の記事をアドカレ用に用意していたのですがAWS CDK v2.0.0のRCが取れたので急遽CDKv2の話をします。 AWS CDKv2リリース！！ ??? わーい！！！ re:Inventでも発表があったようですね！ [速報] AWS CDK V2 がリリースされました！ alphaが出てから1年がかり。。。長かったなぁ。。。 簡単に主な差分に説明すると以下のとおりです。このv2によってCDKの各リソースに大幅な変更が入ったということはありません。 パッケージがaws-cdk-libに統一された（いくつもインストールする必要がなくなった） 明示的にインストールしないと非安定版のクラスが使えないようになった deprecatedなプロパティやメソッドが削除された 早速マイグレ
複数のリポジトリに同じ変更をまとめて入れたい場合に手作業でやったり、手動でスクリプトを一から書くのは大変です。 Shepherdというツールを使うことで、複数のリポジトリにまとめてPRをだして、そのPRをまとめてマージすることで複数のリポジトリに一括で変更を入れた話を書きます。 Shepherd Shepherdはマイグレーション用の設定ファイル(シェルスクリプトとIDを定義するイメージ)を書いてまとめてマイグレーションするツールです。 GitHubから対象のリポジトリをローカルに持ってくるところからPRを出すところまでがステップとしてコマンドになっているツールです。 GitHubの検索クエリで対象のリポジトリを指定して、そのリポジトリをローカルに checkout ローカルのリポジトリに対して設定ファイルを元に変更を apply ローカルのリポジトリの変更を commit ローカルのリポ
マイグレーションを実現するために - 第 1 回 : 既存システムのマイグレーションはなぜ必要なのか ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
はじめまして、エンタープライズ・トランスフォーメーション・アーキテクトの佐藤伸広です。ソリューションアーキテクトの中でも主にクラウド移行の上流工程をご支援させて頂いております。 さて、みなさんも在宅勤務やいろいろな理由で生活様式が大きく変わってきていると思いますが、私も以前に比べて家事を担当することが多くなってきます。そんな中、私が担当している洗濯において特に思うのは、洗濯とは「段取りが重要」ということです。我が家は洗濯機と物干しが離れているため一旦洗濯物をカゴに入れるのですが、その際に干す順番を考えながら洗濯物をカゴに入れないと、実際に干すときに、タオルはこっち、T シャツはハンガーに掛けて、パジャマはハンガーに掛けつつズボンはこっちにかけて、とあっちこっちに手を伸ばすことになります。なので、カゴに入れる際に干すときのことを考えて、ハンガーを使うもの、洗濯物干しを使うもの、ベランダに直接
概要 目的 システムのリプレースを行うことになりました。旧(現行)システムのデータベーススキーマは、度重なる継ぎ接ぎの被害を受けたり、未使用のままの列があったり等の問題があり、新システムではスキーマの見直しを行い、ゼロからマイグレーションファイルを書き直すことにしました。 しかし、旧システムのデータベースの中身は新システムにリプレース後も引き続き使用するため、新システムのデータベーススキーマのフォーマットに合わせながら移行する必要があります。そこで、旧システムのデータベースと新システムのデータベースの両方に接続しつつ、旧システムのデータを加工しながら新システムのデータベースに詰めていく簡易的な rake タスクを書くことにしました。 環境 Ruby 2.5.1 Rails 5.2.1 事前準備 移行スクリプトから直接現行環境のデータベースへ接続するのは恐ろしいので、dump を取ってローカ
![[Ruby on Rails] 旧システムから新システムへのデータマイグレーション - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e80456bb4f77d8d6ff4ed2a5af5b33d60b4e1e95/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUnVieSUyMG9uJTIwUmFpbHMlNUQlMjAlRTYlOTclQTclRTMlODIlQjclRTMlODIlQjklRTMlODMlODYlRTMlODMlQTAlRTMlODElOEIlRTMlODIlODklRTYlOTYlQjAlRTMlODIlQjclRTMlODIlQjklRTMlODMlODYlRTMlODMlQTAlRTMlODElQjglRTMlODElQUUlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODMlOUUlRTMlODIlQTQlRTMlODIlQjAlRTMlODMlQUMlRTMlODMlQkMlRTMlODIlQjclRTMlODMlQTclRTMlODMlQjMmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTBkY2YyMDEzMTU2ODNlODQ1YmQ5ZjAyZDkxMjQxNmFh%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBPZ2loYXJhUnlvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01NTc3NTZhNjk4ZDU3NjUwOTUyMjdmZTg3YTE2MzQ1ZA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D58a795cd797b7909724de6e700e5a637)
はじめに こんにちは、がんがんです。 2024年4月、NuxtからNuxt ESLintというモジュールが公開されました。Nuxtユーザー待望のAll-in-one ESLintモジュールです。 本モジュールの登場によりNuxtにおけるリンターの設定方法が大きく変わりました。 本記事ではNuxt ESLintを用いたマイグレーションを中心に新しいNuxt ESLintをセットアップしていきます。 Nuxt ESLint とは Nuxt ESLintはAll-in-one ESLint integration for Nuxtと公式ドキュメントに記載がある通り、NuxtユーザーのためのAll-in-oneモジュールです。 今までのNuxtユーザーは Nuxt3でESLintを使う場合、どれがNuxt公式のルールだろう NuxtでESLint Flat Configはどうすれば良い？ nuxt
第521回から紹介しているLXD 3.0の基本的な使い方シリーズ。今回はスナップショットとリストア、それにコンテナのマイグレーションについて紹介します。 LXDコンテナのバックアップとリストア LXDはシステムコンテナです。つまりDockerコンテナのように不変（immutable）で使い捨て（disposable）可能な使い方ではなく、むしろvirt-manager/KVMやVMWareのように、システムを立ち上げたあとにログインして様々な変更を加えることで、最終的なイメージを構築する使い方を想定しています。 今そこにあるLXDコンテナが、もう一度まったく同じ構成で構築可能かどうかは運用次第です。実運用で使っているコンテナであれば、おそらくcloud-initやAnsibleで再構築可能でしょう。ポリシーによっては、ドキュメントでフォローしているかもしれません。 ただし実験目的でちょっと
FabricからFirebaseへのマイグレーション
Fabric は 2020 年 3 月 31 日をもって、Firebase に統合されます。 https://get.fabric.io/roadmap そのため、Fabric で使っていた Beta や Crashlytics を Firebase にマイグレーションをする必要があります。 今回は、iOS と Android で Beta と Crashlytics を Firebase SDK に置き換えた話をします。 Firebase CrashlyticsFabric の移行フローに沿って、Firebase Console の操作をします。 その後、Firebase Console にある Crashlytics が Fabric と同期されるようになり、クラッシュイベントが表示されるようになります。 ここまでは簡単なのですが、Fabric で使っていた SDK を Firebas
Roomのマイグレーションまとめ
Roomのマイグレーションについてまとめておきます。 環境Room 2.2.0やっておいたほうが良いことRoomのマイグレーションはテストが可能なのですが、その前にやっておいたほうが良い設定があります。 build.gradleに以下の設定を最初から追加しておくことをオススメします。 android { defaultConfig { javaCompileOptions { annotationProcessorOptions { arguments = ["room.schemaLocation": "$projectDir/schemas".toString()] } } } }この設定がなくても、Room自体は使用可能なのですが、マイグレーションのテストするには必要になります。 この設定をしておくと、モジュール直下にschemasのディレクトリが作られ、 1.json のようなバー
SQL マイグレーション作成ツール prrn を公開しました。 利用すれば Go 等のプロジェクトでの SQL マイグレーションが楽に行えるようになるかと思います。 現状は MySQL のみの対応となっています。 通常 Go などの言語で RDB へのマイグレーションを行う際は、Up/Down ファイルを記述することが多いと思います。 しかしながら多くのALTER TABLEが記述された Up/Down ファイルから最終的なスキーマ定義を知ることは難しく、実際に適用するまで分かりにくい事が多いと思います。 また、マイグレーションのファイルを記述する際もそこそこ面倒で、常に Up/Down をセットで記述するべきですがミスも起こりやすいように思います。 今回作成したツールは、宣言的にテーブルを定義する SQL ファイルからマイグレーションファイルを自動生成します。 定義ファイルにはCREAT
ep.155『Vue 3 + Vite マイグレーション座談会 〜 安全なログイン基盤のための戦略的な移行計画』 | UIT INSIDE
@odan3240 が @cola119、@kazuma0129 とともにLINEログインのフロントエンドのVue 3化について話しました。 マイグレーション対象の概要 シングルページアプリケーションの構成 Vue 2のサポート終了に伴うセキュリティ懸念 パフォーマンス向上とTypeScriptサポート 実施したこと Vue 2.6から2.7へ、そしてVue 3へアップグレード 静的解析の強化とESLintでの破壊的変更検出 外部依存性問題と非互換性のプラグイン対応 Viteへの移行でビルド速度向上 ビジュアルリグレッションテスト導入 Refs BGM&SE 魔王魂/騒音のない世界/OtoLogic
【レポート】非インフラエンジニアでもできる！ビッグデータ分析基盤マイグレーション #AWSSummit | DevelopersIO
1. マイグレーション前夜 データ分析基盤の設置目的 ユーザー行動データ分析にもどづく運営が大事である そのためデータ分析を行うための基盤も必要 旧データ分析基盤構成 ゲーム環境とは異なる構成 Hadoop中心 リクエストは多くはないが一個一個のクエリが非常に巨大だった パワフルで巨大なDBが必要だった 2種類のデータ経路 ユーザー行動データ ユーザーのゲーム内資産データ 流し込んだ後は集計しBIツールでデータを活用 危機 あらゆる障害が同時多発的に出現 インフラエンジニアのチーム離脱 上層部からのランニングコスト縮小の圧力 オンプレでの設置場所からの退去指示 -> 急遽データ分析基盤マイグレーションを迫られた マイグレーションに課せられた厳しい条件 マイグレーション完了デッドラインまで10ヶ月 非インフラエンジニア平均1.25人で完遂しなければよかった -> こうなったらクラウド使うぞ！
strong_migrations gemの導入でRailsマイグレーションのメタデータロック待ちリスクに対処する
TL;DR strong_migrations gemの導入により、開発者がルールを意識しなくてもRailsマイグレーションのメタデータロック待ちのリスクを低減させることができた タイムアウト時のマイグレーションのリトライ機能や危険なマイグレーションのチェックが便利なため、Railsのマイグレーションを行う際はとりあえず導入するのがおすすめ 導入の経緯 trocco®開発チームではアプリケーションにRails、RDBにMySQLを使用しており、DBスキーマのマイグレーションにはRailsのマイグレーション機能を利用しています。 サービス運用を続けるうちにDBへのスロークエリが徐々に増えてきたため、DDL適用によるメタデータロック待ちのリスク[1]が高まってきました。 例えば最悪の場合、以下のような事態が起こりうります。 とあるセッションで数十分レベルのスロークエリが発生 そのクエリが共有メ
はじめまして、保険太郎と申します。 今回は、数十年前から稼働する大規模保険システムのマイグレーション（Javaによるオープン化）という案件に携わった中での経験を少しだけお話ししたいと思います。 １．案件の背景 ２．肥大化したシステムをどのようにリリースしていくか ３．案件に取り組むうえで大変だったこと、苦労したこと ４．開発をスムーズに行うために ５．さいごに １．案件の背景 数十年前に構築された現行保険システムは既存商品の改定や新商品の追加、クレジットカードやQRコード決済といった支払方法の多様化などその時代にあったニーズに応えるため、何十年もかけて改修を続けてきたことにより、システムが肥大化しすぎたことで、新たなニーズにスムーズに対応することが厳しくなってきました。 そこで、Javaによるオープン技術を用いて、システム構成を見直し、よりわかりやすく、拡張性の高いシステムへと刷新すること
Windows アプリの DB 周りを調べていて、EF Core のマイグレーションがかなり便利だなと思ったので、構築手順とマイグレーション方法について記載します。 EF Core とは 公式サイトより引用です。 Entity Framework Core は、.NET 用の最新のオブジェクト データベース マッパーです。 LINQ クエリ、変更の追跡、更新、スキーマの移行がサポートされています。 EF Core は、SQL Database (オンプレミスと Azure)、SQLite、MySQL、PostgreSQL、Azure Cosmos DB などの多くのデータベースに対応しています。 環境 Visual Studio 2019 .NET Core 3.0 EF Core 3.1.7 SQLite 手順 1. WPF アプリのプロジェクトを新規作成し、以下の NuGet パッケー
Docker環境を構築し、Golang Echo v5-alphaでJWT Token認証 ホットリロード、リモートデバッグ、マイグレーション、GormのORMが入ったフルスタックフレームワークチックな環境の構築をした - Qiita
Docker環境を構築し、Golang Echo v5-alphaでJWT Token認証 ホットリロード、リモートデバッグ、マイグレーション、GormのORMが入ったフルスタックフレームワークチックな環境の構築をしたGoDockerGORMGoModulegolang-migration docker環境を構築し、 Go言語のフレームワークのechoフレームワークに、 JWT Token認証 ホットリロード、リモートデバッグ、マイグレーション、 GormのORMと色々入ったフルスタックフレームワークチックな環境の構築をしてみました。 今回の記事は、この記事の作成の為に公開しました、gihubのソースの動かし方の説明になります。 ※githubのソースは記事の一番下になります。 記事の評判がよければ、ライブラリーの比較や説明、ソースコードの説明等記事を更新するかもしれません。 ※ vali
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
CircleCI Orbsを使ってRailsのECR・ECSへのデプロイ（マイグレーション込み）を自動化した話 - Qiita
TL;DR ECS の RunTask を実行でマイグレーション込みのデプロイが自動化できた いきなりですが 2 ヶ月前ぐらいまで下記の手順でデプロイを行っていました @ローカル コンテナ作成 (docker build) コンテナにタグづけ (docker tag) ECR のコンテナイメージを更新 (docker push) AWS の RDS にマイグレーション実行 (rails db:migrate) AWS コンソール画面で ECS の手動でリビジョン更新 サービスでタスク定義の更新 新旧タスクが入れ替わるのを見守る 現在は・・・ デプロイブランチ(production や statging)にプッシュ slack で結果を待つ 一番の壁、マイグレーション実行 実は、今回のこの記事でお伝えしたいのは前述の中でも 「4 の RDS のマイグレーション」の部分です ローカルで実行して
AWSなどのクラウドサービスへサーバーをそのまま移行します CloudEndureの利用事例は徐々に増えているようですが、実際に移行してみた際に失敗したことや注意事項などがいろいろ見つかったため、記しておくことにしました。 ちなみに、「サルでもできる」とか「ネコでもできる」というのはよく使われますが、私はウサギ派なので「ウサギでもできる」というタイトルにしてみました。実際ウサギって身体の大きさの割に脳が小さいらしく…なんでもないです。 私自身、雑種のいわゆるミニウサギをもう12年間飼っていますが、めちゃくちゃ可愛いです！もうかなりのお爺ちゃんなので老化してきていますが、食欲旺盛、毎日元気です！ これまでのマイグレーションはほぼ全部OSの更新だった 2015年ころからお客様が保有しているWindowsサーバーのクラウドへのマイグレーションは数えきれないくらい実施してきましたが、これまでの案件
#!/bin/sh # Wait MySQL up while ! mysqladmin ping -h"$MYSQL_HOST" --silent; do sleep 1; done # Migration（typeorm migration:run をyarnでラップ） yarn migration:run # Run api application yarn start メリット この場合、ローカルで開発するときもDockerfileから環境を構築すれば、開発者がマイグレーションを忘れたまま開発してしまうことは絶対にない。 また、ステージングや本番環境に適用するときもローカルと同じようにイメージをビルドしてデプロイすればいいだけなのでとてもシンプルに保てる。 デメリット もちろん採用しなかった方法なのでデメリットもある。 まず、O/Rマッパーのマイグレーション処理はデータベースの現在
Amazon API Gatewayの「HTTP API」へのマイグレーション #reinvent | DevelopersIO
Amazon API Gatewayの新機能「HTTP API」 re:Invent 2019期間中、Amazon API Gatewayの新機能「HTTP API」が発表されました。現在プレビューとして、US East (Ohio), US East (N. Virginia), US West (N. California), US West (Oregon), Asia Pacific (Sydney), Asia Pacific (Tokyo), EU (Frankfurt), EU (Ireland)で提供されています。 本記事では以下のドキュメントに記載されているHTTP APIへのマイグレーション方法を確認したいと思います。 Migrating to an HTTP API - Amazon API Gateway 本記事はプレビュー版として公開されているドキュメントを参考に
AWS DataSyncとAmazon FSxを使って1ヵ月でファイルストレージをAWSへマイグレーション | Amazon Web Services
Amazon Web Services ブログ AWS DataSyncとAmazon FSxを使って1ヵ月でファイルストレージをAWSへマイグレーション このブログはVaibhav Singh (Cloud Infrastructure Architect with AWS ProServe India)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 オンプレミスからクラウドへの移行では、さまざまなお客様がそれぞれに異なった環境を持っていて実現方法も異なります。あるお客様はオンプレミスで稼働しているワークロードの規模が小さかったり、あるお客様は複数のデータセンターに複数のストレージアレイを設置していたり、さらに複雑で膨大なセットアップを行っているお客様もいるかと思います。クラウドに移行する場合、現在のデータストレージ環境を調査することの難しさや、どのように始め
Blue Matadorが実施した、自己管理型KubernetesからTerraformを使ったAWS EKSへのマイグレーション
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
はじめまして、保険太郎と申します。 今回は、数十年前から稼働する大規模保険システムのマイグレーション（Javaによるオープン化）という案件に携わった中での経験を少しだけお話ししたいと思います。 １．大規模保険システムのマイグレーションへの挑戦 1-1.案件の背景 1-2.肥大化したシステムをどのようにリリースしていくか ２．案件に取り組むうえで起こった問題 2-1.既存システム全体の把握 2-2.海外メンバーとの伝達齟齬 ３．さいごに １．大規模保険システムのマイグレーションへの挑戦 1-1.案件の背景 数十年前に構築された現行保険システムは既存商品の改定や新商品の追加、クレジットカードやQRコード決済といった支払方法の多様化などその時代にあったニーズに応えるため、何十年もかけて改修を続けてきました。 その結果、システムが肥大化し、新たなニーズにスムーズに対応することが厳しくなってきました
Go言語のORMであるGORMをv1からv2へのマイグレーションした話 #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。バクラク請求書チームでエンジニアをしている赤羽です。 昨年の12月のLayerXにJOINしたので、今月でちょうど1年経ちました。 この記事は LayerXテックアドカレ2023 25日目の記事です。 前回はsh_komine が「相互理解の重要性と、促進するためのワークショップのご紹介」を書いてくれました。次回は@yoheiよりポストされる予定なのでご期待ください。 GORMとは GORMはGo言語の人気のあるORM（Object Relational Mapping）ライブラリです。 データベース（テーブル）とGoの構造体のマッピングを簡単に行うことができます。シンプルな構文、多様なデータベースサポート、マイグレーション、トランザクション管理など、豊富な機能が提供されています。 柔軟なクエリビルダーも提供され、開発者に使いやすいORMライブラリとなっています GORMに
FastlyにおけるDirectorを使った同一ドメイン環境でのマイグレーションについて | メルカリエンジニアリング
はじめに こんにちは、メルカリのネットワークチームでエンジニアをしているkakkyです。 普段は主にCDN領域を担当しており、新規サービスで使うCDN環境の構築や既存環境の動作内容のカスタマイズ、各種契約周りの業務などをやっています。 今回はUS版メルカリのバックエンド環境をFastlyのDirectorと呼ばれるLoad balance機能を使って、無停止で移行した方法について解説させていただきます。 なお、説明をシンプルにするために実際の設定内容とは少し異なる箇所がありますので予めご了承ください。 移行環境について 少し前に、US版メルカリではFastlyのバックエンドとなっているバックエンド環境を旧環境から新環境へと移行させるプロジェクトが開始されました。メルカリではUS側のCDNの運用もJPの私達のチームでやっていますので、ある日USのメンバーから達成方法についての相談がきました。
Biryani プロジェクト(メッセージ検索機能のCloudSearchからElasticsearchへのリプレイス)について vol.4 - 差分マイグレーション編 - - Chatwork Creator's Note
こんにちは、梶原(cw-kajiwara)です。 Biryani PJシリーズでの投稿です。今回の記事ではメッセージ検索機能におけるメッセージの差分マイグレーションを行うKafka Consumerアプリケーション、通称Indexerについて紹介いたします。 vol.1ではプロジェクト発足の背景・概要を、vol.2ではPJ前後のシステム構成、Elasticsearchの負荷試験考察やCWでの運用方法、vol.3ではデータマイグレーションについて紹介していますのでご興味あればぜひこちらもご覧ください。(ご興味あれば、と言いつつも読んでもらっていることを前提にしてしまっているところは所々あります) Biryani プロジェクト(メッセージ検索機能のCloudsearchからElastcsearchへのリプレイス)について vol.1 - Chatwork Creator's Note Biry
Cognitoのユーザープールから無理やりAuth0にオートマイグレーションしてみる | DevelopersIO
Cognitoのユーザープール構築済み ユーザー作成済みで、パスワードの変更も終了済み エンドユーザーのサインイン ユーザー名 検証済みのEメールアドレスでのサインインも許可 必須の標準属性 email 移行用のDatabase作成済み 設定 Requires Username をオンにする(emailかusernameでログインできるように) Import Users to Auth0 をオンにする Use my own database をオンにする この条件下でやっていこうと思います。 ※ 今回試したのはログインスクリプトのみです。Get Userスクリプトに関しては検証していませんのでご注意を 移行の流れ 以下のシナリオで試します。 ユーザーがアプリケーションのログインページにアクセス メールアドレス(ユーザー名) と パスワードを入力 Auth0のカスタムDBスクリプトから入力さ
週刊Railsウォッチ: マイグレーションをStrategyパターンで拡張可能にほか（20220704前編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 参考: Comparing @{2022-06-23}...main@{2022-06-30} ·
6千万記事レコードの大規模データマイグレーション
本記事では、ストックマークで2022年の12月に実施した、6千万件を超える記事レコードの大規模データ基盤マイグレーションについて紹介いたします。本記事を読むことで、大規模データマイグレーションの勘所を実例から学べます。 本記事でお伝えする内容は以下の4点となっています 背景検討の進め方大変だったこと再現可能な知見背景ストックマークでは大量の記事データを利用するプロダクトとして、AnewsとAstrategyの2つのプロダクトがあります。どちらのプロダクトも共通の記事データストアにある内容に、プロダクトごとの弊社独自の自然言語処理を加えたものを活用しています。アーキテクチャを簡単に表すと次のようになっています。 AnewsとAstrategyでは解決する顧客課題が異なります。それぞれのプロダクト観点ごとに、顧客価値のディスカバリーを最優先としたことから、お互いのプロダクトで独自に進化してきた
% sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G95 事象 Macでtmuxを使っていた。 .tmux.confを用意してカスタマイズして使っていた。 このとき、homebrewを使って brew upgrade をしてtmuxをバージョンアップしたときに差異を発見。 バージョン 2.9aを使用 /Users/hoge/.tmux.conf:114: invalid option: status-attr /Users/hoge/.tmux.conf:117: invalid option: window-status-fg /Users/hoge/.tmux.conf:118: invalid option: window-status-bg /Users/hoge/.tmux.conf:1
オンプレNFSサーバーからAWS S3へ無停止マイグレーション 〜双方向リアルタイム同期処理の自前構築〜 - LIVESENSE ENGINEER BLOG
概要 オンプレNFSサーバー 移行対象アプリケーション 無停止マイグレーションの選択と段取り 双方向リアルタイム同期処理の自前実装 背景: AWS DataSyncの利用を断念 設計: 同期処理の構成要素と実装 初回のフル同期と同期漏れの確認 循環更新の防止 NFSからS3方向への同期 S3からNFS方向への同期 ファイル操作順序の一貫性と削除操作のリスク S3 Bucket更新イベントはフォルダの粒度でも発生する 同期漏れは手動でリカバリ 移行後 これから 概要 テクノロジカルマーケティング部インフラストラクチャーグループの春日です。 弊社ではアルバイト求人サイトの マッハバイト を運用しており、2023年9月現在オンプレからAWSへの移行が進んでいます。 上記移行プロジェクトの一環として、マッハバイトの求人画像ファイルが保存されているオンプレNFSサーバーのデータをAWS S3 Buc
こんにちは。EC事業部でカラーミーショップ アプリストアの開発をしています @gatchan です。 カラーミーショップでは、フロントエンド開発の技術要素の一つとしてVue.jsを採用しています。 以前、ショップ運営を支えるプロダクトにフロントエンド開発環境を薄く導入している という記事で、Vue.jsとCustom Elementsを活用したUIコンポーネントの開発事例を紹介しました。 しかしながら、Vue 2系のサポートが2023年末までであることから、そろそろカラーミーショップのVue.jsアプリケーションもVue 3系にマイグレーションしていかなければなりません。 このようなマイグレーション業務は継続して一定の品質を担保するようにサービスを提供する上では欠かすことのできないものですが、一方で進行中の施策に追われてどうしても後回しになってしまいがちです。 そこで、EC事業部のエンジニ
はじめに Railsはとても便利なwebアプリケーションフレームワークです。 gitも非常に便利なソースコード管理ツールです。 この2つのツールがあれば、初心者でも効率良くwebアプリケーションを開発できます。 ただし、学習用の小さなアプリケーションを一人で開発しているときはブランチはひとつかふたつで十分ですが、業務などで大きなアプリケーションを複数人で開発する場合は、複数のブランチで並行して開発が進める必要が出てきます。 こういうケースではデータベースマイグレーションを正しく理解し、正しく扱わないと、開発環境やソースコードが混沌としてきます。 Rails初心者の多くはこうした知識を持たないまま、チーム開発に参加しがちです。 この記事では「学習用の小さなRailsアプリケーション」を卒業し、「チームで開発する大きなRailsアプリケーション」に足を踏み入れる前に知っておくべき、データベース
CentOS 7からRocky Linux 8へマイグレーション 色々あって、随分更新が出来てなかったのですが、久々の更新です。 プライベートで趣味＆実験用に使っているElasticsearchを入れたCentOS 7があります。 このOSは、CentOS 8とは違いサポートが2024年まで続くとはいえ、メインの開発者がRocky Linux を立ち上げていたりするので、長く使うならそろそろ移行しどきかな？と思いました。 で、その手順ですが、ライバル？であるAlma Linuxが配布するパッケージを使うと、案外簡単にいけたので、備忘録として残しておきます。 まあ、最近はこの環境より、ubuntu 20.04＠WSL2が便利すぎて、こっちの利用率は減ってきているのですけどね。(^^; インターネットをgoogle先生で少し探すと、このマイグレーションには割と色々な手段があるようです。 いくつ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
便利！Node.jsにDBマイグレーション、Seed、モデルを用意する「Sequelize」
【キーマンウォッチ】 2021年は「業種ごとのソリューション提案」と「基幹システムのマイグレーション」を推進――、AWS・長崎忠雄社長
AWS CDKv2にマイグレーションしてみた #reinvent | DevelopersIO
shepherdを使って複数のリポジトリに一括でPRを出してまとめてマイグレーションする
[Ruby on Rails] 旧システムから新システムへのデータマイグレーション - Qiita
Nuxt3のLinterは Nuxt ESLint で整備する (マイグレーションあり)
第574回 LXD 3.0のスナップショットとマイグレーション | gihyo.jp
マイグレーション作成ツールprrnを作った
大規模保険システムのマイグレーションへの挑戦 - シー・エス・エス イノベーションラボ（ブログ）
EF Core のマイグレーションがすごい便利だった
モノリスからマイクロサービスへ - サービスメッシュを使ったSnapのマイグレーション
ウサギでもできるAWSへのサーバーマイグレーション～CloudEndureでやってみた～ - Qiita
O/Rマッパー×コンテナ技術使用時のマイグレーション実行タイミングについて
大規模保険システムのマイグレーションに携わった話 - シー・エス・エス イノベーションラボ（ブログ）
QNAP NAS用OS最新版「QTS 4.5.1」発表、VMライブマイグレーションやAzure AD DSの新機能が利用可能に
tmux2.9aにアップデートしたらマイグレーションが必要だった - Qiita
カラーミーショップの管理画面のVue 3マイグレーションを行っています - Pepabo Tech Portal
【Rails初心者向け】ブランチを切り替える前に気を付けたいDBマイグレーションの注意事項 - Qiita
CentOS 7からRocky Linux 8へマイグレーション