ブラウザからDBに行き着くまでただまとめる
はじめに あなたはブラウザからデータベース(DB)に情報が行き着くまでにどんな技術が使われているか説明できますでしょうか？ どのようなプロトコルが用いられ、どの技術を駆使してサーバと通信しているのか、Webサーバでは何が行われ、どのようにして負荷が分散されているのか、トランザクションはどのように管理されているのか、そしてデータベースではシャーディングや負荷対策のためにどのような対策が取られているのか… なんとなくは理解しているものの、私は自信を持って「こうなっている！！」とは説明ができません。 そこで今回は「大規模サービス」を題材としてブラウザからデータベースに至るまでの、情報の流れとその背後にある技術について、明確かつ分かりやすく解説していきたいと思います。 対象としてはこれからエンジニアとして働き出す、WEB、バックエンド、サーバーサイド、インフラ、SREを対象としております。 1.
"提案"のレベルを上げる - Konifar's ZATSU
組織で物事を進めるのが早い人は、"提案"のコミュニケーションを取っていることが多い気がする。 "指摘"で止まるのではなく課題の解決に向けた"提案"までやる方がいいんだけれど、そもそも提案って一言で言ってもまあ難しいよね。とある1on1で雑談していて、"提案"のスキルを上げていくにあたってはいくつかのレベルに分けて考えてみるといいかもしれないと思ったので、声かけのワード別に自分の考えを雑にまとめてみる。洗練されていないので意見がほしい。 レベル0: 「どうすればいいですか」 何か問題があった時の「どうすればいいですか」という聞き方は提案ではなく指摘で止まっている。 指摘してくれるということは気づいているということだし、それを伝えてくれること自体も素晴らしいことなのだけれど、そこからどうしていくかを決めるのが大変な部分なので次のレベルにも染み出していきたい。 レベル1: 「どれにしましょうか」
Rails: モジュール化強制ツール"Packwerk"の導入を振り返る（翻訳）｜TechRacho by BPS株式会社
概要 原著者Chris Salzbergさんの許諾を得て翻訳・公開いたします。 英語記事: A Packwerk Retrospective | Rails at Scale 原文公開日: 2024/01/26 原著者: Gannon McGibbon、Chris Salzberg 日本語タイトルは内容に即したものにしました。また、一部のパラグラフを分割しています。 CC BY-NC-SA 4.0 Deed | 表示 - 非営利 - 継承 4.0 国際 | Creative Commons Rails: モジュール化強制ツールPackwerkの導入を振り返る（翻訳） 2020年、ShopifyのチームはPackwerkという名前のRuby gemをリリースしました（関連記事）。Packwerkは、Railsアプリケーション内で境界を強制的に定めてモジュール化するツールです。Packwerk
Turborepo のダミータスク topo ってなんだー！？ - Mitsuyuki.Shiiba
JavaScript や TypeScript のモノレポを便利に使えるようにしてくれる Turborepo というツールのドキュメントを読んでて、↓この部分で？？？ってなった。ので、将来の自分用にブログにまとめておくことにした。 https://turbo.build/repo/docs/core-concepts/monorepos/task-dependencies#dependencies-outside-of-a-task topo ってなんだー！？ add、subtract、multiply という workspace があって subtract は add に依存している multiply も add に依存している という場合に、こういう書き方をすると↓ { "$schema": "https://turbo.build/schema.json", "pipeline":
ウェブサイトのパフォーマンスを測定するときに平均値ではなくパーセンタイル値を採用するべき理由
ウェブサイトやAPIの応答時間を短くすることはユーザー体験につながるだけでなく、Google検索で上位に表示されやすくなるなど多数のメリットをもたらします。そうした「速度」の改善活動を始める際に目標にすべき指標として、応答時間の平均値ではなくパーセンタイル値を採用するべき理由について時系列データベースの「TimescaleDB」の開発者であるデビット・コーンさんがブログにまとめています。 How percentile approximation works (and why it's more useful than averages) https://blog.timescale.com/blog/how-percentile-approximation-works-and-why-its-more-useful-than-averages/ 多数のデータを集めた時に、そのデータの特徴を
Webサービスを作るときのテンプレートを作った - hiroppy's site
週末に自分がよく使っている技術をまとめたら反応が良かったので、テンプレートを作りました。 なにかWebサービスを作るときに、自分はこれらのライブラリを基本的には入れます。 ベースはcreate-next-appとなりますが、そこで生成された状態だと認証もDBも何もありません。 しかし、サービスを作るにあたって必要なケースがほとんどです。 このテンプレートには特定のライブラリを入れると毎回書かないといけない項目等を事前に作っておき、 開発に集中できる仕組みを作るのがゴールとなります。また、例を示しつつ削除するコード量を最小限に抑えます。 主にNext.js固有のハマるポイントや環境構築などめんどくさいけど毎回書いている点をカバーします。 linterと関連があるVSCode, pre-commit等の設定NextAuthに指定されたDB Schemaの作成やAPI routeの設置開発、テス
フロントエンドとバックエンドの一貫したバリデーションで開発プロセスに調和と効率化をもたらす - Sansan Tech Blog
技術本部 Digitization部の湯村です。 新規アプリケーション開発で採用したバリデーションロジックの管理方法を紹介します。 1. はじめに 2023年末に以下の技術スタックでデータ化アプリケーションの開発をしました。 フロントエンド: TypeScript + Next.js バックエンド: TypeScript + Express Next.js では App Router を採用しましたが、Server Components、Route Handler は利用せず、ブラウザから Express の API を呼び出す構成にしました。 SPA + API で開発する際の課題 この構成で開発をする際の課題の1つにフロントエンドとバックエンドでのコードの重複があります。 特にバリデーションのロジックの管理方法は頭を悩ませた方も多いはずです。 バリデーションに対するアプローチ バリデー
【初心者】CSVファイルをRedshiftにインポートするまでの軌跡 - Qiita
最初に 今までMySQL workbench を使っていて「RedshiftのテーブルにCSVからインポートするだけ？ 簡単でしょ」と思っていましたが、初心者には低いハードルではありませんでした。。。 エラーとの闘いと完遂までの軌跡を、自分用のメモも兼ねて引っかかった部分をまとめます。 前提 TeratermからEC2にSSH接続 EC2からRedshiftにログイン コピー先のテーブルは "CREATE TABLE" であらかじめ作成済 1. EC2から直接COPYするのが難しかった 最初に試したのは、EC2にCSVファイルを置いて、COPYコマンドで指定する方法でした。ですがパスを指定しても一向に動かない…… ドキュメントを確認したところ、Redshiftにインポートするには データファイルまたは Amazon DynamoDB テーブルから、テーブルにデータをロードします。ファイルは
SaaS アーキテクチャ概要
SaaS をアーキテクトをするにあたって、どのような事を考えればよいのか？をまとめました。
monorepo で開発時にパッケージの変更を build なしで他のパッケージに反映する方法
{ "name": "lib-a", "version": "0.0.0", "type": "module", "main": "dist/index.js", "scripts": { "build": "rm -rf dist && tsc" } } この場合、lib-a の src/index.ts を変更だけしても lib-b には反映されません。なぜなら lib-b は lib-a の dist/index.js を参照しているため、build を実行して dist ディレクトリの中を更新する必要があるからです。 またこのときに tsserver の機能を使って lib-b から lib-a の参照にジャンプしても src/index.ts に飛ばないという問題点もあります。 解決策 問題の原因は依存元の lib-a の main に build によって生成されるファイルへの
GitHub Actions で Issue を Notion に連携するしくみを作ろう！
この投稿では、複数リポジトリに分散している GitHub Issue を、 Notion データベースに同期して一括管理するしくみを GitHub Actions でつくった方法を解説します。 最終的な目標 一般的なチーム開発では、複数のリポジトリに Issue が別々に作られると思います。それらを別々に管理するのは大変なので一元管理したいと思い、もともとタスク管理に使っていた Notion に連携しました。 今回は GitHub Actions を利用して Notion に Issue を連携しますが、いくつかあるリポジトリに同じ設定をするのは少々面倒ですし保守のコストもかかります。 そこで、なるべく再利用できそうな処理は 1 つの GitHub Actions 用リポジトリに集約し、各リポジトリからはそのパイプラインを起動するようなしくみを目指しました。 システム概要としては次のような
[アップデート]Cloudwatch Logsに低頻度アクセス用のログクラスが追加されました。#AWSreInvent | DevelopersIO
はじめに こんにちはAWS事業本部コンサルティング部のみなみです。 明日からre:Inventが始まりますね！ 今年もラスベガスから最新のアップデートをお届けします! アップデートですが、Cloudwatch Logsに低頻度アクセス用のログクラスInfrequent Accessが追加されました! https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-cloudwatch-logs-infrequent-access-log-class/ 忙しい人のためのまとめ 新しいログクラスInfrequent Accessの利用により、これまで高いと感じられていたデータ転送料が半額に。 ただし、Infrequent Accessは機能の制限があり、サブスクリプションフィルターやメトリクスフィルターなどの多くの機能が使えません。 既
![[アップデート]Cloudwatch Logsに低頻度アクセス用のログクラスが追加されました。#AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
to Bスタートアップは「仮説検証」をやめようという話 - estie inside blog
こんにちは！estieでビジネス部門の責任者をしている束原です。 2024年になりましたね。estieは決算月が12月なのですが、毎年期初に「今年こそが勝負の年だ」と言っている気がしており、それに対して「ガハハ」と笑い合えるメンバーで仕事ができているのが最高に楽しいなと日々痛感しております。 さて、こちらは事業の立ち上げ（事業開発）に関する記事です。 この記事に書いてあること estieでは「仮説検証」をやめようと思っている話 事業開発の成分の8割は営業だという話 かなり極論が並んでいますが(笑)、事業開発を進める上でとても重要だと考えているので、ご興味のある方は少しお付き合いください。 to Bスタートアップは仮説検証をやめようという話 「仮説検証って言葉が嫌いなんすよねー」と、確か弊社の事業責任者の齋藤だったか代表の平井だったかが以前社内で言ってました。 1年前くらいまで私は、その発言
Snowflake & dbt Cloudハンズオン実践 #1: 『Snowflake環境準備』 #snowflakeDB #dbt | DevelopersIO
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 Snowflakeが展開しているサイト『Snowflake Quickstarts』では、Snowflake単体、またSnowflakeと他サービスとの連携について実戦形式で手を動かしながら学んでいけるコンテンツが多数公開されています。 その中の1つ『Accelerating Data Teams with Snowflake and dbt Cloud Hands On Lab(Snowflake と dbt Cloud ハンズオン ラボを使用してデータ チームを加速する)』は、dbt CloudとSnowflakeを連携させる形で、Snowflakeのデータを使ってdbt Cloudでデータ変換の処理を作り上げていく流れを学ぶことが出来る非常に参考になるコンテンツです。 当エントリ及び一連の
OpenAI APIを使ってプルリクの内容を元にリリースノートを作成する | DevelopersIO
はじめに ソフトウェアの開発には、新機能の実装やバグの修正などコードの変更が欠かせません。これらの変更に対してリリースノートを作成しているケースも多くあると思います。 本記事では、GitHub ActionsとOpenAI APIを組み合わせて、プルリクエストの内容を元にリリースノートを自動で作成してみたいと思います。 Notionデータベースの準備 今回はリリースノートをNotionデータベースに登録したいので、まずその準備をします。 My integrationsにアクセスし、「New integration」をクリックします。 ワークスペースを選択し、任意の名前を入力して「Submit」をクリックします。 すると以下のような画面に遷移します。Secretsを「Show」で表示し、値をどこかにコピーしておきます。こちらは後からGitHubのシークレットとして登録します。 続いて登録先の
食べログエンジニア組織2023年振り返り - Tabelog Tech Blog
この記事は 食べログアドベントカレンダー2023 の25日目の記事です🎅🎄 はじめに こんにちは、食べログシステム本部長の京和です。今年も🐓を務めさせていただきます（5年目）。 さて、今年のアドベントカレンダーの記事を改めて眺めてみると、技術的なトピックだけでなく、プロダクト開発やQA・テスト、マネジメントに関する記事など、幅広いトピックがあるなあと感じました。2018年や2019年のアドベントカレンダーを見てみると、その差がよく分かりますね。組織の変化が感じられてとても嬉しく思います。 本記事では食べログエンジニア組織の2023年振り返りとしていくつかのトピックに分けてご紹介していきます。 1. 食べログ事業について まずは事業についてです。食べログは2023年Q2(7月-9月)の決算において、初めてコロナ禍前の売上を超えました。 「株式会社カカクコム 2024年3月期 第2四半期
開発観点からプロダクト価値を最大化する〜バクラク新CTOのミッション〜 - LayerX エンジニアブログ
こんにちは！ 2024年1月より現 CPO の榎本（mosa）から引き継ぎ、バクラク事業部 CTO に就任した中川佳希です。 今回の記事では、CTO としてそのミッションを定めた背景とこれからのバクラクの開発について書いていきます。 あわせて引き継ぎや今後の開発について、Podcast も収録しています。こちらもぜひ！ open.spotify.com 自己紹介 大学在学中に複数企業でインターンを経験し、2013年に株式会社エウレカに入社しました。その後フリーランスを経て、2020年6月に LayerX にジョインしました。 入社前の LayerX はブロックチェーンのイメージが強く、技術課題も Solidity でのアプリケーションの開発でした。選考の期間は、会社としてブロックチェーン事業からのピボットタイミングでもありました。入社までの面談でブロックチェーン事業の経験からうまれた DX
【RailsサービスのMySQL5.7 -> 8移行: 前編】MySQLのcollation周りの話 - hacomono TECH BLOG
この記事は、hacomono Advent Calender 2023の20日目の記事です。 はじめに こんにちは、プラットフォームチーム所属のまこたすです。 この記事は主にMySQL5.7,MySQL8.0のcollation周りの挙動の違いについて書いています。AWS RDS MySQL5.7がEOLを迎える今、一番話したい内容はRails x MySQL5.7環境からRails x MySQL8.0環境へ移行する際にハマった話とそこからみる気をつけるべき観点という話題ではあるのですが、前提の話が長いので記事を２つに分けてお伝えします。今回はRailsの話は触れず、MySQLのcollation周りの話のみをします。 この記事で書くこと MySQL5.7, MySQL8.0でのサーバー, データベース, テーブルのcollationの決まり方とSHOW CREATE (TABLE|DA
DummyJSON - Fake REST API of JSON data for development
DummyJSON Get dummy/fake JSON data to use as placeholder in development or in prototype testing. View on GitHub Read Docs Got tired of Lorem ipsum data? With DummyJSON, what you get is different types of REST Endpoints filled with JSON data which you can use in developing the frontend with your favorite framework and library without worrying about writing a backend. Example Code fetch('https://dum
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Use Next.js with SST | SST