こんにちは。サーバサイドエンジニアの三瓶です。印刷ECサイトの ラクスル の開発保守を担当するチームに所属しています。 ラクスルでは Raksul Platform Project (RPP) と称して技術負債の返済活動を継続的に行っているのですが、その流れの一環として印刷ECチームでは巨大化したアプリケーションから商品仕様に関わる部分を別サービスとして切り出す、という作業を最近行いました。 この切り出したサービスでは通信方式として gRPC を、言語としてはRubyを採用しています。 実際に導入してみて、gRPCはまだドキュメントも多くはないと感じたので、本記事ではgRPCが備える機能の1つである Interceptor についてチュートリアル形式でご紹介したいと思います。言語はもちろんRubyを使います。 ※ gRPC導入に至った背景や経緯について興味のある方は弊社エンジニアの二串のス
It's always DNS . . . except when it's not: A deep dive through gRPC, Kubernetes, and AWS networking
Looking for Datadog logos? You can find the logo assets on our press page.
Go言語gRPCを爆速で試す方法 - Qiita
やりたいこと Go言語gRPCのクライアント⇔サーバ通信をローカルで試す。 1.インストール準備 ・protocインストール(こちらを参照) go install google.golang.org/protobuf/cmd/protoc-gen-go@latest go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
はじめに Cloud Run のマルチコンテナがパブリック プレビューでリリースされました。本記事ではマルチコンテナを使って、1 つの Cloud Run サービスでサイドカー Envoy を使った gRPC-Web サービスを構築します。 本記事は前半が Cloud Run にサービスをデプロイして Web から呼び出してみるパート、後半が説明パートになっています。説明だけ読みたい場合は前半をスキップしてください。 マルチコンテナについては以下の記事もぜひ参考にしてください。 やってみる 環境など 新しいプロジェクトと Cloud Shell での操作を想定しています。ローカルで操作する場合は必要なツール等を適宜インストールしてください。 サンプルのコードはこちらを使います。 事前準備 こちらをクリックしてください。Cloud Shell が開いてリポジトリがクローンされます。エディタは
導入こんにちは。ワンキャリアでバックエンドエンジニアをしている田中（@kakke18_perry）です。業務では、ONE CAREER CLOUDの開発に携わっており、リアーキテクチャの一環で、一部の機能をGo+gRPCでリプレイスしています。 本記事では、そのリプレイスにおけるアーキテクチャや技術の選定理由と振り返りについてお話します。 背景現在のワンキャリアではプロダクトごとのモノリシックなアーキテクチャを採用しており、メインとしてRuby on RailsとVue、AWSを使用しています。社内にもナレッジが多く、優れたフレームワークであることから、開発生産性の向上に大きく寄与してきました。 一方で、複数プロダクトを開発運用する中で「認知負荷の増大」という課題が顕在化しつつあります。ONE CAREERはリリースから9年、ONE CAREER CLOUDはリリースから3年経過しており、
はじめに grpcでC#からpythonへ通信をする方法をまとめました。 リポジトリ：https://github.com/kz-000/grpc_example プロジェクトの構成は以下のようになっています。 grpc_example ├ api (protoファイル) ├ client (C#) └ server (python) API 今回はIDを受け取り、ユーザー名を返すような簡単なAPIを実装しようと思います。 //user.ptoro syntax = "proto3"; package api; message GetUserRequest { int32 Id= 1; } message GetUserResponse { string Name = 1; } service UserService{ rpc GetUser (GetUserRequest) return
ASP.NET Core now enables developers to build gRPC services. gRPC is an opinionated contract-first remote procedure call framework, with a focus on performance and developer productivity. gRPC integrates with ASP.NET Core 3.0, so you can use your existing ASP.NET Core logging, configuration, authentication patterns to build new gRPC services. This blog post compares gRPC to JSON HTTP APIs, discusse
gRPCで一時的なネットワーク断でのtransportエラーを回避する - Carpe Diem
背景 gRPCを利用していると、デプロイを含む一時的なネットワーク断で以下のようなエラーが発生することがあります。 rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp xxx: connect: connection refused" rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing: dial tcp: lookup xxx: i/o timeout" これはgRPCがfail fastの思想になっており、ChannelがTRANSIENT_FAILUREの状態だとRPCを即座に失敗させるようにして
API Showdown: REST vs. GraphQL vs. gRPC – Which Should You Use?
Transcript Welcome to the API showdown. I'm joined by three panelists, each chose to be a representative of one particular API technology, more or less. Any good architect knows the only time you should ever use always or never is to say we will never do an absolute. I don't want to paint any of the panelists into a corner as only an expert on one topic. It's just a helpful way to create a discuss
以前の記事で、gRPCでclientもserverもGoで開発し、簡単なメッセージ送信受信を実装し、gRPCの感触を掴みました。 その時はこちら。 この記事では、上記の記事にさらに手を加えて通信時に簡単な認証処理を加えてみます。 具体的には以下のようなことをやります。 * クライアント側では通信時にメタデータに認証トークンを載せます * サーバ側では通信を受けた際にメタデータの認証トークンが妥当かどうか検証します * 認証トークンは"testtoken"とします。Bearerトークンと同じようにprefixとしてBearerを付けます ちなみにメタデータというのは通信メッセージとは別に送信されるデータでHTTPヘッダーみたいなものなのかと理解しています。 クライアント側の処理Bearerトークンを設定したメタデータを送信contextに追加したら完了です。 あとはこのcontextを使用し
はじめに Go製のAPIサーバとDartクライアント（Flutterを想定）間の通信をgRPCで行う方法について書きます 日比谷音楽祭おさんぽアプリ2020 開発の裏側を語る / サーバー編というDeNAの20新卒、21卒内定者の方の記事を参考にしたので共有しておきます。 また、なぜgRPCを使うと嬉しいのかは、Cloud Native Days Tokyo 2020の南 直さんのセッション "Real World Migration from HTTP to gRPC"を聞くとわかりやすいのでこちらも共有しておきます。リンクからアーカイブ動画に飛べます。 準備 .protoファイルから自動生成するにはprotocコマンドと周辺プラグインを使用する必要がありますがローカルにいろいろインストールするのは嫌なので、Dockerコンテナを立ち上げて各言語のコードを生成します。現在のProtoco
GitHub - connectrpc/connect-go: The Go implementation of Connect: Protobuf RPC that works.
Connect is a slim library for building browser and gRPC-compatible HTTP APIs. You write a short Protocol Buffer schema and implement your application logic, and Connect generates code to handle marshaling, routing, compression, and content type negotiation. It also generates an idiomatic, type-safe client. Handlers and clients support three protocols: gRPC, gRPC-Web, and Connect's own protocol. Th
【GoとgRPCとバリデーション】go-proto-validatorsでgrpcurlを使えるようにする - Qiita
はじめに gRPCサーバのバリデーションを実装するにあたって、go-proto-validatorsは大変便利なのですが、gRPCクライアントツールで動作確認できないという罠に嵌ったので、原因と解決策を共有します。 go-proto-validatorsの基本 go-proto-validatorsとは？ go-proto-validatorsはGo向けのgRPCのバリデーションツールです。 protoファイルに直接バリデーションルールを記載することでIF情報を一元管理できるようになるのと、バリデーションコードの自動生成ができるのが良いところです。 使い方やルール一覧などの詳細はGitHubのページを確認してください。 Star数の割にはかなり良さそうです。 なぜgo-proto-validatorsを使いたいのか？ gRPCサーバのバリデーション実装には、REST-APIサーバ同様にoz
At Coinbase, we have been evaluating gRPC for new services and have had a positive experience so far. We’ve also been closely watching the trends of the industry towards “Serverless” architectures. We’ve been experimenting with the AWS Lambda platform as a location to run various types of workloads, including API endpoints. However, we are curious if there’s a way to unify these. There are two mai
google-cloud-go/testing.md at main · googleapis/google-cloud-go
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
.NET gRPC クライアント ライブラリは、Grpc.Net.Client NuGet パッケージで提供されています。 このドキュメントでは、以下の方法について説明します。 gRPC サービスを呼び出すように gRPC クライアントを構成します。 unary、サーバー ストリーミング、クライアント ストリーミング、双方向ストリーミングの各メソッドに対する gRPC 呼び出しを行います。 gRPC クライアントを構成する gRPC クライアントは、.proto ファイルから生成される具象クライアント型です。 具象 gRPC クライアントには、.proto ファイル内の gRPC サービスに変換するためのメソッドが含まれます。 たとえば、Greeter というサービスにより、サービスを呼び出すメソッドを含む GreeterClient 型が生成されます。 gRPC クライアントはチャネルか
grpc-toolsを使って.protoファイルからNode.jsのgRPC clientコードを生成する - Qiita
※ grpc-toolsには protoc 本体も含まれている 前提として次の hero.proto がheroディレクトリ以下にある状態でこの後の手順を解説する。 これは、nestjsの sample/04-grpc から拝借した。 syntax = "proto3"; package hero; service HeroService { rpc FindOne (HeroById) returns (Hero) {} } message HeroById { int32 id = 1; } message Hero { int32 id = 1; string name = 2; }
gRPCのserver-side streamをclientから切る方法@Golang - tsuchinaga
サーバ側は単純にreturn nilするだけで、クライアントにio.EOFが飛ぶからいいんですけどねー。
Golangでのgrpcエラーハンドリング
gRPCのエラーの扱い方gRPCでのエラーに関してgolangではどう向き合うべきなのか知るべくひとまず知識をまとめた。 golangでのerrorハンドリングgolangではerrorをどのように取扱うのがよりよいのかというのがしばしば話題になることがある。 golang自体がシンプルなゆえに、考慮することが多い。 エラーの種類 stack trace メッセージ ステータス errorの伝搬 標準パッケージだけでは難しいことも多いため、errorsなども利用して行うことが多い。(Error handling in Upspin) grpcのgolangでのerrorハンドリング自分はgolangを使ったmicro serviceの開発をしていることもあり、grpcでのエラーに関してどう向き合うべきなのか知る べく知識をまとめた。 gRPCのエラーのまとめサーバー、クライアントでのerr
kubernetesで、HTTP/2を負荷分散してみた はじめに 背景 現在学生プロジェクトでインフラとして、GKE(Google Kubernetes Engine)を利用させて頂いています。 REST APIサーバを、gRPCに換装してみようとした時にある問題にぶち当たりました。 前提知識として Kubernetesのロードバランサ Services are a “layer 4” (TCP/UDP over IP) construct, the proxy was purely in userspace 現行のKubernetesのIngressは、OSI参照モデルのトランスポート層(L4)のロードバランサを提供しています。(beta版はその限りではないです！) gRPCの通信の仕方 gRPCでの通信は、 一つのTCPコネクションを使い回します。 つまり、コネクションが確立している間
Swagger Logo by SMARTBEAR ©.While working with gRPC framework and the grpc-gateway library to develop a gRPC application with REST support and swagger integration, I realized that despite all example codes in the grpc-gateway repository, it still takes a lot of time to setup and have a working application. In this post, I will list some of the things I discovered while working with the two librari
はじめに (当時)Go歴1ヶ月の私が急遽gRPCを用いてバックエンドのAPIを開発してる業務に参画することになり、必要にかられて急いで学んだので、その時の学びを共有します✎ ※Qiitaでデイリーのトレンドに載りましたー！！ gRPCって最近よく聞くけど、「なにそれ？」って方も多いと思うので(私もそのうちの1人でした)、自分の学びを纏めるためにもgRPCのエントリー記事を書こうと決意し、Go 5 Advent Calendar 2020に登録しました！ gRPCとは gRPCって良いらしい 最近gRPC流行ってるらしい 等聞いたことは多いと思いますが、簡単に説明すると RPC (Remote Procedure Call) を実現するためにGoogleが開発したプロトコルの1つ Protocol Buffers を使ってデータをシリアライズし、高速な通信を実現できる IDL（インターフェー
syntax = "proto3"; package sample; import "google/api/annotations.proto"; service UserService { rpc ListUsers (ListUserRequest) returns (ListUsersResponses) { option (google.api.http) = { get: "/api/v1/users" }; }; rpc GetUser (GetUserRequest) returns (User) { option (google.api.http) = { get: "/api/v1/users/{encrypted_id}" }; }; rpc CreateUser (CreateUserRequest) returns (User) { option (google.a
- 質問ドキュメント(編集可能) : https://bit.ly/3d4U0iU - 質問ドキュメント(閲覧専用) : https://bit.ly/mercarigoOH_readonly - Twitterハッシュタグ : # mercarigo ( https://twitter.com/search?q=%23mercarigo&src=typed_query ) - 過去の Gophers Office Houres : https://bit.ly/30Y5wKT - gRPC and REST with gRPC in practice by kazegusuri https://speakerdeck.com/kazegusuri/grpc-and-rest-with-grpc-in-practice - connpass_Mercari グループ : https:/
When I read the gRPC-Web documentation, I was surprised to see Envoy used without any explanation: In this example, we will use the Envoy proxy to forward the gRPC browser request to the backend server. - gRPC Basics - Web gRPC uses HTTP2. Since modern browsers are able to communicate over HTTP2, I don't see the need to set up a proxy if I support only such browsers. Why do I need a proxy like Env
This document discusses how to further develop the gRPC API service created in Building APIs with gRPC. It introduces: Common patterns for implementing CREATE, LIST, UPDATE, and DELETE methods in gRPC API servicesStreaming in gRPC API servicesCommon patterns for error handling and pagination in gRPC API servicesThe document is a part of the Build API Services: A Beginner’s Guide tutorial series. N
Artwork by @egonelbregRPC does great work when it comes to speed and ease of use. Indeed with generated client and server code, it all comes to as little as implement the interfaces to have a solution ready to run. There are plenty of cases however when you still need to provide clients with REST endpoints. With grpc-gateway, you can generate a reverse proxy that would translate REST into gRPC cal
Dev life HTTP/2 Cleartext (H2C) client example in GoLearn what was discovered about the H2C support in golang and how to get the golang standard http2 client to connect to an H2C enabled server. Read more... This blog post was written and self-published by one of our developers. You can also find it on Medium. Since my internet foo failed me, and the only workable example of an H2C client I can fi
背景・やりたいこと c++で開発中、clang-formatを実行しわすれてコミットしてしまうことがあった git-clang-formatや、ここに書かれているhookを使えば解決するかもしれないが、この先他者にも使ってもらう場合を考えると、極力コマンドをインストールすることは避けたい そこでgit commit時にclang-formatを走らせ、変更されるファイルがあればcommitを失敗させるhookを作った 個人の好みだが、git logを見たときに「こんな書き方したっけ？」とならないよう、ソースの修正は自身でやったほうがいいと思っている。 この理由から、git commit時にファイルの修正依頼のみ出力し、ファイルの修正は行わない。 動作確認環境 $ lsb_release -a No LSB modules are available. Distributor ID: Ubu
C++でgRPCやるのひよってるやついる？
僕がそうでした。 なんならc++でサーバー建立するのもgRPC触るのも両方初めてだったので、ビビりまくってました🥶 事の発端 ある日、バイト先の方にc++でstream通信したいからgRPCサーバーを立てるように言われました。 c++は簡単な計算をg++でbuildしたりしたことしかなかったんで、その時点でひよってました。 gRPCについて、おそらく多くの方は こちらのチュートリアルをやると思うのですが、僕も例に漏れずひたすらここを見ながら進めていきました。CMakeListsを使ったビルドとかも全くわからなかったので、いっちょやってみるかという気持ちでやり始めました。 ただ、開発環境を整えるところからつっかえたりしだして苦労したのでこれでいけたよという方法をここに記していきたいと思います。 前提 とりあえず何か作りながらが良いかなということで、以下ができるように進めていきたいと思ってい
gRPC NodegRPC Node Performance Best PracticesProto LoadergRPC Node FrameworkRequest ValidationLoggergRPC Health Checking ProtocolgRPC Node@grpc/grpc-jsgrpc-node is only one node.js gRPC implementation. You can use @grpc/grpc-js or grpc (legacy)as your server. As we know, @grpc/grpc-js is slower than grpc (legacy) because pure javascript could not beat C addon. gRPC Node Performance Best PracticesC
We get asked about this all the time. In general, gRPC and RSocket attempt to solve different problems. gRPC is an RPC framework using HTTP/2. RSocket is a message passing network layer that is lower level. So, a developer would use RSocket directly for low-level interaction and has the option to use RSocket-RPC as an easy to use RPC layer that sits on top of RSocket. Now, let’s look more specific
envoyのsidecarでgRPCを受ける with docker-compose - Screaming Loud
スマブラのオンラインにあんま入ってなかったら、めっちゃ世界は強くなってて萎えてます。 envoyを触っているので、そのメモです。 envoyとは いわゆるproxyです。簡単に言うとリクエストを受けて、いろいろ処理をしてからバックエンドに流すやつですね。 gPRCをリクエストで受けて、そのリクエストをLBのように分散することができます。 似た役割ではnginxなどがあてはまり、他にもいくつか似たようなツールが紹介されています。 www.envoyproxy.io envoyに関しては、kubernetes文脈ではdata planeとして語られることが多いですが、ただのproxyなのでkubernetesでなくてももちろん使えます。 対応しているリクエストの種類も多く、Mongo、Dynamo、Redisの負荷分散などもできます。 www.envoyproxy.io その他にも機能がかなり
概要 christina04.hatenablog.com 前回はFieldMaskを使ってオーバーフェッチを避ける方法を説明しました。 今回はMutation（更新）におけるFieldMaskの活用方法を説明します。 環境 Go v1.18.3 protoc-gen-go v1.25.0 protoc v3.19.4 grpc-go v1.47.0 MongoDB 5.0.9 課題 前回サーバ側では以下の構造のデータを保持していました type User struct { ID string `bson:"_id"` Name string `bson:"name"` Email string `bson:"email"` Age int `bson:"age"` Address Address `bson:"address"` } type Address struct { Count
はじめに このドキュメントは、gRPCを用いてサーバからクライアントへのPUSH通知を実現した事例をまとめたものです。 ここでいう PUSH 通知とは、通常のクライアントからサーバへのリクエストではなく、何かしらの契機によりサーバからクライアントへ送信される通知を指します。 例えばチャットツールでよくあるように、誰かのメッセージが入力されたらチャット参加者全員に通知されるというものです。 gRPCを利用してみた事例は現時点でも多く存在しますが、サーバ側からの通知の実現方法を述べた情報は調べた限りでは多くありませんでした。 本ドキュメントは、gRPC での PUSH 通知をどのように実装するのか？、そして、その時の課題にどのようなことがあるのか？という情報を提供することを目的としています。 TL;DR サーバからの PUSH 通知を、gRPC の Server Streaming RPC と
本記事はGo3 Advent Calendar 2019 17日目の記事です。 背景 少し前（９月頃？）にGoogleからcueというschemaベースでコンフィグファイルなどに使えるデータ形式が発表されました。相変わらずググラビリティの低い名前ですが、jsonやymlのスーパーセットでありながら、型定義が書けたりvalidationができたりする面白いやつです。 面白いやつなので何か使えないかなーと考えていると、型定義が使えるならgRPCとかと相性が良さそうだなと思いつきました。これはGoogleでも考えられていたのか、cueの実装にはprotobufからcueファイルを生成する実装が含まれています。 ちょうど仕事で毎回 grpcurl への入力をコピペするのにも飽きていたので、この辺りを自動化するテストツールを作り始めました。 ツールの紹介と使い方 まだ出来立てで実戦に投入していません
gRPC を使用したプロセス間通信
同じマシン上で実行されているプロセスは、相互に通信するように設計できます。 オペレーティング システムは、高速かつ効率的なプロセス間通信 (IPC) を可能にするテクノロジを提供します。 IPC テクノロジの一般的な例として、Unix ドメイン ソケットと名前付きパイプがあります。 .NET では、gRPC を使用したプロセス間通信のサポートが提供されます。 ASP.NET Core での名前付きパイプの組み込みサポートには、.NET 8 以降が必要です。 はじめに IPC 呼び出しは、クライアントからサーバーに送信されます。 gRPC を使用してマシン上のアプリ間で通信するには、少なくとも 1 つのアプリで ASP.NET Core gRPC サーバーをホストする必要があります。 通常、ASP.NET Core gRPC サーバーは、gRPC テンプレートから作成されます。 テンプレート
まえがき この記事は以下の順序で組み立てられています。 gRPC用のコードを自動生成する APIとして呼び出される関数の実装をする gRPCサーバーとして起動する CLIツールを使って呼び出してみる 記事を書くために動作確認をしている環境はUbuntu18.04です。 ただしMacやその他のOSでも、ツールのインストール周りを公式のドキュメントに差し替えて頂ければ動かせるかと思います。 間違いなどありましたら、コメントや編集リクエストなどを貰えると嬉しいです。 gRPC用のコードを自動生成する 1. リクエストとレスポンスの構造を定義する まずはProtocol Buffersと呼ばれる、構造を定義する為の言語を使って、リクエストやレスポンスを定義していきます。 example.proto syntax = "proto3"; package pb; message HelloReques
Building microservices with go-micro on GCP（パート1） - めもめも
go-micro について github.com go-micro は、microservice 用のサーバーを構築するための Go 言語のフレームワークです。gRPC による（同期型）API サーバー、および、Cloud Pub/Sub などのメッセージブローカーから受信したイベントを処理する（非同期型）API サーバーを簡単に作成することができます。ここでは、GCP の以下のサービスと組み合わせて、go-micro を利用する手順を紹介します。 ・Google Kubernetes Engine (GKE) : go-micro で作ったサービスを GKE の Pod としてデプロイします。 ・Cloud Pub/Sub : メッセージブローカーとして Cloud Pub/Sub を使用します。 go-micro はさまざまな機能のバックエンドをプラグインで選択できるようになっており、
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEji0lBfkpff_HooaGceEKGqts0U70VR-Xp88TC5BLHfWrmKmQSnDwuw5WhFnwUvMKpcplesAtBTPLagZUqKckHP_fH1dPiKccq9hTsoCyWeiEguQfKuMJbWRPWLrFeT2Vl2D666KDmuW_XKGDjnBztSlX6VcUIQCF-i6AQPoAsl1m9wrSVv5Rx1Klz6Uw/s400/eto_usagi_head.png
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
gRPC Client Interceptor入門 with Ruby - RAKSUL TechBlog
gRPC-Web を Cloud Run のサイドカー Envoy でやる
GoとgRPCを用いたサービスベースアーキテクチャへの移行｜ONE CAREER Tech Blog
grpcでC#とpythonの通信をする - Qiita
gRPC vs HTTP APIs - .NET Blog
Go言語でgRPCに入門してみた2 認証処理を追加してみた｜宮島武
GoサーバとDartクライアントではじめるgRPC
gRPC to AWS Lambda: Is it Possible?
.NET クライアントを使用して gRPC サービスを呼び出す
k8sで、HTTP/2(gRPCサーバ)を負荷分散したい - Qiita
7 Tips When Working with grpc-gateway’s Swagger Support.
今流行りのgRPCを簡単にまとめてみた(Goのサンプルコード付き)
grpc-gatewayでgRPCのREST対応を試しました - Qiita
Gophers Office Hours #6 〜gRPC回〜 with kazegusuri
Why gRPC-Web Needs Proxy - yt coffee
Building APIs with gRPC: Continued
REST over gRPC with grpc-gateway for Go
HTTP/2 Cleartext (H2C) Client Example in Go | Mailgun
commit時にclang-formatで修正されるファイルの有無の確認を行うhook - Qiita
Building High Performance gRPC Node.JS Framework
Differences between gRPC and RSocket
gRPCでFieldMaskを使う（更新編） - Carpe Diem
gRPCのServer-Streaming RPCを用いたPUSH通知の実現事例 | Fintan
cuelangを使ったgrpcのテストツールを作った話 - Qiita
Go言語でシンプルなgRPCサーバーを構築する - Qiita
gRPCのベストプラクティス - 🐾 Nekonote