タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
OpenAPI や Protocol Buffers のおかげで開発がかなり捗っている話 | MEDLEY Developer Portal
2020-08-21OpenAPI や Protocol Buffers のおかげで開発がかなり捗っている話こんにちは、インキュベーション本部エンジニアの加藤です。 主に CLINICS アプリの開発を担当しています。 はじめにCLINICS アプリの開発では OpenAPI や gRPC を利用しています。 OpenAPI と gRPC の間には何の関係もないのですが、どちらも API の仕様をスキーマ言語で記述するという点では共通しています。 今回はこの API スキーマが開発にもたらすメリットについて紹介していこうと思います。 API ドキュメントとしてのスキーマ定義既存のコードに機能を追加する際や修正を加える際に気にすることの多い部分は API の仕様ではないかと思います。 「リクエストやレスポンスはどのようなデータなのか」「この値は必須なのか、任意なのか」「データの型は数値なのか
Protocol Buffers によるプロダクト開発のススメ - API 開発の今昔 - | Wantedly Engineer Blog
こんにちは、Wantedly People アプリの開発をしている竹野（Altech）です。今回は、Protocol Buffers についての記事になります。 Wantedly People では、2018年に Protocol Buffers （以下、Protobuf と呼ぶ）がとあるマイクロサービスに入って以降、何度か大規模に Protobuf を使った開発をしてきました。またその経験を通じて、Protobuf には単に「型がついて嬉しい」というだけではないパラダイム的な変化があることが分かってきました。 その知見を全社に展開するため、去年「Protobuf によるプロダクト開発速習会」という会を行いました。この記事の内容は、そこで話したことの前半「Protobuf を使うと開発がどう変わるのか？」になります。 なお、Protobuf にはバイナリフォーマットとしての役割とインターフ
Practical gRPC (English Edition) 目次 目次 はじめに Protocol buffersとは? Protocol buffersの特徴 様々なプラットフォームや言語で利用することができる データサイズが小さい エンコードやデコードが早い データの構造を精密に規定できる データフォーマットに後方互換性がある。 JSONに変換できる デメリット protoファイルを作成する時の注意点 protobufのコンパイラのインストール MacでHomebrewをって、公式のprotobufをインストール場合 ubuntuへの公式protobufのインストール Juliaでprotoファイルをコンパイルする 使い方 C++ Python Java Julia protoファイルのスタイルガイド Protocol buffersと一緒に使うと便利なツール protoc-ge
Web API に秩序を与える Protocol Buffers / Protocol Buffers for Web API #builderscon
builderscon tokyo 2019 で「Web API に秩序を与える Protocol Buffers」というタイトルで発表した資料です。 Protocol Buffers を利用して Web API の Schema 管理をするという観点で、豊富な実例とともにその手法やメリット・デメリットについて話しました。 cf. https://builderscon.io 追記: 61ページ目で Protocol Buffers を利用する際の注意点として後方互換性が壊れるケースの話をしましたが、自分たちが経験したのは gRPC + grpc-gateway 構成特有のケースだったので記述を修正しました。
Protocol BuffersでgRPCとGraphQL両対応のコードを生成するプラグイン書いた - blog::wnotes.net
gRPC、あるいはGraphQL 昨今のAPI開発にgRPC、またはGraphQLを採用するケースは増えてきていて、ドメインロジックをgRPCで実装して、フロントエンド(BFF)はGraphQL経由のHTTP一本で取得するのはベストプラクティスの一つだと思っています。 とはいえ人的リソースや管理の問題から、ProtobufとGraphQLスキーマを両方メンテナンスしていくのはとてもつらくて、 他のエントリでも結果としてどちらかに寄せました、というケースをよく目にしました。 実際自分もやってはみたものの、両方のメンテナンスをしていくのは相当辛くて、Protobufを直してgRPCのI/Fを変更、合わせてGraphQLのSchemaにも手を入れてフロントに渡して…というのは管理コストに見合わないな、ってことで諦めました（今は grpc/grpc-web 、または grpc-ecosystem/
Joe Tsai, Damien Neil, and Herbie Ong 2 March 2020 Introduction We are pleased to announce the release of a major revision of the Go API for protocol buffers, Google’s language-neutral data interchange format. Motivations for a new API The first protocol buffer bindings for Go were announced by Rob Pike in March of 2010. Go 1 would not be released for another two years. In the decade since that fi
Jetpack ComposeとGraphQLによるServer Driven UI/jetpackcompose-grahpql-serverdrivernui
RustでProtocol BuffersからGraphQL BFFを自動生成してみた知見 | Wantedly Engineer Blog
Wantedlyでインターンをしている遠藤です。インターンのタスクとして「RustでProtocol BuffersからGraphQL BFFを自動生成する」という技術検証を行ったので、その知見を共有したいと思います。 今回の技術検証で作成したツールのソースコードはここにあります: EXPERIMENTAL] Generate GraphQL schema and gateway from Proto definitions. Licensed under either of Apache License, Version 2.0 or MIT license at your option. Unless you explicitly state otherwise, any contribution intentionally submitted for inclusion in
UseCaseの凝集度を高める Goのpackage戦略 / Go packaging strategy to increase use case cohesion
インターフェース定義の悩みを解決するために gRPC、Protocol Buffers を調査してみた - SMARTCAMP Engineer Blog
こんにちは！今年の 4 月からスマートキャンプに入社し、只今新卒エンジニア研修期間中の中田です。本記事は、インターフェース定義の悩みを解決するために gRPC、Protocol Buffers を調査してみた！という内容のエントリです。 背景 gRPC とは Protocol Buffers とは 4 つの通信方式を試してみた 実装 準備 インターフェース定義 コンパイル サーバーとクライアントの実装 UnaryCall ClientStreamingCall ServerStreamingCall BidirectionalStreamingCall ドキュメント生成 学び まとめ 背景 新卒エンジニア研修では、同期のメンバーと 2 人で Go (REST API) + React/TS 構成の SPA を作っています。 このアプリの開発では、Server - Client 間でインター
帰ってきた optional - Protocol Buffers v3.12 から Field presence が導入｜Dentsu Digital Tech Blog
帰ってきた optional - Protocol Buffers v3.12 から Field presence が導入 電通デジタルでバックエンド開発をしている齋藤です。 今回は Protocol Buffers v3.12 のリリースで追加された Field presence 機能について調べたことをご紹介します。 前提：v3.12 以前の Protocol Buffers v3 における optional な値の扱いProtocol Buffers v3 (proto3) では v2 (proto2) にはあった optional ながなくなり、optional を扱うにはひと工夫必要でした。加えて、Message の Filed に値を入れなかった場合は、Fieldの型のディフォルト値が送られてきたとみなす仕様になっています(各型のディフォルト値はこちら)。 そのため、開発者は
gRPCの概要 Googleによって開発され、オープンソース化された通信技術である「gRPC」は、マイクロサービスアーキテクチャにおけるサービス間の通信手段としてはもとより、モバイルアプリがサービスにアクセスするためのインタフェースとしても注目されています。現在ではLinux Foundation傘下のCloud Native Computing Foundation（CNCF）のもとで開発されています。 本連載では、gRPCについて、さまざまなプログラミング言語によるアプリケーションの実装を通じて、技術的な仕様や開発手法を紹介していきます。 RPCとは？ gRPCは、RPCという通信プロトコルです。RPCとはRemote Procedure Callの略で、日本語にすると「遠隔手続き呼び出し」となります。RPCは、他の多くのプロトコルと同様にクライアント／サーバ型のモデルを採用しています
OK Google, Protocol Buffers から生成したコードを使って Node.js で gRPC 通信して | メルカリエンジニアリング
OK Google, Protocol Buffers から生成したコードを使って Node.js で gRPC 通信して Mercari Advent Calendar 2020 の17日目は、メルカリ WebUX チーム でテックリードマネージャをしている @vwxyutarooo がお送りします。普段はエンジニアリングマネージャやテックリードをしたりフロントエンドエンジニアをしています。今日は Node.js で gRPC 通信します。なぜなら Node.js で gRPC 通信したいからです。 Mercari ではバックエンドに microservices アーキテクチャを採用していて、gRPC も採用されています。多くの microservices は go 言語によって実装されていますが、一部のサービスでフロントエンドエンジニアとのコミュニケーションや on-call 対応の受
Although the main interface between applications and a Vitess database is through the MySQL protocol, Vitess is a large and complex distributed system, and all the communication between the different services in a Vitess cluster is performed through GRPC. Because of this, all service boundaries and messages between Vitess' systems are specified using Protocol Buffers. The history of Vitess' integr
gRPC Federation: gRPC サービスのための Protocol Buffers を進化させるDSL | メルカリエンジニアリング
Merpay Engineering Productivity Team の goccy です。 gRPC Federation は、gRPC で通信する複数のサービスから得た結果を合成して返すようなサービスを簡単に作成するための仕組みです。DSL ( Domain Specific Language ) を Protocol Buffers 上で記述することで利用します。まずは、GraphQL(Apollo) Federation の gRPC 用のものだと考えるとわかりやすいと思います。2023年8月に OSS として公開し、先日 Public Roadmap を公開しました。2024/6月末を目標に Version 1.0 ( GA版 ) をリリースする予定です。また、最近は Protocol Buffers のエコシステムに参加しました。Protobuf Global Extens
Wire type は実際の型を示しているわけではないことに注意してください。Wire type はあくまでも値を読み取るための手がかりにすぎないため、読み取った値をどの型にするべきか知るためには descriptor を参照しなければいけません。 タグは次のようなロジックでエンコードされます。 fieldNumber << 3 | wireType たとえばフィールド foo の場合、フィールド番号は 1、Wire type は 0 なので 08 となります。これはエンコードされたバイト列の先頭バイトと一致しています。 fieldNumber := 1 wireType := 0 tag := fieldNumber<<3 | wireType fmt.Printf("%x", tag) // 08 タグの直後にはそのフィールドに対応する実際の値が続きます。 Wire type に基づい
Decoupling a service from monolith with Protocol buffers and connect-go - LayerX エンジニアブログ
7月はLayerX エンジニアブログを活発にする期間 です！ 昨日は、プロジェクト管理はNotionしか勝たん！MLチームのスプリント管理を改善した話 今日の1つ目の記事は、バクラク事業におけるデータ組織とデータ基盤 2023 今日2つ目の記事はバクラク事業部 Enabling Team エンジニアの @yyoshiki41（中川佳希）が担当します。 バクラクでは開発言語に Go を採用しており、gRPC サーバーとして buf/connect-go を利用しています。このブログでは、既存で動いているアプリケーションにどのようなアプローチで gRPC を導入していったかを紹介します。 導入まで buf/connect-go 自体は2022年7月頃に新規レポジトリで小さく試すところから行われました。 既存プロダクトで grpc-go のコード資産（開発ツールやミドルウェア、インフラ設定）を持
GitHub - bufbuild/buf: A new way of working with Protocol Buffers.
For more comprehensive usage information, consult Buf's documentation, especially these guides: buf breaking buf build buf generate buf lint buf format buf registry (for using the BSR) CLI breaking change policy We will never make breaking changes within a given major version of the CLI. Once buf reaches v1.0, you can expect no breaking changes until v2.0. But as we have no plans to ever release a
Protocol Buffersで定義したAPIからTypeScriptを出力して型安全なフロントエンド開発 - asoview! Tech Blog
こんにちはアソビューのフロントエンドのテックリードの井上です。 アソビュー！ Advent Calendar 2023の3日目（A面）です。 AC6を2回クリアして軽くロス状態です。３周目は心がくじけました。 アソビューのフロントエンドでProtocol Buffersで定義した型を利用して型安全な開発をしている話をしたいと思います。 アソビューのProtocol Buffers運用 型の無い世界 JavaScriptで戦ってた時代 protoからTypeScriptに写経 protoからも生成できるはず Protocol BuffersからTypeScriptの型を生成する やりたいこと 利用したライブラリ 設定内容 出力結果 元のproto 出力されるTypeScript ts-protoのオプションについて onlyTypes=true stringEnums=true unreco
こんにちは。 SmartHR アドベントカレンダーの4日目を担当しますエンジニアの@kurobaraです。 SmartHRでは、プラットフォーム化を促進するプラスアプリの開発をしています。 プラスアプリについては、弊社社長によるSmartHR Next 2018やCTO 芹澤の中長期戦略などに詳しく書かれています。 ところで、前日が社長だと次に渡されるバトンを担当する側としても緊張しますね>< 前置き 皆さん、型は大好きですか？ 僕も好きです。 特にサーバサイドになんらかの言語でAPIをフロントエンドにTypeScriptで・・・ そして、サーバサイドとフロントエンドのI/Fとして、JSONを使用する 割とよくあるパターンかつ比較的デファクトだと思います 比較的、最近だとサーバサイドにGraphQLを使用しているという話もチラホラ聞くことが多くなってきましたが、今回の話とはちょっと異なるの
Writing Software, technology, sysadmin war stories, and more. While I don't go on the Orange Site any more, I still make enough trips through the larger space of similar sites to get some idea of what people are talking about. Last week, the topic of interest seemed to be YAML and how evil it is. I can't argue with that. Every time I've crossed paths with it, I've been irritated by both it and who
2021.4.14 追記 proto3で削除されたoptionalですがv3.15(experimentalオプションを利用する場合はv3.12)から正式に実装されたため、それ以降のバージョンを利用する場合は素直にoptionalを利用してもらうのがいいと思います！ https://github.com/protocolbuffers/protobuf/releases/tag/v3.15.0 Protocol Buffersはproto3でrequiredとoptionalが削除されました。 そもそも削除された経緯に関しては、@qsonaさんのエントリーにて、分かりやすくまとめて下さっています。 そこで課題になるのが、proto3において各フィールドは全てデフォルト値を持つため、デフォルト値が設定されたフィールドが利用側から 1. 意図的にセットされたデフォルト値と同様の値 2. 存在し
GitHub - bufbuild/protobuf-es: Protocol Buffers for ECMAScript. The only JavaScript Protobuf library that is fully-compliant with Protobuf conformance tests.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - mercari/grpc-federation: gRPC Federation generates a gRPC server by writing a custom option in Protocol Buffers
Imagine a system with a backend of multiple microservices. Instead of the client directly communicating with each microservice, it's more efficient to use a dedicated service (BFF - Backend for Frontend) to aggregate information and send it back to the client. However, as the system grows, determining which team should handle the BFF service becomes unclear. This is where Federated Architecture, l
Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー
アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー！ Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー
この記事について Protocol Buffers(protobuf) の概要、基本的な使い方、*.proto ファイルの書き方についてざっくりまとめます。 検証環境 OS: Windows 10 言語： Go 1.13 Protocol Buffers とは すでにたくさん情報があるので要点だけ記載。 データをシリアライズ(マーシャル)するためのフォーマット、メカニズム クライアント/サーバー間の通信や、データの永続化などに用いる 元々は Google が開発 IDL でメッセージ(データ構造)を定義 様々な言語とプラットフォームで利用可能 iOS や Android でも利用可能 バイナリ形式にシリアライズする XML よりもサイズが小さくなり、また、高速 シリアライズ/デシリアライズ をするためのコードが自動生成される その他 既存のプログラムに影響を与えずにメッセージを更新(フィー
Protocol Buffers を使って、Rails の RESTful API をスキーマ駆動開発してみた - Qiita
Protocol Buffers を使って、Rails の RESTful API をスキーマ駆動開発してみた こんにちは、クラウドワークスの @t0yohei です。普段は Rails や Vue.js などを使って crowdworks.jp の開発をしています。 この記事は クラウドワークス Advent Calendar 2019 の20日目の記事です。 昨日は @juntetsu_tei による、Rails更新は最低限Controllerのテストが欲しいというお話でした。 今回は、Protocol Buffers を使った、 Rails の RESTful API はこんな感じに開発できるんじゃない？って内容です。実務で実際に使ったわけではないので、不足している点があると思いますが悪しからず。 用語の整理 Protocol Buffers って？ Google が社内向けに開発を
全てのAPIをProtocol Buffersで管理する / Manage all APIs with Protocol Buffers
全てのAPIをProtocol Buffersで管理する / Manage all APIs with Protocol Buffers
サーバーサイドエンジニアの田実です！ Yappliでは各APIの通信にgRPC, Protobufを採用しています。 本記事ではYappliにおけるgRPC, Protobufの利用方法・運用方法についてご紹介します！ 利用箇所 以下のAPI通信においてgRPCを利用しています。 用途 プロトコル クライアント サーバー ネイティブアプリ用API gRPC（gRPC-Gateway経由） アプリ Go Webフロントエンド用API gRPC-Web TypeScript Go サーバー間通信 gRPC Go Go gRPCだけではなくgRPC-Gateway, gRPC-WebとgRPC系をフル活用しています！ 運用方法 全容はこんな感じになります。 それぞれのインターフェースを変更する場合は、開発者がprotoファイルを修正してprotoファイル用のリポジトリにpushします。 push
AWS IoT Core でProtocol Buffers を使用してスマートアプリケーションを構築する方法 | Amazon Web Services
Amazon Web Services ブログ AWS IoT Core でProtocol Buffers を使用してスマートアプリケーションを構築する方法 Protocol Buffers の概要 Protocol Buffers （Protobuf）は、構造化データをシリアル化するためのプラットフォームに依存しないアプローチを提供します。Protobuf は JSON に似ていますが、軽量で処理が速く、お好みのプログラミング言語でバインディングを自動的に生成できる点が異なります。 AWS IoT Core は、何十億もの IoT デバイスを接続し、何兆ものメッセージを AWS サービスにルーティングできるマネージドサービスです。これにより、アプリケーションを何百万ものデバイスにシームレスにスケーリングできます。AWS IoT Core と Protobuf の統合により、Protob
Protocol Buffers, GraphQL Schema, Swagger Specで始めるスキーマファースト開発入門
Protocol Buffers, GraphQL Schema, Swagger Specで始めるスキーマファースト開発入門 はじめに KINTOテクノロジーズでKINTO FACTORYのリードエンジニアをしている中西 葵です。現在KINTO FACTORYプロジェクトでは今後の対応車種や商品の拡充、全国展開を見据えてシステムの見直しを行っており、システム開発もモダンな技術や開発フローを取り入れている先進的なプロジェクトです。 本記事ではKINTO FACTORYで取り組んでいるスキーマファースト開発について解説します。 スキーマファースト開発とは？ スキーマファイルを定義しコードジェネレーターを使用してコードを生成しAPIを開発する手法で以下のような課題を解決します。 結合してみたら型が違って動かない ドキュメントが古くてコードが正しい クライアントの実装が言語毎に重複 1. 結合し
Protocol Buffers で快適な API 開発環境を構築した話 - RAKSUL TechBlog
はじめに こんにちは。Raksul でサーバーサイドエンジニアを担当している山本といいます。 2020 年度の新卒として入社し、現在はDTPスクラムに所属しています。 DTPスクラムでは、主に、ラクスルで入稿された印刷データのチェックに関する機能を提供するサービス（データチェック基盤）の開発を行っています。 本ブログでは、データチェック基盤における Web API 開発の一部で利用している Protocol Buffers に焦点を当て、その概要と基本的な使い方を hands-on 形式で紹介いたします。 データチェック基盤の誕生 過去の記事でも取り上げたように、現在、ラクスルではRaksul Platform Project（以下 RPP）を推進しています。 RPP とは簡単に言うと、モノリシックなアプリケーションであった Raksul（EC） からコアとなる機能を切り出してマイクロサー
「gRPC」でアプリケーション間通信を行い、別アプリからテキストと画像を取得するスクリプトを作ります。 1. gRPC「RPC」は、アプリケーション間通信のひとつで、プログラミングのメソッドを呼び出す手順で、別のプログラムを操作できます。 「gRPC」は、Googleが開発した「RPC」で、高速かつ低容量、様々な言語に対応しています。 ・gRPC - A high performance, open-source universal RPC framework 2. Protocol Buffers「Protocol Buffers」(protobuf)は、構造化データをシリアライズするインタフェース記述言語のひとつです。「JSON」や「XML」などと比べ、高速かつ低容量で、様々な言語に対応しています。 「protoファイル」で構造化データを定義し、コンパイルすることで各言語のコードを
Protocol Buffers(protobuf)を実際にサービスで使ってみた | 株式会社CyberOwl
エンジニアの皆様こんにちは！ ここ数年Web業界ではマイクロサービスのような、 サービスを分けてAPIでやりとりする考えが浸透してきましたね！ 弊社でもDBリソースを処理するサービスとWebサービスを分け APIで必要な情報を取得するようなデザインにシフトしてきました。 今回、弊社ではサーバ間通信APIを実装するにあたり、 IDLとしてProtocol Buffers(protobuf)を採用しました。 今日は通信でよく採用されるSwaggerではなくprotobufを使うに至った経緯と、 実際に運用してみた弊社のエンジニアの生の声をお伝えできたらと思います！ Swagger？ protobuf？何が違って何がいい？ 1個のサービスをチームで開発をしていると、個々の成果物を合体させる為にプラットフォームないしプロトコルなどのインターフェイスが必要になります。また、会社が大きくなってくると、
Protobuf-ES: The Protocol Buffers TypeScript/JavaScript runtime we all deserve Today we're excited to announce the release of Protobuf-ES, an implementation of Protocol Buffers for TypeScript and JavaScript with full support for the ECMAScript standard. Protobuf-ES was built with JavaScript developers in mind. Its intent is to not only fix the areas that are sorely inadequate in current implementa
2020/05/24 11:36:51 WARNING: Deprecated use of 'go_package' option without a full import path in "greeter.proto", please specify: option go_package = ".;main"; A future release of protoc-gen-go will require the import path be specified. See https://developers.google.com/protocol-buffers/docs/reference/go-generated#package for more information. syntax = "proto3"; package helloworld; option go_packa
Protocol BuffersのNullの取り扱いの問題 Protocol Buffersのproto3の仕様ではmessageの中の値をOptionalで表現する記法がありません。値を詰めずに送ると入れ子の値がデフォルト値になってしまいます。 しかし、アプリケーションの設計によってはOptionalな値を表現する必要が出てきます。 そういった時、プリミティブな型ならgoogle/protobuf/wappers.protoを使う方法があります。 以下のように使うことでmsgはOptionalな値として取り扱えます。 syntax = "proto3"; package example; import "google/protobuf/wrappers.proto"; message Example { google.protobuf.StringValue msg = 1; } wap
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ロボットエンジニアのためのProtocol buffers入門 - MyEnigma
A new Go API for Protocol Buffers - The Go Programming Language
Protocol Buffersのスキーマを利用した開発
2019-15 gRPC and Protocol Buffers
サービス間通信技術「gRPC」の基礎知識――「Protocol Buffers」とは？
Vitess | A new Protocol Buffers generator for Go
つくって学ぶ Protocol Buffers エンコーディング | メルカリエンジニアリング
Rails6でProtocol Buffersを使用する - Qiita
ASCII protocol buffers as config files
Protocol Buffers(proto3)でoptionalをどう扱うか - Qiita
Protocol Buffers: ざっくりとした入門 - Qiita
YappliにおけるgRPC, Protocol Buffers運用について - Yappli Tech Blog
gRPCとProtocol Buffersによるアプリケーション間通信 / Python｜npaka
Protobuf-ES: The Protocol Buffers TypeScript/JavaScript runtime we all deserve
Protocol Buffersのgo_packageの;の仕様
Protocol Buffersを使ったAPIでのNullの設計
an.ub.geo.jp
ameblo.jp/wxmx07589
akito-takizawa.com
youtu.be
mainichi.jp
m-blessing.co.jp