こんにちは。ソウゾウの Software Engineer (CTO) の @suguru です。連載：「メルカリShops」プレオープンまでの開発の裏側の1日目を担当させていただきます。 7月末にメルカリShopsという新しいサービスが公開されました。メルカリShops は、2021年1月にメルカリのグループ会社として設立したソウゾウが新たに立ち上げたサービスです。 この記事では、メルカリShops を作るにあたり、どういった技術、アーキテクチャを選定したのか、その背景と意思決定をまとめて共有したいと思います。 monorepo まず最初にプロジェクトをスタートしたときに、サービスのリポジトリを作るのですが、迷わず monorepo による構成を選択しました。monorepo は、システムを構成する複数のコンポーネントの独立性を保ちつつ、全ての構成を1つのリポジトリで管理する手法です。今
この記事は@yugui氏の書いた至高のDockerイメージ生成を求めてに感謝しつつ、記事が投稿された当時には無かったさまざまな事情を組み込んで再度まとめたものである。 良いDockerイメージ 良いDockerイメージとは何だろうか。Dockerの利点は次のようなものだから、それを活かすイメージが良いものであるに違いない。 ビルドしたイメージはどこでも動く 適切にインストールされ、設定されたアプリケーションをそのままどこにでも持っていける。 コンテナ同士が干渉し合うことはないので、任意のイメージを互いに配慮することなく柔軟に配備し実行できる 必要のないサービスがコンテナ内で走っていないので、セキュリティの向上に資する イメージの転送が効率的である ベースイメージ部分は一度送ればいちいち再転送する必要がないので、ベースイメージを共有する複数のイメージを効率的に転送できる 標準のレジストリAP
Twitter での 2年 · eed3si9n
2022-11-20 僕は Twitter社の Build/Bazel Migration チームでスタッフ・エンジニアとして勤務していた。信じられないような 2年の後、2022年11月17日をもって退職した (企業買収後のレイオフでも任意でもあんまり関係無いが、僕は任意退職希望のオファーを取った)。Twitter社は、切磋琢磨、多様性、そして Flock を構成する全ての人に対して溢れ出る優しさというかなり特別な文化を持った職場だった。これを間近で経験して、その一員となる機会を得たことに感謝している。(Flock は「鳥の群れ」の意で、社内での Twitter社の通称) 以下は過去2年の簡単な振り返りだ。尚本稿での情報は、既に公開されているトークやデータに基づいている。買収後、うちのチームだけでも 10名以上のメンバーが Twitter社を抜けたので、在籍・元含め LinkedIn プロ
Googleのソフトウェアエンジニアリング文化
フルスタック開発者のためのBallerina: バックエンドAPI開発ガイド この記事では、REST API開発のためのプログラミング言語"Ballerina"の直感的な構文について解説します。さらに、認証や承認、OpenAPIツール、可観測性、SQL/NoSQLクライアントライブラリなど、重要な言語機能についても論じます。記事を読み終えれば、Ballerinaが次のバックエンドAPI開発の有力な候補である理由がよく理解できるでしょう。
メルカリShops の CI/CD と Pull Request 環境 | メルカリエンジニアリング
こんにちは！ソウゾウの Software Engineer の @dragon3 です。 連載：「メルカリShops」プレオープンまでの開発の裏側の８日目を担当させていただきます。 この記事では、メルカリShops 開発において、日々バリバリに利用されている CI/CD 環境と Pull Request 毎のデプロイ環境について紹介します。 CI/CD 環境 メルカリShops では、CI/CD （テスト・ビルド・デプロイ）やその他自動化のために GitHub Actions を使っており、ほとんどのワークフロー・ジョブを Self-hosted runners で実行しています。 Self-hosted runners は、専用の VPC ネットワーク 内の GCE インスタンス上で動かしており、Managed Instance Group 等を使い、そのプロビジョニングや起動・停止等は
こんにちは。ソウゾウのSoftware Engineer(CTO)の@suguruです。連載：メルカリShops 開発の裏側 Vol.2の1日目を担当させていただきます。 去年、2021年に開始した メルカリShopsの技術スタック についての記事を書きましたが、今回はリリースまでに採用した技術スタックが、半年通してどのようにアップデートしてきたかを共有したいと思います。 ローンチ時に採用した技術が、実際の運用でどのように変遷したのかを共有することで、技術スタックを考える際の何らかの参考になれば幸いです。 monorepo メルカリShops ではサービスに必要なコードを1つに集約する monorepo を採用しています。リリース後半年たってコード量はかなり増えてきましたが、monorepo に対する満足度は非常に高く、うまく機能しています。 サービス全体の見通しが良くなることと、すべての
ZigはCMakeの代替となるか
既存のプロジェクトで使用しているコンパイラを置き換えるだけで、Zigに付属しているCコンパイラを利用できる。 クロスビルドが標準で可能 上でも述べた通り、Zigは標準でクロスコンパイルが可能である。 Zig libcのTaget一覧 ❯ zig targets | jq ".libc" [ "aarch64_be-linux-gnu", "aarch64_be-linux-musl", "aarch64_be-windows-gnu", "aarch64-linux-gnu", "aarch64-linux-musl", "aarch64-windows-gnu", "aarch64-macos-none", "aarch64-macos-none", "armeb-linux-gnueabi", "armeb-linux-gnueabihf", "armeb-linux-musleabi
Google開発主導のビルドツール「Bazel」がバージョン1.0に到達、次期Angluarでも正式採用へ BazelはKubernetesやHadoopのように、もともとGoogle社内で使われていたソフトウェアがベースとなってオープンソース化されたものです。BazelのWebサイトには次のような説明が記されています。 When you build software with Bazel, you're running the same code that has been refined and tested for years at Google to build heavy-duty, mission-critical infrastructure, services, and applications.」 Bezelでビルドを行うとき、それは長年にわたってGoogleのヘビーデュ
Monorepo Explained
Everything you need to know about monorepos, and the tools to build them.- Made with love by Nrwl (the company behind Nx) Understanding Monorepos Monorepos are hot right now, especially among Web developers. We created this resource to help developers understand what monorepos are, what benefitsthey can bring, and the tools available to make monorepo development delightful. There are many great mo
Bazelは大規模なプロジェクトでも高速にビルドすることができる強力なビルドツールとして知られています。一方で、その仕組みや実際に使用する方法についての紹介されることは少なく、まだまだあまり普及していないと思います。特にNode.js/TypeScriptをBazelでビルドする方法についての解説はかなり珍しいと思います。 この本ではBazelによるビルドがなぜ高速なのか基本的な原理の説明から、実際に自分が作成したサンプルコードを使用してTypeScriptプロジェクトのビルド、Dockerイメージの作成までのコードを解説をし、最後のBazelの大きな特徴であるリモートキャッシュを実際に使う方法まで紹介します。 ぜひhttps://github.com/Kesin11/bazel-playgroundを手元にcloneして頂き、実際に動かしながらBazelによるビルドを体験してみてください
GitHub - google/wireit: Wireit upgrades your npm/pnpm/yarn scripts to make them smarter and more efficient.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub Actions で同じビルドやテストを何度も実行しない方法を紹介します。 ホストランナーを ubuntu-linux にした場合、実行する必要のないジョブは 10 秒程度でスキップ可能です。 注意 この記事は自作の OSS ツール sver および私が現在所属するサイボウス社の グローバル向けAWS版kintone開発チーム の宣伝が含まれます。 Summary ビルドやテストといった CI のジョブに再現性がある場合は複数回実行しても意味がない ジョブが依存する環境やソースコードを元にハッシュ値を計算することで同等なジョブに一意なラベルをつけられる ジョブ実行後に実行済みラベルを artifact として保存しておくことで後続の同等なジョブをスキップできる 効果 最初に効果を示します。 sver というプロジェクトのジョブの実行結果です。 これは通常時のジョブの実行時間です
distrolessは、Googleが提供している、本当に必要な依存のみが含まれているcontainer imageです。そこにはaptはおろかshellも含まれておらず、非常にサイズの小さいimageとなっています。余計なプログラムが含まれていないことは attack surfaceの縮小にも繋がり、コンテナのセキュリティについての事業を展開しているSysdig社が公開しているDockerfileのベストプラクティスとしてもdistroless imageを使うことが推奨されています。 Dockerfileのベストプラクティス Top 20 | Sysdig 軽量Dockerイメージに安易にAlpineを使うのはやめたほうがいいという話 - inductor’s blog また先日、inductorさんがこのようなブログ記事を書き話題になりました。この記事からdistroless ima
ここまでBazel の利点をいくつか紹介しましたが、採用には懸念点もありました。次のセクションからは、どのような懸念があったか、それをどのように解決したのかを紹介します。 Xcode 統合 Bazel と Xcode の統合は Bazel の採用においてもっとも大きな懸念でした。 Xcode はビルドシステムと密結合したやや特殊な IDE なので、外部ビルドシステムとの統合が難しいのです。特に indexing や LLDB デバッグを正しく動作させるのは困難でした。 統合とはつまり、Bazel によるビルドのアウトプットを利用して Xcode がサポートする動作を再現することを意味していて、主に下記のような要件を満たす必要があります。 Bazel のビルド構成ファイル群を解析して Xcode プロジェクトを生成する Xcode ビルドの実行を抑制し、代わりに Bazel ビルドを実行する
Bazelとモノレポ
モンスト事業本部SREグループの伊藤です。 普段はモンストに関するシステムの改善・運用を様々な面から行っています。 運用で使われる大小様々なツールを作ることもしばしばあるのですが、このリポジトリ運用が少し特徴的なので紹介をしたいと思います。 リポジトリ運用を一言で表せばモノレポで運用しています。 大小様々なツールがすべて一つのリポジトリに入っています。 ツールのソースコードに限らずKubernetesのマニフェストも同じリポジトリに入っていますしDockerfile等も入っています。（Dockerfileはそんなに多くはないです。Dockerfileを使わずに作成されているコンテナも多いので。これに関しては別の機会に） ツールを書く時に使われる頻出な処理はライブラリとして分割されているものもあります。そのライブラリも同じリポジトリに入っています。 このリポジトリは一切外のリポジトリに依存し
Jung Giuk2023-08-292019年 LINE に Build Engineerとして入社し、現在は「アプリプラットフォーム開発室」のディベロッパーエクスペリエンス開発チームに携わっていて LINE iOSアプリのビルド環境やコードクォリティの改善に取り組んでいる。 はじめに こんにちは、ディベロッパーエクスペリエンス開発チームのJungです。 この記事では２年以上 LINE iOSのビルドシステムとして運用したBazelをやめることにした背景についてご紹介します。 Bazel導入とこれまでのLINE iOS LINE iOS は200万行以上のソースコードと200以上のモジュールで構成される大規模プロジェクトです。 LINE iOSのソースコードとモジュールの数が増えて規模を拡大し続けるにつれて、ビルド/テストの遅延と DX(デベロッパーエクスペリエンス) の低下という避けら
こんにちは！SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現
GitHub - google/subpar: Subpar is a utility for creating self-contained python executables. It is designed to work well with Bazel.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
We're excited to announce the first General Availability release of Bazel, an open source build system designed to support a wide variety of programming languages and platforms. Bazel was born of Google's own needs for highly scalable builds. When we open sourced Bazel back in 2015, we hoped that Bazel could fulfill similar needs in the software development industry. A growing list of Bazel users
Buck2, our new open source, large-scale build system, is now available on GitHub. Buck2 is an extensible and performant build system written in Rust and designed to make your build experience faster and more efficient. In our internal tests at Meta, we observed that Buck2 completed builds 2x as fast as Buck1. Buck2, Meta’s open source large-scale build system, is now publicly available via the Buc
拡大し続ける開発組織の生産性を向上させるメルカリのクライアントCI/CDチーム #TeamInterview | メルカリエンジニアリング
CI/CD(継続的インテグレーション/継続的デリバリー)は、ソフトウェアを素早く開発し、お客さまに素早く価値を届けるために必要不可欠です。バックエンドやフロントエンド、それぞれの技術レイヤーにおいてCI/CDが必要ですが、この記事はモバイルアプリやWebにおけるCI/CDを提供するクライアントCI/CDチームにスポットを当てます。 今回はクライアントCI/CDチームの@y-kazamaと@kaito、@thiそして@aha-oretamaにインタビューを行いました。現在の業務とこれからの取り組み、そしてチームが実施してきたユニークな取り組みについて話を聞いています。組織が大きくなる中でもエンジニアの生産性を低下させないように取り組む、彼らの思いをご覧ください。 聞き手はEngineering Officeの@afroscriptです。 クライアントCI/CDチームのメンバーについて — ま
ちょうどよいビルドツールEarthlyの紹介
ちょうどよいビルドツールEarthlyの紹介 ビルドツールと呼ばれるものは昔から現代まで使われているMake、JavaやKotlinでは一般的なGradle、Googleで使われていたものをOSS化したBazelあたりが有名です。他にも様々なビルドツールが存在するのですが、知名度は低いものの最近自分が注目しているEarthlyというビルドツールを紹介します。 まずEarthlyの特徴をBazelやGradleといった他のビルドツールと比較して簡単に紹介します。 Dockerfile + Makefile風のDSL どんなビルドツールでも基本的には独自DSLでビルド設定を書くことになりますが、EarthlyはDockerfileとMakefileを合体させたようなDSLとなっており、他のビルドツールと比較して分かりやすい方だと思います。このDSLについては後述しますが、このサンプルコードでも
KubeCon + CNCon Europe 2023 Recap Flux Beyond Git: Harnessing the Power of OCI
ビルドツール「Bazel」について | フライウィール
ソフトウェアエンジニアのshinyaです。 2019年10月に、ソフトウェアのビルド・テストツールである「Bazel」のバージョン1.0がリリースされました(Bazel公式ブログ)。 Bazelは使いやすいのですが、現時点では情報がまとまっているサイトが少ないです。そのため、この記事では私が調べたことをまとめることにしました。 目次 BazelとはBazel(Bazelisk)のインストールBazelのチュートリアル空のBazelワークスペース簡単なJavaパッケージより実践的な例Apache Spark Scalaパイプライン参考サイトなど適宜 NOTE:という項目で、補足的な情報を追加しています。 以下は2019年11月24日時点(Bazel 1.1.0)での情報です。コードはUbuntu 18.04とmacOSでテストしました。 BazelとはBazel (/ˈbeɪzˌəl/1)
背景 LINE iOS版のソースコードは、ローンチ以来、数百モジュールもの規模にまで成長しています。2019年末時点で、コード行数も140万行を超えており、現在もその増加ペースはとどまるところを知りません。一方、コードが大規模になると、開発者にとってはビルド時間が悩みの種ともなります。また、プロジェクトの成長に伴い、再現不可能な問題も増えていきました。 たとえば、ローカル環境で動くビルドがCIで動かなかったり、もしくはその逆が起こったり、といったものです。 そこで、一歩退いた目線に立ち、ビルドパフォーマンスと再現性を改善できる方法を考え始めました。 ライブラリ依存管理 まず、ライブラリ依存管理についてお話します。LINEでは、2012年の終わりに依存性管理ツールとして CocoaPods を導入しました。 CocoaPodsは非常に便利なOSSで、 Xcodeとの相性も良いです。 自分で書
evaluating bazel for building firefox, part 1 | Nathan's Blog
After the Whistler All-Hands this past summer, I started seriously looking at whether Firefox should switch to using Bazel for its build system. The motivation behind switching build systems was twofold. The first motivation was that build times are one of the most visible developer-facing aspects of the build system and everybody appreciates faster builds. What’s less obvious, but equally impor
GitHub - google-deepmind/xmanager: A platform for managing machine learning experiments
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Bazelの使い方詰め合わせ
モンスト事業本部SREグループの伊藤です。 普段はモンストに関するシステムの改善・運用を様々な面から行っています。 前回は弊社のあるリポジトリでのBazelの活用について簡単に紹介しました。 今回は更に1歩、Bazelの使い方に踏み込んでみたいと思います。 我々のリポジトリに含まれている色々なツール等をビルドしてshipするにあたって分かりづらかったりした点を中心に説明したいと思います。 すべてを網羅できているわけではありませんし、あくまで自分たちのリポジトリの頻出パターンなので皆さんのリポジトリでは違った点で悩むかもしれません。 Bazelを使い始めようという時に思い出して見ていただけるとよいかもしれません。 今回もサンプルコードは前回と同じリポジトリに置いてあります。 コンテナを作るサンプルリポジトリの helloworld1 はコンテナの作成もできるようになっています。 load("
モンスターストライク（以下、モンスト）のバックエンドの開発・運用チームでは、大小様々なツールをモノレポで管理しています。 また、モノレポにビルドツールの Bazel を導入して、プログラムのビルドやテストの実行などを統一したインターフェースで行えるようにしています（詳しくは過去の記事「Bazelとモノレポ」を参照してください）。 モノレポにある多くのツールは Go で書かれています： ちなみに、Perl も多いのは SNS mixi 時代のツールを引き継いでるからっぽいですGo と Bazel の相性はよく、公式からも Bazel + Go の開発を支援するツールが提供されています（e.g. Gazelle）。 モンストのバックエンド本体は Ruby で書かれており、いくつかのツールも Ruby で書かれています。 現状、モノレポにある Ruby 製ツールには Bazel が導入されていま
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more In traditional industries such as automobile or aerospace, engineers first design the products and the manufacturing facilities produce the cars or aircrafts according to the design. In software development, a build system is similar to the manufacturing facilities that
GoとBazel
以前、 モノレポ構成にしてビルドツールとしてBazelを利用していることを紹介しました。 そのBazelは10月10日にとうとう1.0をリリースしました。 バージョン1.0に到達したというニュースは日本語のニュースサイトでも掲載されるなど、多少注目を浴びたようです。 そこで今回はGoのプロジェクトのビルドツールとしてBazelを利用する際のTipsをご紹介します。 GoのプロジェクトではGNU makeをビルドツールとして使われていることが多いと思いますが、一度Bazelに慣れてしまうと手放せないツールになります（なっています）。 導入を検討する際のなにかの参考になりそうなTipsをいくつかご紹介します。 BazelをGoのプロジェクトで使うことのメリットBazel がすべてを用意してくれるので最悪 goコマンドが入ってなくてもビルドできる。コンテナとしてshipする際に非常に軽量なイメー
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Painting the Picture Before 2021, Uber engineers would have to take quite a taxing journey to make a code change to the Go Monorepo. First, the engineer would make their changes on a local branch and put up a code revision to our internal code review system, Phabricator
Dropbox server-side software lives in a large monorepo. One lesson we’ve learned scaling the monorepo is to minimize the number of global operations that operate on the repository as a whole. Years ago, it was reasonable to run our entire test corpus on every commit to the repository. This scheme became untenable as we added more tests. One obvious inefficiency is the pointless and wasteful execut
※Makefileに一部間違いがあったため、修正しました bazelはビルドシステムの一つで、Googleが開発し社内でも使用している。makeなどの従来のビルドシステムと比べると、簡潔な設定で幅広い言語・ビルド対象に対応していて、ビルドが必要なものはほとんどbazelで解決できる。 Bazel - a fast, scalable, multi-language and extensible build system" - Bazel 例えば、Goのビルドと同時にdockerイメージもビルドしたい、protoもビルドしたいといった場合、通常であれば個別にビルドコマンドを打つ必要があるのだが、この作業をbazelに一本化でき、とても便利。 必要な物 以下のものを使用する: 1. bazel 2. rules_go 3. gazelle 4. rules_docker rules_goはGo
Bazel 1.0 - Bazel
Bazel 1.0 has just been released. As we announced before we start following semantic versioning for Bazel releases. We'll maintain at least three-month stability windows between Bazel major (backward-incompatible) releases. Incompatible changes Before updating to Bazel 1.0, first check if your codebase is compatible either by running bazelisk --migrate or by building your code with Bazel 0.29.1 an
Introduction Gradle has emerged as the build tool of choice for projects within the JVM ecosystem, including Kotlin. It is the most popular build tool for open source JVM projects on GitHub. It is downloaded on average more than 15 million times per month and has been counted in the Top 20 Most Popular Open Source Projects for IT by Techcrunch. Many popular projects have migrated from Maven to Gra
Improving Build Performance of LINE for iOS with Bazel
This post is also available in the following languages. Japanese, Korean Background Over the years, the LINE for iOS source tree has grown to a size of hundreds of modules. As of late 2019, the project consists of more than 1.4 million lines of code without showing any signs of stopping its increase. This in turn, tripped up the build times for all the developers who work on the project. As the pr
背景 Bazelは優れたビルドツールである一方で、導入したチームには１人はBazel職人が必要と言われるほどキャッチアップコストが高くハマったときに開発が止まると言われます。 そのためKubernetesからも削除されるほどです。 しかしながら導入の善し悪しを判断する上で最低限の知識は必要なので、一通りのことはできるようにとキャッチアップしてみます。 ちなみに発音は公式サイトでは「ベイゼル」とのこと。 How do you pronounce “Bazel”? The same way as “basil” (the herb) in US English: “BAY-zel”. It rhymes with “hazel”. IPA: /ˈbeɪzˌəl/ ref: FAQ | Bazel Bazelの特徴 Bazelの特徴として以下があります。 ビルドの再現性が保たれる サンドボッ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メルカリShops の技術スタックと、その選定理由 | メルカリエンジニアリング
至高のDockerイメージ生成を求めて -2019年版- - Qiita
メルカリShops の技術スタック、その後 | メルカリエンジニアリング
Google開発主導のビルドツール「Bazel」がバージョン1.0に到達、次期Angluarでも正式採用へ
Bazelの解説（TS, Dockerイメージ、リモートキャッシュ）
https://twitter.com/yugui/status/1628932091621801984
同じビルドやテストを何度も実行しない方法 - コンポツさん
distroless imageを実用する | うなすけとあれこれ
メルカリiOSアプリのBazelを使った高速・高信頼性ビルド | メルカリエンジニアリング
LINEはなぜBazelを使わないことにしたのか？
メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
Bazel Reaches 1.0 Milestone!
Build faster with Buck2: Our open source build system
Bazelの基本的な仕組み｜Bazelの解説（TS, Dockerイメージ、リモートキャッシュ）
Accelerate Go development with Bazel
LINE iOS版のビルドパフォーマンスをBazelで改善
Ruby のコードを静的型検査する with Bazel
Building Uber’s Go Monorepo with Bazel
How We Halved Go Monorepo CI Build Time
Continuous integration and deployment with Bazel
golangとbazelで作るいい感じなビルド環境 - MJHD
Gradle vs Bazel for JVM Projects
Bazelを使ってみる その１（Goのビルド） - Carpe Diem
renatusclinic.jp
anond.hatelabo.jp
togetter.com
www.asahi.com
erevista.co.jp
wagadeshik.hatenablog.com