Merpay Advent Calendar 2020 の 9 日目は、バックエンドエンジニアの @sou がお送りします。 今日は少し泥臭く、この一年チームを成長させながら運用と戦ってきた話を書こうと思います。 私の所属するチームは加盟店情報の管理を担っており、その性格から運用に伴う作業が数多く発生します。 どんなプロダクトにも運用はあると思いますが、このチームが直面した運用の負荷はそのボリュームと複雑さから、私のキャリアの中でも最大と言えるものでした。 その運用に私たちがどのように立ち向かい改善を行ってきたか、みなさまの参考になれば嬉しく思います。 なぜそんなしんどい運用を頑張っているのか、メルペイでのやりがいや楽しさ、頑張った結果の美味しい牛カツと日本酒のお店に出会えた話も添えさせていただければと思います。 ここで言う運用とは、事業を進めていく上でさまざまな場面で発生する、自チーム以

本記事は下記URLに移動しました。 ５秒後に自動的に移動します。 https://needlework.jp/article/needlework-networktest 先進サービス開発事業部の内藤です。 当社で開発・販売をしている、テスト自動化製品「NEEDLEWORK」がアップデートによりネットワークテストに対応いたしました。 今まではファイアウォールのセキュリティポリシー、ルータ・L3スイッチなどのアクセスリストに対する通信テストに特化していましたが、活用の幅を増やしていただけるようアップデートを行いました。 www.ap-com.co.jp 本記事では、現状のネットワークテストにおける課題とNEEDLEWORKを使うことによるメリット（課題の解決方法）をお伝えできればと思います。 NEEDLEWORKを使ったテストイメージだけ確認したい方はこちらからご覧ください。 ネットワークテ

マイクロサービスにおけるWeb APIスキーマの管理 ─ GraphQL、gRPC、OpenAPIの特徴と使いどころ マイクロサービスにおける通信方式の選択について、おおた（ota42y）さんが、GraphQL・gRPC・OpenAPIといった主なWeb APIスキーマの管理の利点と使い分けを解説します。 近年流行しているマイクロサービスアーキテクチャにおいては、「どういった通信方式を選ぶか」が開発の効率やサービスの信頼性、パフォーマンスを大きく左右します。この記事では、GraphQL・gRPC・OpenAPIそれぞれの利点と適切な使い分けについて解説します。 マイクロサービスにおけるWeb API管理の重要性 Schema First DevelopmentとWeb API 人ではなくプログラムが処理できるよう管理する Web APIのインタフェース定義手法の比較 OpenAPI ─ R

はじめに Conference KeyNote Welcome Talk from Fukuoka 飛び込もう、Cloud Nativeの世界 CacooのKubernetesによるマイクロサービスアーキテクチャ Kubernetesはキャズムを超えるのか Kubernetes を利用したコンテナ開発のススメ セッション CircleCI 2.0を支える2つのコンテナ・オーケストレーションツール Kubernetes and Beyond Azure ＋ クラウド型電子カルテ における、リソース利用効率の課題と改善への道すじ NoOpsを目指してKubernetesネイティブな物理データセンターを作る Datadogで実現するこれからのコンテナ監視 After Party はじめに 技術開発部コンテナグループの安藤です。普段Twitterでは@chataro0で呟いたりしてます。 今回、同

はじめに 先進サービス開発事業部のKunimoriです。12年間ネットワーク・サーバ基盤を中心にエンジニア〜PMまでのキャリアを積みました。 その後、新規プロダクトの立ち上げ〜事業責任者として「インフラエンジニアの苦悩からの解放」をビジョンに掲げながら少しづつ事業の歩みを進めております。 わたしたちの事業部のプロダクトはこちらです。 Firewallのポリシーテストを自動化するツールNEEDLEWORK | AP Communications PALallax | オープンソースLOG解析ツール LForM | ネットワーク機器のリアルタイムログ解析ツール：エルフォーム NEIGHBORS | ひとりの興味をみんなの知識に 3年後の社会がどう変化しているか？その社会に応じてプロダクトをどう進化させるべきなのか？を思考・創造してプロダクトの方針のアイデアを出すヒントになればと思って参加しまし

最近Go Modulesを使っていて、だいたいプラクティスが定まってきたのでまとめてみる。 個人的な結論 Go Modulesは積極的に使っていけばいい 幾つか課題はある $GOPATH から出る必要もない $GO111MODULE を適宜設定すればよい どうせ次のGo 1.13からはどこに置こうが関係なくなる 2つのモード $GOPATH/src にプロジェクトを置いていると、今(Go 1.12)の標準動作はGOPATHモードになる。これは、$GOPATH/src 以下からサードパーティパッケージを読み込むこれまでのGoと同様の動作になるということ。 それ以外の場所では go mod コマンドを使ってGo Modulesを利用することができる。これをmodule-awareモードという。go.mod と go.sum を使って依存ライブラリを管理する方式になる。これらのファイルはgo m

はじめに 先進サービス開発事業部の高橋です。主にフロントエンド開発を担当しています。今回は私たちの部署で運営しているソーシャルRSSサービス「NEIGHBORS」をPWA化した際にやったことを書いていこうと思います。 NEIGHBORS | ひとりの興味をみんなの知識に とはいえ、比較的短期間で実装するという目標を掲げていたということもあり、プッシュ通知みたいなすごくネイティブっぽい機能は実装しておらず、キャッシュコントロールやホームに追加してアプリっぽく振る舞うといった比較的簡易な形で落ち着かせています。なので、この記事ではPWAの実装自体について詳しく記載していくというよりは、それまで動いていた機能がPWAというかServiceWorkerを使うことでうまく動かなくなった点に重きを置いています。 PWAとは PWA(Progressive Web App)とは、ざっくりいうと、Webア

はじめに 先進サービス開発事業部の高橋です。主にフロントエンド開発を担当しています。今回は私たちの部署で運営しているソーシャルRSSサービス「NEIGHBORS」をPWA化した際にやったことを書いていこうと思います。 NEIGHBORS | ひとりの興味をみんなの知識に とはいえ、比較的短期間で実装するという目標を掲げていたということもあり、プッシュ通知みたいなすごくネイティブっぽい機能は実装しておらず、キャッシュコントロールやホームに追加してアプリっぽく振る舞うといった比較的簡易な形で落ち着かせています。なので、この記事ではPWAの実装自体について詳しく記載していくというよりは、それまで動いていた機能がPWAというかServiceWorkerを使うことでうまく動かなくなった点に重きを置いています。 PWAとは PWA(Progressive Web App)とは、ざっくりいうと、Webア

今回はソケットプログラミングについて。 ソケットというのは Unix 系のシステムでネットワークを扱うとしたら、ほぼ必ずといっていいほど使われているもの。 ホスト間の通信やホスト内での IPC など、ネットワークを抽象化したインターフェースになっている。 そんな幅広く使われているソケットだけど、取り扱うときには色々なアーキテクチャパターンが考えられる。 また、比較的低レイヤーな部分なので、効率的に扱うためにはシステムコールなどの、割りと OS レベルに近い知識も必要になってくる。 ここらへんの話は、体系的に語られているドキュメントが少ないし、あっても鈍器のような本だったりする。 そこで、今回はそれらについてざっくりと見ていくことにした。 尚、今回はプログラミング言語として Python を使うけど、何もこれは特定の言語に限った話ではない。 どんな言語を使うにしても、あるいは表面上は抽象化さ

こんにちは。そろそろプロ野球シーズンの開幕が待ちきれなくなってきたコネクト支援チーム*1の酒井（@sakay_y）です。 サイボウズでは、新入社員全体研修の後に、開発系の新入社員に対して1ヶ月程度の開発研修をおこなっています*2。内容は、毎年改善を重ねていますが、基本的には講義＋実習です。本記事では、先日公開した2018年の研修の講義資料を、全体の流れに沿って紹介したいと思います。 開発・運用研修について 本研修は「開発本部・運用本部に配属される新入社員が、部署配属後に必要となる基礎的な知識/技術/ツールを学び、体験できる。」ことを目的にしています。 新入社員3〜4名を1チームとして、そこに担当のメンターが1名付いて研修を進めていきました。講義では先輩社員に講師をお願いし、開発演習では各チームにメンターとは別の先輩社員が担当スクラムマスター（！）として付きました。 スケジュール 7/2 〜

システム系のトップ学会の一つである、OSDI (USENIX Symposium on Operating Systems Design and Implementation)の論文を2010年まで一通り眺めてみたので、その中で個人的に面白かった物をまとめてみる。 一通り眺めたといっても、全て読んだわけではないので、見逃してる論文もたぶんある。あと、英語力低くて趣旨を取り違えてる論文もあると思うけど、寛大な心で見逃してもらえると有り難いです。 （こういう系の話、少し間違えると「おめーここ間違ってるじゃねーか！」ってマサカリが飛んでくる印象があって、あんまり書きたくないんですよね） 2018 LegoOS: A Disseminated, Distributed OS for Hardware Resource Disaggregation https://www.usenix.org/co

概要 「詳解Linux Kernel」を参考にVersion 2.6.11のコードリーディングをしていく。CPUのアーキテクチャは書籍に沿ってIntelのx86とする。 今回は割り込み処理について見ていく。(*nは参考文献のn番目に対応する) 割り込み処理 例外ではほとんどの場合その例外の発生元となっているカレントプロセスにシグナルを送信することで処理する。例外処理もシグナルを受け取るまでは遅延される。 しかし割り込みの場合には別の無関係なプロセスが動作している際に発生することがあり、単純にカレントプロセスにシグナルを送信するだけではない。 割り込みは大きく3種類に分類される。 I/O割り込み 当該割り込みでは割り込みに対応する動作を決定するために割り込みハンドラからデバイスに対して問い合わせを行う必要がある。 タイマー割り込み ローカルAPICタイマや外部タイマなどが発生させる割り込みで

TL;DR　これは、このブログの本題とは何の関係もない僕自身の回顧録にして懺悔録であり、見ようによっては怪文書です*1。故に、記事中には何の参考になる内容も書かれていないことを予めお断りしておきます。それでも良いという方だけ、この先をお読みください。ただしTL;DRと書いた通りで、超長文につきご注意を。 当時から7年が経ち、この中に登場する人物の中には既にリタイアしている人もいれば、物故している人もいます。ある意味もう時効だろうということで、その時起きたことをつぶさに書いてみることにした次第です。 研究者を辞めた時のこと 研究者の道を目指した理由 正直言って無能だったが、勉強だけは熱心なポスドクだった ポスドク待遇改善運動、研究体制改革運動を経て、業界では知らぬ者のないお尋ね者になった そしてポスドクをクビになり、国内に行き先がなくなった 土壇場でシンガポールでのjob talkに招かれた

日頃から受信するメールの中に、重要な通知が埋設して見落としてしまった、という事は意外と発生しがちです。 AWS認定試験関連の通知の内容を確認するために毎回メール検索するのも効率が良くないことと、誤削除防止でバックアップも行いため少し工夫してみました。 AWS認定試験関連の通知について 認定試験関連の通知は確認している限りでは以下の内容が存在します。 模擬試験完了のお知らせ 認定試験の支払い領収書 認定試験予約確認通知 試験日リマインド（大体3日前) 認定試験完了通知 通知転送 通知を見落とさないようにしつつ、メール本文そのものを誤操作で削除することを防ぐため、フィルタだけでなく転送も併せます。 フィルタリング 各通知はno-reply表記のアドレスで届くものの、念の為ドメイン(psiexams.com)丸ごと対応しておきます。 わかりやすく、「AWS認定試験」等のラベルも付けておきましょう

本エントリはさくらインターネットアドベントカレンダー2018の12月25日の記事です。メリークリスマス！！！！！ 12月24日は、echizenya yotaさんの「さくらインターネット株式会社の田中邦裕社長からクリスマスプレゼントをもらう方法」でした。 ということで、今日は @matsumotory が 「分散型データセンターOSとリアクティブ性を持つコンテナ実行基盤技術のこれから」について書いてみようと思います。 現状のgVisorやFirecrackerをはじめとするコンテナ実行基盤技術の公開に伴って、個人としてはこれからますます分散型データセンターOSのような基盤と、その上で実行されるリアクティブ性を持つコンテナ実行環境が重要になってくる時代がはじまるように思っています。 今日は、そのあたりについての自分の考えと、その流れを見据えて現在開発しているミドルウェアを2つ紹介したいと思い

認証とログインは別と捉えることで、その状態の維持に着目してその手法を考えましょう。OAuth 認証は2018年現在、必要悪としか言いようがありません。ぐぬぬ。ソーシャルログインであっても、Web サーバーで自前のセッションを管理してください。 永遠の生魚おじさん、都元です。学生時代、ロックバンド Harem Scarem の Mood Swings (1993年) っていうアルバムが好きでよく聞いてたんですけど、この前 Google Play Music で検索してみたらMood Swings II (2013年) っていうアルバムが出ていることに気づきました。なんと曲目が全て一緒で、妙なアレンジのリミックスになっていない、まさに「オリジナルのまま20年磨き続けたらこうなりました」みたいな仕上がりが最高でした。聴き比べて楽しんでいます。 さて、弊社は本日を最終営業日として、これから冬季休業

設計サンプルで学ぶ、AWS構築の原則 - Webアプリ アーキテクチャのベストプラクティスを理解する AWS入門者に向け、同サービスのエキスパートである、クラスメソッドの八幡豊さんが、Webアプリケーション開発のためのAWS構築の基本を解説します。広範な領域をフォローするAWSですが、広範ゆえに、なにをどのように選ぶべきか……。こんなお悩みを持つ方はぜひご一読を。 クラウドコンピューティングサービス・Amazon Web Services（以下、AWS）は、数多くの高機能なクラウドサービスを簡単に利用できることから、多くの企業が導入しています。AWSの知識を身につけることは、いまやエンジニアにとっての必修科目です。 そのサービス範囲は広範にわたることから、「なにを」「どうやって」使うかのかが重要な知識になってきます。AWSの各サービスのポテンシャルを引き出すためには、それぞれの長所・短所を

本記事は下記URLに移動しました。 ５秒後に自動的に移動します。 https://needlework.jp/article/networkengineer_mac_tools この記事は、エーピーコミュニケーションズ Advent Calendar 2018 の11日目のエントリです。 目次 目次 はじめに 慣れ親しんだツールたち Macで使っているツールたち Consoleケーブル / USB変換 ターミナルソフト ログの取得 コンソール接続 連続Ping ファイルの圧縮 / 解凍 Diff（テキスト比較） テキストエディタ その他 まとめ はじめに 先進サービス開発事業部の内藤（@naitwo2）です。 現在わたしは自社プロダクトの開発部署で働いていますが、数年前まではインフラエンジニアとしてネットワーク＆サーバのインテグレーション業務（以下SI）をやっていました（10年くらい）。

社内外でちょいちょい聞かれるのでメモ。 前置き GitHubを使ってる場合 ライブラリを作ってる場合 Travis CIを選択する理由 2020/4/21追記 Travis CIを選択しない理由 アプリを作ってる場合 CircleCIとWerckerの共通点 CircleCIとWerckerの機能差異 GitLabを使ってる場合 GitLab CIの優位点 Jenkinsなどを使った方がいい場合 追記：2018/12/8 前置き 100%自分の主観なので偏ってます SaaSかオンプレならSaaS派。（自分でサーバの面倒身たくない） 自分が使ったことがないものは紹介していません 今回紹介してるTravis CI, CircleCI, Wercker, GitLab CI, Jenkinsに関しては仕事や趣味で各3〜4年くらいは使ってるはず GitHubを使ってる場合 ライブラリを作ってる場合