2019年6月24日、Machine Learning Pitchが主催するイベント「Machine Learning Recommender Pitch #3」が開催されました。機械学習を業務に用いる中で培った知見や経験を共有することを目的に設立された本イベント。今回は「情報推薦」をテーマに、株式会社Gunosy、エムスリー株式会社、クックパッド株式会社の3社のエンジニアが、自社の取り組みにおける知見を語ります。プレゼンテーション「クックパッドにおける推薦システムの取り組み 」に登壇したのは、クックパッド株式会社の林田千瑛氏。講演資料はこちら クックパッドにおける推薦システムの取り組み 林田千瑛 氏（以下、林田）：最後の登壇になりますが「クックパッドにおける推薦（と検索）についての取り組み」について、発表させていただきます。ちなみに、前の2人はごりごり数式を出してくれていたのです
はじめに この記事では、7月にリリースした、さくらのクラウドで使える機能の1つである「エンハンスドデータベース(TiDB)」というサービスについて紹介します。サービスの紹介に加えて、その裏で使っているTiDBという分散データベースの技術についても簡単に触れようかなと思っています。 分散データベース / NewSQLについて NewSQLとは さて、皆さんは「分散データベース」とか、あるいは「NewSQL」とか、そういった単語を耳にすることがあるでしょうか？ということでまずはこのお話をしたいと思います。 NewSQLと呼ばれているものはどういったものかといいますと、SQLをインターフェースとするという特徴を持っていて、データベース(例えばMySQLやPostgreSQLなど)と同じように強い整合性を持ち、トランザクションをサポートしていて、かつ分散データベース(分散型のリレーショナルデータベ
2019年ふりかえり - しゅみは人間の分析です
同人誌を生産する生活 同人誌制作が生活の中心だった。妻が同人活動を始め、それに振り回された一年といえる。妻はもともと絵を描く人だったが、ある日突然漫画も描くようになった。配偶者とはいえ、ひとの趣味なので始めは放置していた。だが、どうも雲行きが怪しい。スケジュールが破綻していたのだ。新刊が落ちるかもしれない、そんな状況で2019年を迎えた。年末年始の休暇をすべて費やし、私はスケジュール管理とアシスタントをすることになった。妻は1日に4ページの作画をこなし、私がベタとトーンを塗る。正月も休むことなく作業をし、締切前日には当然のように徹夜をした。 同人誌を作るのは文化祭の準備と似ている。あらゆる手段を使って完成させ、イベントで頒布しないといけない。本を用意できたら対面販売の喜びが得られる。インターネットで得られるただの数字とは違って、目の前の人が本を買ってくれるのだ。狭いスペースに何時間もいるの
Grokking Modern System Design Interview for Engineers & Managers - AI-Powered Learning for Developers
EXPLORE THE CATALOGSupercharge your career with 700+ hands-on courses
ブラウザベースのデザインツール「Figma」のデータベース(DB)は2020年以来100倍に拡大しました。当初は単一のPostgreSQLで構築されていたDBをどのようにして分散システムへと移行したのかについて、公式ブログで詳しく説明されています。 How Figma's Databases Team Lived to Tell the Scale | Figma Blog https://www.figma.com/ja-jp/blog/how-figmas-databases-team-lived-to-tell-the-scale/ Figmaではまず、「Figmaファイル」や「組織」などテーブルごとにDBを分割する「垂直分割」を行いました。2022年までに10個のパーティションに分割し、それぞれのパーティションを監視することでスケーリングの優先順位を付けたとのこと。 Figmaの利
外部サービス提供のAPIを叩く時に気をつけていること
はじめに 外部サービスが提供しているWebAPIを利用して、自社サービスのシステム機能を作成する事も少なくないと思います。 サーバーサイドで外部APIを叩く経験が何回かあったので、 開発後に気づいたことなどを踏まえて設計・実装・運用上で気をつけていることを書いていきます。 自社で利用しているサービスのAPIを叩く話よりはエンドユーザの(OAuth2やOpenID Connectを利用)リソースに対して操作するケースの話を多めにします。 設計面 ドキュメントを読み込む 基本的な事だと思いますが、利用サービスが提供しているAPIのリファレンスを読み込むことは重要です。 各外部サービス毎に異なる制限事項が細かい所に記載されていたりするので、ドキュメントから探す癖をつけるのがお勧めです。 RateLimitが設定されているAPIは存在するか エンドユーザの利用プランに応じて挙動や制限が行われるAP
この記事は GMOアドマーケティングAdvent Calendar 2021 25日目の記事です。 はじめに こんにちは、GMOアドマーケティングの星野です。 今年のアドベントカレンダーも本日で最後となりました。 アドベントカレンダーを書いていると今年も終わりということを感じます。 GMOアドマーケティングではいくつかのプロダクトをGCPへと移行をしています。 移行では障害を起こさないことが優先されますが、最終的には単に移行するだけではなく、システムをクラウドネイティブな設計に変えていくことで、クラウドの恩恵を最大限に受けれるように改善していきたいと思ってます。 既存のシステムをクラウドネイティブな設計に変えていくにはコンテナ化が必要になります。 コンテナ化を行う際の設計指針の一つにコンテナ・デザインパターンというものがあります。 今回は、書籍の分散システムデザインパターン からいくつかの
Abstruct サービスメッシュが、真に提供する価値は何なのか。それはトラフィック管理と可観測性なのだろうか。 サービスメッシュがこれほどにまで繁栄した理由について、私なりに考察する。 Introduction 近年では、ソフトウェアのアーキテクチャとして、マイクロサービスが大流行した。かつては最大手のインターネット企業のみが必要性に迫られていた、マイクロサービスアーキテクチャだが、昨今の急激に成長するITビジネスの中で、多くの企業にとってマイクロサービスは、あらゆる企業が取り組むべき必然性のあるソリューションとなっている マイクロサービス・アーキテクチャによって、大規模な開発チームがより俊敏になり、より多くのデプロイを実現させられることは、大きなメリットだ。一方で、マイクロサービス特有の課題も数多く存在する。 マイクロサービスに移行する際に発生する運用上の問題の多くは、結局のところ、ネ
iOSからSREに転向した
2020年5月10日昨年7月にiOS EngineerとしてSoundCloudに入社したが、今年の4月からは同社でSREをしている。 モバイルエンジニアのキャリアSoftware Engineerになって約8年、基本的にはずっとiOS Developerを名乗ってきた。そこそこ真面目にやった甲斐もあり、国内外のカンファレンスで登壇したり、書籍を執筆したり、それなりの規模のプロジェクトでTech Leadをする機会に恵まれた。 その一方で、長らく水平方向にスキルを伸ばしたいという思惑があり、伸びそうなSRE・ML・セキュリティといった分野を検討していた。その中でも特にSREがしっくりきたので、少し前からインフラ関連技術のキャッチアップをはじめていた。 本音としては「モバイルのキャッチアップにかけるコストを最低限におさえて別のスキルを伸ばしたい」と思っていた自分にとってこの数年のiOS開発環
Kubernetesにおけるコンテナ起動時間高速化に向けた検討 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された江平智之さんによる寄稿です。 はじめに PFN2022 夏季国内インターンシップに参加していた江平智之です。現在修士１年で、大学では分散システムやクラウド技術について研究しています。 今回のインターンシップでは、「JP04. Kubernetesにおけるコンテナ実行環境の改善」というテーマでコンテナ起動時間の高速化に取り組みました。 背景 PFNでは機械学習基盤としてKubernetesクラスタを使用しており、リサーチャやエンジニアはKubernetesクラスタ上のPod内で機械学習やシミュレーションなどの計算を行っています。スケジューラによってノードにアサインされた後にPod内にコンテナが起動されますが、ノード上にコンテナイメージのキャッシュがない場合にコンテナ起動が遅いという問題がありました。計算はPFNの研究開発における主要
オブザーバビリティ（可観測性）とは何か？を学べる「Distributed Systems Observability」を読んだ - kakakakakku blog
2019年頃から「オブザーバビリティ (Observability)」もしくは「可観測性」という言葉をよく聞くようになった（本記事では「オブザーバビリティ」という表記に統一する）．「マイクロサービス」と同じように「バズワード」の側面があり「オブザーバビリティとは何か？」という質問に対して様々な回答が考えられると思う． 今回は「オブザーバビリティ」の理解を深めるために「Distributed Systems Observability」を読んだ．本書は O'Reilly Media で読むこともできるけど，Humio のサイトから無料でダウンロードすることもできる（メールアドレス登録は必要）．著者は Cindy Sridharan となり，肩書は「Distributed Systems Engineer」と書いてあった． www.humio.com 目次 本書には「オブザーバビリティ」をテー
はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して
2019年9月25日、クックパッド株式会社にて「Cookpad Product Kitchen #4」が開催されました。今回のテーマは「ユーザー体験を支える検索・マッチング技術」。あらゆるサービスに採用されている「検索」機能。そんな検索機能における技術と工夫について、様々なIT企業のエンジニアたちが一堂に会し、自らの知見を語ります。プレゼンテーション「メルカリ商品検索のUI/UXと新たな挑戦 」に登壇したのは、株式会社メルカリ 元Director of Search/AI/Data Scienceの森山大朗氏。講演資料はこちら メルカリ商品検索のUI/UXと新たな挑戦 森山大朗 氏（以下、森山）：みなさんこんばんは。メルカリで検索の責任者をやっています森山大朗です。今日は、光栄にもログミーTechの記事を見ていただいたことがきっかけでこの場を作っていただいたということなので、がんばって話そ
デブサミ2023夏でスポンサー枠を取って「見えない壁を越えよう！アジャイルやマイクロサービスを阻む「今までのやり方」」という講演をしてきました。資料はこちら。 「アジャイルやマイクロサービス」という「これからのやり方」に取り組む時、苦労するのは「今までのやり方」とのギャップです。これは「ウォーターフォールやモノリス」との手法的な違いというよりも、その裏側にある組織やITの仕組み、さらには文化に起因するものです。 なぜなら、今までは「安定して効率的に対応し続ける」ことが正解であり、そのために仕組みを作り上げてきたからです。このような「今までの組織やITの仕組み」のままで、ただ単に「これからのやり方」に取り組んでも失敗してしまうのです。 「今まで」と「これから」のギャップ 失敗1：半島型 新しい手法を試すにあたり、これまでの仕組みとは意図的の距離を置く必要があります。そうしないと、これまでの仕
WireGuardによるマルチクラウド構成VPNの事例紹介
こんにちは、滝澤です。前回の記事『OctoDNSとGitLab CI/CDを利用した複数DNSプロバイダー構成の運用』に引き続き、社内事例を紹介します。 弊社ハートビーツではMSP（Managed Service Provider）サービスの可用性向上のために、社内基盤をマルチクラウド構成で運用しています。 複数のクラウド拠点のネットワークおよび事務所のネットワークとの間をWireGuardというVPNトンネルのソフトウェアで接続しています。 今回はこのWireGuardの利用事例を紹介します。 行っていることをまとめると次のようになります。 マルチクラウド構成（Azure, AWS, GCP）の各拠点と事務所のネットワーク間をWireGuardによるVPNで接続している。クラウド拠点間のレイテンシーはVPNルーター間で2〜4ミリ秒、分散システムのノード間で2〜6ミリ秒である。 ピア（対向
Observabilityをはじめよう！(前編) 〜Observabilityの背景と構成要素〜 | さくらのナレッジ
はじめに 仲亀と申します。さくらインターネットでエバンジェリストやインフラエンジニアをしています。エンジニアとしてはシステムの監視まわりの仕事をしています。最近は、今回もご紹介するPrometheusとかGrafana Lokiとか、あの辺が結構好きで触っています。 この記事では、監視について興味をお持ちの皆さんに向けて「Observabilityをはじめよう！」ということで、Observabilityの概念や、それが必要となる背景を少し説明した上で、Observabilityを実現するための要素となる、MetricsやLogsやTracesなどをどこから始めていけばいいんだろう、といったところをご紹介していこうと思います。 この記事のゴールとしては、皆さんに「Observability完全に理解した」と言っていただけたらいいかなと思っています。しかし、この記事を読んだだけですぐに皆さんの
KubernetesのPodやネットワークをわざと落としまくってカオスエンジニアリングのテストができる「Chaos Mesh」がバージョン1.0に到達
KubernetesのPodやネットワークをわざと落としまくってカオスエンジニアリングのテストができる「Chaos Mesh」がバージョン1.0に到達 Kubernetes上のシステムに対してわざと障害を発生させることで、システムの耐障害性のテストを行うためのソフトウェア「Chaos Mesh」がバージョン1.0に到達したことを、Chaos Meshの開発チームが明らかにしました。 Proud to announce the GA of #ChaosMesh 1.0: Powerful chaos support Visual chaos orchestration Enhanced observability Safe and controllable chaos Learn more: https://t.co/ynx3KIMzIS#chaosengineering @CloudNat
クラウドネイティブで変わる「NewSQL」の意味――地球規模でデータ分散を可能にする合意プロトコルの仕組みと課題
クラウドネイティブで変わる「NewSQL」の意味――地球規模でデータ分散を可能にする合意プロトコルの仕組みと課題：クラウドネイティブ時代のデータベース（終） クラウドネイティブ時代に求められるデータベースの3要件を満たすべく開発が進められているNewSQLの基本概念と、データの可用性を高める仕組みを解説する。 本連載第2回では、クラウドネイティブ化で高速化したアプリケーション開発と同様に、データベースもアジリティを獲得するためにKubernetesを利用する手法を紹介した。第3回では、クラウド事業者の障害も超えた可用性を獲得するために、マルチクラウドでデータベースを管理する手法を紹介した。 クラウドネイティブでもう一つ重要とされるスケーラビリティ、いわゆる水平方向の拡張性はこれまで部分的にしか言及してきていない。これは長い歴史を持つRDBMS（リレーショナルデータベースマネジメントシステム
AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 SAP on AWS - 専門知識」とは 「
【レポート】サービスメッシュは本当に必要なのか、何を解決するのか #AWSSummit | DevelopersIO
こんにちわ、札幌のヨシエです。 AWS Summit Tokyo 2019 3日目のA3-03で行われたセッションのレポートを書きましたのでご査収頂ければと思います。 登壇者 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 原 康紘 AWS 上でのマネージド・サービスメッシュを実現する AWS App Mesh や、Kubernetes ワークロードとの親和性が高い Istio など、サービスメッシュの世界には数々のプロダクトやソリューション、アイデアが生まれつつあります。本セッションでは、マイクロサービスにおけるベストプラクティスの集大成とも言えるサービスメッシュについて、その解決すべき課題と人々が熱狂する理由、サービスメッシュそのものの必要性について掘り下げます。同時に、サービスメッシュを実現する上で最も重要なコンポーネントの一つとも言える En
背景 マイクロサービスアーキテクチャが浸透し、それに伴いDDDを導入する企業も増えている気がします。 それと同時に、アクターモデルの話題も最近以前より聞くようになった気がします。 ただ、以下のような疑問を持つ人は多くいるのではないでしょうか？ アクターモデルは聞いたことがあるけど、重要性が分からない 使い所が分からない サーバーレスコンピューティングなの？でもAkkaの説明ばかり出てくるけど？ こういう状況になっている要因の一つは、おそらく、アクターモデルの説明の多くが分散システムにフォーカスしており(当たり前なんですが)、アプリケーションアーキテクチャとの関係性については、使う人まかせになっているためではないでしょうか。 ここでは、アプリケーションアーキテクチャと合わせて、アクターモデルの使い所を考えてみます。 先に結論 アクターモデルは、分散環境で実行するアプリケーションを開発するため
インタビュイー LINE Blockchain Engineeringチーム Software Engineer 高橋史季氏（左）、高瀬亮氏（右） LINEでは独自ブロックチェーンとして「LINE Blockchain Mainnet/Testnet」を運営しており、開発プラットフォームである「LINE Blockchain Developers」を通じてブロックチェーンサービスを構築できる環境を整えているほか、暗号資産として「LINK」も発行しています。LINEにおけるこれらの取り組みをリードしているのが「LINE Blockchain Lab」であり、ブロックチェーンに関するさまざまなプロジェクトが進められています。 特徴的なのは、ブロックチェーンの研究・開発でありながらも、Webを中心とした汎用的な技術を活用しながら未来の社会に向けた取り組みを行っている点です。今回、このLINE B
2019年7月6日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。「Kubernetesで始める新しい開発」に登壇したのは、株式会社サイバーエージェント・青山真也氏。登壇資料はこちら Kubernetes で始める新しい開発 青山真也 氏：本日は「Kubernetes で始める新しい開発」というテーマでお話しさせていただきたいと思います。 簡単に自己紹介なんですけど、私サイバーエージェントの青山と申します。普段はインフラエンジニアで主業務は主にGKEみたいなKubernetesサーバサービスのプラットフォームやKuberne
前回の記事はこちら 上の記事で、ご指摘をいただきました。曰く、「問題意識は伝わったが、なぜSRE (Site Reliability Engineer）になったのかという繋がりが理解しにくかった」 読み返してみて、その通りだと思いました 🤦 なので、今日はちょっとそこを深堀りしてみたいと思います。 組織が成長するにつれて、「API設計者」と「API利用者」でデベロッパーのピラミッド構造ができるという話をしました。 つくる人と使う人 今日はもう少し視野を広げてみます。 今自分が見ている地形図 なぜ、直接コア要素の設計側に行けないのか がむしゃらに設計者にまわろうと思ってもパイは少ないです。現在勤めている会社にも Ruby/Railsのコミッターチームや、MySQLの独自実装を行うチームがあります。少数精鋭のチームで、それぞれ何かしら業績があった上で、チームに加わっているイメージです。 AP
月間10万人が読んでいるCoral Insightsのニュースレターにご登録いただくと、Coral Capitalメンバーによる国内外のスタートアップ業界の最新動向に関するブログや、特別イベントの情報等について、定期的にお送りさせていただきます。ぜひ、ご登録ください！ Coral Capitalで投資を決めるときの基準の1つに、チームに優秀なエンジニアがいるかどうかということがあります。最近はシード投資に加えて、シリーズA・Bで出資することも増えましたが、その場合には開発チームや開発体制、技術スタックや設計方針などについて詳しくお聞きすることがあります。それはメンバーが優秀で事業ドメインやビジョンが優れていても、十分な開発スピードが保てなければ事業成長のボトルネックになり得ると考えているからです。逆に開発速度が圧倒的に速いことはmoatになると、個人的には考えています。 これは自明な考えの
peing.net メッセージングシステムのお題のようです。面白そうなのでちょっと考えてみよう。 問題提起 集約候補が以下の3つ。 ユーザー 企業 スレッド メッセージ スレッド集約はメッセージを複数保持するようです。 1000件のメッセージを保持するスレッド集約を更新した際、1000件のアップデートが行われる スレッド集約内部で更新された属性を把握していない場合は、リポジトリでは全メッセージ分の更新となる。これを避けるための仕組みはどう実装するのか？ ということが指摘されている。まぁわかります。これはCQRS/ESなら解決できるよと言ってみる 問題の分析 で、僕ならどう考えて実装に落とすかつらつらまとめてみよう。CQRS/ES前提です。Akkaの成分は少なめでScalaの擬似コードで解説します。コードはコンパイルしてないので…おかしなところあるかも。 問題はスレッド集約がメッセージの集合
はじめに 分散合意アルゴリズム Raft とは 分散合意アルゴリズムとは Raft の特徴 Raft が満たす性質 Election Safety Leader Append-Only Log Matching Leader Completeness State Machine Safety TLA+ とは TLA+ による Raft の形式的仕様 TLA+ による Raft の検証方法 TLA+ Toolbox のインストール 新規 Spec の作成 Model の作成と実行 補足: コマンドラインでの検証 Raft の拡張について Leadership Transfer Membership Change Log Compaction Client Interaction おわりに Raft 理解度を調べるクイズ 参考資料 Raft に関する資料 TLA+ に関する資料 はじめに この
5分で学ぶ: カオスエンジニアリングの説明書
この記事はNew RelicのチーフエディタFredric Paulによる記事「Breaking to Learn: Chaos Engineering Explained」の翻訳です。 Netfilxは、ただのインターネット越しのお茶の間TVショーというわけではありません。カオスエンジニアリングという分野の産みの親となったのは、まさに必然といえるでしょう。 この概念は矛盾しているように見えます。もしくはB級SF映画の物語か。しかしそれは、複雑な現代的アーキテクチャにおけるレジリエンス（回復力）の改善を実現するために、必要とされてきています。 この記事では、カオスエンジニアは何か、どのように役に立つかについて述べていきます。まずは、カオスエンジニアリングをざっくり理解するために、少し歴史を紐解いていきましょう。 「カオス」を受け入れる Netflixは何年にも渡ってインフラストラクチャを進
ビットコインの正体 ～電力と計算資源を消費するだけの“旗取りゲーム”：踊るバズワード ～Behind the Buzzword（7）ブロックチェーン（1）（1/8 ページ） 今回から新しいシリーズとして「ブロックチェーン」を取り上げます。さて、このブロックチェーンを理解するために、まずは「ビットコイン」のお話から始めましょう。なぜビットコインか、というのは本文を読んでいただくとして、あらためてビットコインを調べ始めた私がまず発見したものは――「人間を支配するアルゴリズム」でした。 「業界のトレンド」といわれる技術の名称は、“バズワード”になることが少なくありません。“M2M”“ユビキタス”“Web2.0”、そして“AI”。理解不能な技術が登場すると、それに“もっともらしい名前”を付けて分かったフリをするのです。このように作られた名前に世界は踊り、私たち技術者を翻弄した揚げ句、最後は無責任に
LIFULLが主要サービスの(ほぼ)全てをKubernetesに移行するまで - LIFULL Creators Blog
技術開発部の相原です。好きな --feature-gates はServiceTopologyです。 この記事はLIFULLアドベントカレンダーの16日目です。 去年のエントリではIstio を本番環境に導入するまでと題して、私のチームが進めているアプリケーション実行基盤刷新プロジェクトでのIstioの導入についてお伝えしました。 移行に至るまでの経緯などはそのエントリをご覧ください。 あれからしばらくが経ち、ようやく主要サービスの(ほぼ)全てをKubernetesに移行することができましたので今回は移行を実現するまでに行った取り組みを紹介したいと思います。 移行にあたってやったこと 健全化 構成の見直し アプリケーションサーバの見直し Containerize SIGTERMへの対応 環境ごとの値を外から与えられるように 可観測性の向上 Prometheus Exporter実装による可
【夏休みの自由研究】そうだブロックチェーンを作ろう！
はじめに ITニュースの方でも話しましたが、ここ数日、例の本でWeb3がとても話題ですね。まあ、炎上なので良い事では無いのですが、せっかくなのでその根幹技術らしいブロックチェーン周りの自分の理解を整理してみることにしました。とりあえず、簡易なブロックチェーンを作ってNFTやスマートコントラクトについても少し考えていきたいと思います。 なお、ネタでは無く詳しくない分野なので勘違いとかあると指摘してもらえると嬉しいです。 注意 あくまで私の理解のアウトプットなので実際の挙動や仕様とは異なる可能性があります 実践的で本格的な仕様や実装ではなく、あくまで基本的な理解のためのサブセットの作成 データの自由化！とかそういう話はしません ブロックチェーンを作ろう！ ハッシュ値による改ざんの困難性 そもそもブロックチェーンとは何でしょうか？ 一般には改ざんに強いP2Pな台帳という理解かな、と思います。暗号
日本の技術の力と世界と繋げたいとずっと思っていました。その夢が、先日書いた檄文が色々な人の目にとまったおかげで、遂に現実のモノとなりました。 xtech.nikkei.com 先陣を切って日本に技術チームをスタートしてくれたのは、java-jaでコミュニティを盛り上げ、ドワンゴやCookpadで分散システムの開発に知見を深め、そして輝くチームづくりに情熱を傾けるYoshioriさんです。うちの会社は、社員が全米の各地に散らばっているので、そもそもチームとしてのどのように働くのかについてとても意図的に取り組んでいるので、Yoshioriさんの情熱の方向を知ったら、この人とやりたい!!と強く思いました。一緒に仕事を出来ることになってとても楽しみです。 yoshiori.hatenablog.com そして、もう一人は、大学時代に最初の会社を一緒にやった岡嶋さんです。大学のそばにアパートを借りて
いざ「Kubernetesを使おう！」となって発生する８つの問題
Itamar Turner-Trauring 科学計算から分散システムまでを得意とするソフトウェアエンジニア。Kubernetesのローカル開発ライブラリ「Telepresence」をゼロベースで設計した経歴を持つ。 この記事は、著者の許可を得て配信しています。 https://pythonspeed.com/articles/dont-need-kubernetes Dockerを使用している場合、その次にKubernetes、別名K8sを使うのが自然な流れのようです。これが本番環境での実行方法ですよね？ まあ、おそらくそうでしょう。同じアプリケーションで作業する500人のソフトウェアエンジニア向けに設計されたソリューションは、50人のソフトウェアエンジニア向けのソリューションとはまったく異なります。 また、どちらも5人のチーム向けに設計されたソリューションとも全く違うものです。 自分が
分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか？それぞれの特徴をまとめてみた
X(旧Twitter)の仕様変更などを受けて、BlueskyやMastodonなどの分散型SNSに注目が集まっています。そこで、分散型SNSプロトコルの代表的存在である「AT Protocol」「ActivityPub」「Nostr」の特徴をまとめてみました。 Docs | AT Protocol https://atproto.com/docs ActivityPub https://www.w3.org/TR/2018/REC-activitypub-20180123/ GitHub - nostr-protocol/nostr: a truly censorship-resistant alternative to Twitter that has a chance of working https://github.com/nostr-protocol/nostr Nostrの仕組
前提 大学1年の終わり頃にプログラミング学習を始めて、ちょうど3年弱くらい経ちました。 数え切れないほどの技術書を読んできましたが、その中でも「これはよかったような気がする！」という書籍を載せておきます。 選出の観点は「面白さ」「わかりやすさ」「その知識が役に立ったか」の３つの観点から総合的に評価しています。 また、原則翻訳されたものがあればそちらを掲載しています。 ところが、僕はO'Reillyのサブスクを契約しているため、ほとんどのO'Reillyの書籍を原文で読んでいます。 そのため、翻訳の精度などについて評価することはできない点をご了承ください。 ※ リンクはアフィリエイトリンクではないので、気にせずご覧ください。 ネットワーク 3分間ネットワーク ネットワークのプロトコルとか以前の最低限の仕組みをトーク形式でわかりやすく話してくれている書籍です。 大学の授業とかを受ける前にこの本
ソラコムは、AWS上にミッションクリティカルなシステムをどう構築し、運用しているのか。IoTプラットフォーム開発と運用を聞いた［PR］
ソラコムは、AWS上にミッションクリティカルなシステムをどう構築し、運用しているのか。IoTプラットフォーム開発と運用を聞いた［PR］ パブリッククラウドであるAWS（Amazon Web Services）の上に、セルラー通信網に対応したパケット交換や帯域制御、顧客管理、課金機能などを構築することで、IoTデバイス向けの通信サービスを提供するスタートアップ企業として登場したソラコム。 同社はサービスの根幹にかかわるミッションクリティカルな機能を含むあらゆるサービスと業務システムを、AWS上に構築し運用するというチャレンジングな試みを実現し、サービス開始後3年半でIoT回線100万回線を達成。サービス面でもビジネス面でも成功を収めてきました。 現在、同社は自社でSIMを発行するいわゆる「フルMVNO」となり、NTTドコモとKDDIの国内セルラー網に加えて世界130の国と地域の通信キャリアや
詳説 データベース
データベースを選択し、使用し、管理するには、その内部構造を理解することが不可欠です。しかし、今日ではたくさんの分散型データベースやツールが存在するため、それぞれが何を提供しているのか、どのように異なるのかを理解することは困難です。 本書はデータベースとストレージエンジンの内部で利用されている概念を解説します。ストレージエンジンでは、ストレージの分類、Bツリーベースのストレージエンジンとイミュータブルなログ構造化ストレージエンジンの違いと事例を紹介します。ストレージの構成要素については、ページキャッシュ、バッファプール、ログ先行書き込みなどの補助的なデータ構造を使って、効率的なストレージを構築するためのデータベースファイルの構成を説明します。分散型システムでは、ノードとプロセスがどのように接続され、複雑な通信パターンを構築するのかを段階的に学びます。 データベースそれぞれで大きな違いがあるス
ISUCON13のベンチマーカーのDNS水責め攻撃について - Hateburo: kazeburo hatenablog
この記事はさくらインターネット Advent Calendar 2023の12月3日の記事になります。 先日行われました ISUCON13 の作問を担当しました。参加者の皆様、スタッフの皆様ありがとうございました。 このエントリではISUCON13のDNSに関わる要素とベンチマーカーから行われたDNS水責めについて紹介します。 ISUCON13の問題の講評と解説は以下のエントリーでも行っていますので読んでいただけると嬉しいです isucon.net こんいす〜 ISUCON13における名前解決 上記のエントリーにもある通り、今回のISUCONではDNSが問題の一部として出てきます。 これまでポータルから参加者は割り振られたサーバの中から負荷をかけるサーバ1台選択し、ポータルはそのサーバに対して負荷走行を行うことが多くありましたが、今回はサーバ1台を選択したら、ベンチマーカーはそのサーバの
大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）
大規模データ活用向けストレージレイヤソフトのこれまでとこれから （NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05） NTTデータ システム技術本部 OSSプロフェッショナルサービス 吉田 耕陽, 福久 琢也 Read less
はじめに 著名な Rubyist にインタビューを行う企画「Rubyist Hotlinks」。第 38 回となる今回は、国分崇志さん。 では、お楽しみください。 インタビュー 聞き手 卜部さん (@shyouhei) 語り手 国分崇志さん (記事中「国分」) 野次馬 遠藤さん、村田さん、柴田さん、sorahさん 日にち 2019 年 9 月 某日 写真提供 村田さん、柴田さん 目次 はじめに インタビュー 目次 プロフィール 代表作 プログラミング経験 Rubyについて 興味ある言語 大学入学後のお話 就職 トレジャーデータ入社 今後の話 普段の生活 普段使っている計算機 将来の夢 村田さんとの関係 次のインタビュイー 若手の読者に一言 プロフィール 卜部 じゃあ録音をします。 柴田 始まり。 卜部 じゃあ、お願いします。 国分 よろしくお願いします。 柴田 おはようございます。 卜部
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドにおける推薦システムの取り組み
今すぐ使える分散DB「エンハンスドデータベース(TiDB)」のご紹介 | さくらのナレッジ
Figmaは多大なアクセスをさばくためにどのようにデータベースのスケーリングを行ったのか？
クラウドネイティブな設計の1歩目〜コンテナ・デザインパターン〜
サービスメッシュの本質は、トラフィック管理や可観測性ではない
もう一度読むObservability Engineering - じゃあ、おうちで学べる
メルカリは「軽トラ」の検索結果をどう改善したか？ 商品検索におけるUI/UXと、新たな挑戦
アジャイルやマイクロサービスを阻む「今までのやり方」 - arclamp
アクターモデルとアプリケーションアーキテクチャの関係 - nkty blog
Webエンジニアの新しい道 ～LINE Blockchain Labが拓くブロックチェーンの世界 | gihyo.jp
「分散システムフレームワーク」としてのKubernetes
SREのすすめ：アプリケーションエンジニアとプロダクションエンジニアの架け橋になろう
スタートアップには「開発速度プレミアム」もある | Coral Capital
CQRS/ESによって集約の境界定義を見直す - かとじゅんの技術日誌
分散合意アルゴリズム Raft を TLA+ で検証する - 俺の Colimit を越えてゆけ
ビットコインの正体 ～電力と計算資源を消費するだけの“旗取りゲーム”
Launchable Japan 発足 - 川口耕介のブログ
クラウドが好きな大学生が読んで良さげだった本を紹介する - Qiita
Rubyist Hotlinks 【第 38 回】国分崇志 さん