著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
こんにちは。ZOZOテクノロジーズ開発部SREの田島(@katsuyan121)です。 弊社ではJBoss Data Grid(以下JDG)という分散キャッシュサーバーをマーケティングオートメーションシステムに導入し、キャンペーンのリアルタイム配信を実現しています。 JDGは複数台のサーバーでクラスタを組んでおり、先日そのクラスタがSplitBrainを起こしました。 SplitBrainとは、1つのクラスタが2つ以上のクラスタに分断することをいいます。 例えば、クラスタのノード間で通信が分断された場合などに、ノード同士で通信できなくなりSplitBrainが発生します。 調査の過程でJDGはどのような仕組みで動作しているのか、どのような原因でSplitBrainが発生したのか知見が溜まったのでそれを紹介します。 また、実際にSplitBrainの再現を行い対策を行ったのでそれについても紹
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINEのフェローであり、Data Science and Engineeringセンターに所属する並川淳氏が、「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というテーマで、LINEにおけるデータの扱い方について共有しました。 LINEにおけるデータ活用の取り組み 並川淳氏（以下、並川）：本日は「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というタイトルで、並川が発表いたします。私は、LINEではふだん機械学習に関わる開発全般を担当しています。ですが、今日は機械学習に限らず、LINEにおけるデータ活用の取り組みについて幅広く紹介させてもらえればと思っています。よ
はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介したいと思います。 はじめに 分散処理基盤 Hadoop / CDH とは Hadoop エコシステム データストレージ (HDFS) と リソース管理 (YARN) HDFS (Hadoop Distributed File System) YARN (Yet Another Resource Negotiator) ノードの役割 分散処理エンジン (MapReduce, Tez, Spark) MapReduce Apache Tez Apache Spark クエリエンジ
Amazonの分散システム開発のノウハウが凝縮された「Amazon Builder’s Library」の中身を見てみた #reinvent | DevelopersIO
本日、Wernerのキーノートにて、開発者向けドキュメントラブラリーであるところの「Amzon Builder's Library」のリリースが発表されました。 Welcome to the Amazon Builders’ Library 弊社西澤の速報記事もでております。Amazon Builder's Libraryの概要はこちらを参照ください。 [速報] The Amazon Builders’ Libraryが発表されました #reinvent ｜ Developers.IO 現在、13個のライブラリが登録されていますが、この中から自分が気になったライブラリーを何個か紹介しようと思います。想像していた以上に内容が濃い！ （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ﾒｯﾁｬｺｲﾃﾞ ﾜｯｼｮｲ |_|＿| し'´Ｊ Challenges with distri
主体的で幸福感の高いキャリアを歩むための勘所やコツをIT業界の最前線で活躍する、二人の元エンジニアに学ぶ「DX時代を勝ち抜くエンジニア成長戦略」。ここで株式会社レクター 取締役／一般社団法人日本CTO協会理事の広木氏が登壇。続いて、組織について考え、DXについて発信することになった経緯を話します。前回はこちらから。 バグやシステムの悪い部分を生み出しているものはなにか？ 広木大地氏：好きなことってなんだったんだろう。最初は、いいコードを書きたい、悪いコードをリファクタリングしたい、もっと良いサービスにしたい、もっと社会のためになることをしたい、もっとみんなを驚かせたいと考えていました。そのための仕組みや仕掛けやライブラリなど、いろいろなものを考えて作っていこうと。 一生懸命やっていく中で、技術的なものはある種の手段だけど、手段にこだわるのも愛だ。愛のない目的は無意味だし、その逆もそうだなと
2021年2-3月に CKAD と CKA を受験した / 受験 Tips と 勉強方法をまとめる - kakakakakku blog
2021年2-3月に Kubernetes の資格 CKAD (Certified Kubernetes Application Developer) と CKA (Certified Kubernetes Administrator) を受験した．3年後に更新をするであろう自分のためにも勉強方法をまとめておく．当たり前だけど，出題に関する内容は書かず，受験 Tips と勉強方法にフォーカスする．なお，試験情報は以下に載っている．一言でまとめると「勉強過程も試験本番もとにかく楽しかったー🙌」かな！ www.cncf.io www.cncf.io カリキュラム（出題範囲）は GitHub に PDF として公開されている． CKAD (Certified Kubernetes Application Developer) 13% - Core Concepts 10% - Multi-Co
まえがき 1 月 6 日に法人を設立し、2 月から独立しました。 一部の方には冗談で言っていた「btj.systems《ぶとじシステム》」を合同会社として法人登記し、2 月からこの法人でお仕事をいただき、生活しております。 btj.systems 合同会社 - Software Development for Distributed Systems and High-Traffic, Low-Latency Content Delivery btj.systems どういう意図で独立を考え、決断したのかを記事にまとめ、今後どのようなことをしたいかを記事として残そうと思います。 後半には 「なぜフリーランス（個人事業主）ではないのか」という観点からもこの記事を書いています。 なぜ独立し法人を設立したのか/あるいはなぜ退職を選んだのか 2021 年 10 月からプレイドでKARTEのリアルタイ
この記事は Microsoft Azure Tech Advent Calendar 2019 の 18 日目の記事です。 今日は、Azure の裏側の話、データーセンター (DC) を支える、Ananta1 と呼ばれる Software Load Balancer (SLB) アーキテクチャを紹介したいと思います。 はじめに 紹介の前に、まず最初に断っておかなければならないのは、Ananta が提案されたのは 2013 年であり、今から 6 年以上も前であるということです。当然、現在の Azure の DC で動いているロードバランサー (LB) は Ananta ではなく、以下のような多くの技術2を含む、改良を加えたバージョンのものです 。 Duet [R. Gandhi, et al. 2014] 3 : Ananta の論文が公開された翌年 2014 年に提案。SLB である An
DDD Community JPのほうでCQRS/Event Sourcingについて少し盛り上がったので、どういう議論をしたかまとめるのと同時に補足も追加しました。ちなみに、Event Sourcingが主題ですが、CQRSも前提として関係します。その想定で読んでいただければと。 発端はこのツイート。 これはEvent Sourcingじゃないと無理ですね。状態に基づく限り、ストリーム処理は難しいです https://t.co/prB16GJC5q— かとじゅん (@j5ik2o) 2020年9月14日 僕が引用したツイートは松岡さんの質問箱に対するリアクションです。その質問箱に寄せられた質問は以下。 ストリームを開いてから閉じるまでのデータが変化する毎にUIで表示したい場合、DDDではどのように設計したら良いでしょうか？ DDDのリポジトリは1つのリクエストに対して1つのリクエストを返
クラウド・ネイティブ活用のために必要なこと 及川卓也氏（以下、及川）：次に「クラウド・ネイティブを活用するために必要なことは？」です。クラウド・ネイティブ以前に、今我々が住んでいる日本のITの現状はどうなのか？ 『ソフトウェア・ファースト』を読んでいただいた方はわかると思いますが、私自身危機感を持っていて、おそらく登壇されている3人もそうだと思います。 典型的なのは、クラウドへの移行がほかの先進国に比べて遅れている。それ以前に、ITのリテラシーが遅れている。 なので、クラウド・ネイティブと言っていますが、日本のITのイケていないところということで、そもそも何が必要なのかをお聞きしたいと思います。今度は羽山さんからお話しいただいてもよろしいですか。 羽山祥樹氏（以下、羽山）：最近感じたことがあったので、それをお話しさせていただきます。ワールドワイドのことはわかりませんが、セキュリティ絡みの話
Test Everything: データセンター仮想化と自動テストの取り組み - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。Necoプロジェクトの池添(@zoetro)です。 Necoプロジェクトでは、自社データセンター上のインフラ構築の仕組みを開発しており、サーバーのプロビジョニング、Kubernetesクラスタの構築、Kubernetes上で動くアプリケーションのデプロイ、各種ソフトウェアやOSのアップグレードなどをすべて自動化しています。 blog.cybozu.io このプロジェクトでは「データセンターの機能をすべてテストすること」を設計方針のひとつとしており、データセンターをまるごと仮想化してテストし、人の手を介することなく成果物の継続的インテグレーションとデリバリーを実現しています。 最初にこの方針を決めたとき、チーム内でも議論がありました。本当にデータセンターをまるごと自動テストできるのか？QAチームの手動テストをおこなわずに品質を保証することができるのか？など多くの疑問が湧きました。
Scala Days 2019 に参加しました - Hatena Developer Blog
アプリケーションエンジニアの id:tanishiking24 です。 報告が遅くなってしまいましたが、2019年6月11日から2019年6月13日にかけてスイスのローザンヌで開催された、世界最大規模のScalaのカンファレンスである Scala Days 2019 に参加してきました。 この記事では写真を多めに会場の雰囲気や、Scalaコミュニティ最前線の熱気をお伝えしようと思います。 Scala Days 2019 scaladays.org 今年はちょうどScalaが15周年、Scala Days開催10周年、またScala生誕の地であるEPFL(スイス連邦工科大学ローザンヌ校)50周年が重なり、Scalaにとって特別な年ということで原点回帰の意味も込めて(?)EPFL(の隣のSwiss Tech Convention Center)が会場となりました。キーノート、コミュニティイベン
LayerX、最先端のプライバシー保護技術Anonify（アノニファイ）によるパーソナルデータ活用ソリューションの正式提供を開始
金融や医療、行政等の領域で、PrivacyTechによる組織や企業を横断したパーソナルデータの利活用や流通を促進 経済活動のデジタル化を推進する株式会社LayerXは、個人情報保護とデータ利活用の両立を実現する最先端のプライバシー保護技術「Anonify（アノニファイ）」を用いたパーソナルデータ活用ソリューションの正式提供を開始します。 LayerXは創業期から研究開発部門（旧LayerX Labs）を設置し、セキュリティ・プライバシー保護技術の研究開発や実証実験等の取り組みを進めてきました。 今般、PrivacyTech事業に本格参入し、これまでプライバシーの懸念からパーソナルデータ活用が進みづらかった金融や医療、行政等を始めとする様々な領域において、高度なデータ利活用やデータ流通の促進に向けた取り組みを加速していきます。 ■ 背景 昨今、位置情報やヘルスケアデータ、決済情報をはじめとす
はじめに こんにちは。ABEJAのAdvent Calendar3日目を担当している大田黒です。最近、IoTxAIのパワーで会社でキノコを育てているABEJAのエンジニアです。 会社でしいたけ育ててます pic.twitter.com/WhraaF0GCz — たぐろまる@ABEJA Inc (@xecus) November 20, 2019 突然ですが、ある日仕事(きのこ育成)をしていたら某プロダクトの開発メンバーから「将来的に、数千万〜億の数の特徴量データにクエリーをかけて厳密近傍を数十msecで探してくれるマイクロサービスがほしい」みたいな話がポロッと聞こえてきました。「問題設定エグくない?大丈夫?」と思いつつも、ちょっと真剣な顔をしていたので、色々思いを巡らせてみる事にしました。 ※ここでは詳しく語りませんが、社のTechBlogのTechStack紹介記事等をご覧いただくと背景
分散システムについて語らせてくれ | ドクセル
目次 分散システムを作る際に気をつけて欲しい事 1.分散自体を目的にしない事 2.論文を読んでそのまま実装しない事 3.Two Phase Commitを使わない事 4.手を動かす事 Copyright©2016 NTT Corp. All Rights Reserved. 2 分散自体を目的にしない事 • よくわかってない人でもCloudera Managerをダウンロードして1時間後 には巨大なHadoopクラスタを立ち上げてYARN, HDFS, Spark, HBase などで遊ぶ事ができる。 • 世の中では分散システムが必要以上に喧伝されている • 「コンピュータ1台よりも2台の方が高速」という直感に対して反論するの は意外と難しい • あなたのそのシステム、本当に分散システムじゃないとダメ？ Copyright©2016 NTT Corp. All Rights Reserve
Google Cloud Next '19 in Tokyo & Leaders Circle - エムスリーテックブログ
こんにちは、CTO の矢崎(id:Saiya)です。 先日、Google Cloud Next '19 in Tokyo とその中で開催される Leaders Circle という会に参加してきました。 かつてないクラウドを体験しよう。 イベント全体の内容などは 公式サイト をご覧いただくとして、ここでは私個人の主観として印象に残った点や、エンジニア・アーキテクト観点での気になりどころなどをご紹介いたします。 Kubernetes と オンプレミスからの移行 個人的には、今回の Cloud Next では以下の 2 つのトピックが多く語られていた印象があります: Kubernetes の活用や実戦投入 オンプレミスの既存システムの移行 Kubernetes 今回の Cloud Next では、信頼性の要求やロジックの複雑性が高いシステムにおける Kubernetes の導入事例や、そういっ
Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由 Reliability Engineering Behind The Most Trusted Kafka Platform #2/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「Reliability Engineering Behind The Most Trusted Kafka Platform」に登壇したのはLINE Z
メンバーが登壇している様子 この度は、4/9(土)~4/11(日)に開催された PHPerKaigi 2022 に4名のメンバーが登壇しました。 今回は、登壇者 4 名からコメントと、他のセッションの感想などをお届けします！ PHPerKaigi 2022 とは 2022/04/09(土) ~ 2022/04/11(月) の 3 日間にわたって PHPerKaigi 2022 が開催されました。今年はオンラインとオフラインのハイブリット開催になります。 BASE はこれまでにも開催されている PHPerKaigi への登壇並びにスポンサードをコミュニティ貢献活動として行って参りました。 登壇者のコメント 川島 (@nazonohito51) TechLeadの川島（@nazonohito51）です。 今回はBASEがサービスとしても組織としても成長していく中で生産性を維持するためのアーキテ
レッドハット、「Red Hat Enterprise Linux 9.4」を一般提供--「RHEL 7.9」に4年間の追加サポートも
レッドハット、「Red Hat Enterprise Linux 9.4」を一般提供--「RHEL 7.9」に4年間の追加サポートも Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 編集部 2024-05-02 10:03 Red Hatは米国時間5月1日、同社OSの最新版「Red Hat Enterprise Linux（RHEL）9.4」をリリースした。また、「RHEL 7.9」のサポートを4年延長することも発表した。 他のバージョンのRHELではこのような延長サポートは期待できないだろう。CanonicalがUbuntuの長期サポート（LTS）版に12年間のサポートを提供しているのとは異なり、Red Hatは「RHEL 7 Extended Life Cycle Support（ELS）」に1回限りの4年間の追加サポートを
R3 - C#用のReactive Extensionsの新しい現代的再実装 2024-02-27 先日、新しいC#用のReactive Extensionsの実装としてR3を正式公開しました！R3はRx for .NETを第一世代、UniRxを第二世代とした場合の、第三世代のRxという意味で命名しています。Rxとしてのコア部分(ほぼdotnet/reactiveと同様)は.NET共通のライブラリとして提供し、各プラットフォーム特化のカスタムスケジューラーやオペレーターは別ライブラリに分けるという形により、全ての.NETプラットフォーム向けのコアライブラリと、各種フレームワーク Unity, Godot, Avalonia, WPF, WinForms, WinUI3, Stride, LogicLooper, MAUI, MonoGame 向けの拡張ライブラリを提供しています。 GitH
Kubernetes 1.30、コード名「Uwubernetes」正式リリース、史上最もキュートなロゴのKubernetesリリースに
Kubernetes 1.30、コード名「Uwubernetes」正式リリース、史上最もキュートなロゴのKubernetesリリースに Kubernetesはリリースごとにそのリリースを担当するチームがコード名とリリースロゴを決めます。 4月17日にリリースされた最新のKubernetes 1.30は、コード名が「UwU」と「Kubernetes」を組み合わせた「Uwubernetes」と設定されました。 「UwU」は海外で使われる顔文字で、キュートさやハッピーさを表しています（そう言われると、そういう顔に見えてきませんか？）。リリースロゴもキュートなものになっていますね。 というわけで、Kubernetes 1.30では特に目立った新機能があるわけではないのですが、リリースロゴが可愛かったので紹介することにしました：-） Kuberenetes 1.30で安定版になった主な機能 Robu
フルサイクルエンジニアリングの第一歩を進める - BASE BANKでの新たな挑戦 - BASEプロダクトチームブログ
この記事は BASE Advent Calendar 2023 の9日目の記事です ごあいさつ はじめましての人ははじめまして、こんにちは！BASE BANK Divisionのフロントエンドエンジニアのがっちゃん（ @gatchan0807 ）です。テックブログに出てくるのは半年ぶりぐらいですね。お久しぶりです ちょっと大それた感じのタイトルを付けてしまいましたが、今回の記事では、先日 BASE BANK Divisionに社内公募という制度で異動して感じた BASE 組織との違いと、オンボーディングタスクでAWS ECSと格闘した記録をご紹介していこうと思います！ また、20日の記事では私も含む、実際に社内公募制度を使って異動したメンバーの体験談や感想などをまとめたものが公開される予定ですので、そちらもぜひご覧ください！ BASE組織とBASE BANK組織の違い まずはBASE BA
概要 分散システムにおいて同じリソースにアクセスする際にロック（排他制御）する仕組みを分散ロックといいます。 ロックを用いる背景としては主に２つあり、 目的 説明 具体例 効率 同じ作業を不必要に複数回行わないため キャッシュのOriginへのリクエストを抑制したい（Cache stampede対策） 正確性 データの不整合が起きないようにするため トランザクション Redisを分散ロックに使う場合は主に前者のケースにおいて推奨されます。 環境 Redis 6.2.0 Redisでの分散ロック Redisで分散ロックを実現する方法は主に２種類あります。 SETNXを用いる Redlockアルゴリズムを用いる それぞれのケースを説明します。 SETNXを用いた分散ロック シングルインスタンスの場合SETNXを用います。 func (c *Client) updateCache(ctx con
さくらインターネット研究所と公立はこだて未来大学、 超個体型データセンターの実現に向けた自律分散するコンピューター群を抽象化するための分散OSおよび仮想化技術に関する共同研究を開始 | さくらインターネット
さくらインターネット研究所と公立はこだて未来大学、 超個体型データセンターの実現に向けた自律分散するコンピューター群を抽象化するための分散OSおよび仮想化技術に関する共同研究を開始 さくらインターネット株式会社（本社：大阪府大阪市、代表取締役社長：田中 邦裕）の組織内研究所であるさくらインターネット研究所と、公立大学法人公立はこだて未来大学（理事長：片桐 恭弘、以下「公立はこだて未来大学」）は、さくらインターネット研究所の提唱する次世代データセンターおよびコンピューティングのコンセプト「超個体型データセンターの実現」に向けて、自律分散するコンピューター群を抽象化するための分散OSおよび仮想化技術に関する共同研究を開始しました。 近年、スマートフォンやIoT機器などの端末機器が急速に普及しています。ユーザーが利用するアプリケーションはそれら端末機器単体によって動作するのではなく、高度な演算
2020年10月のサーバーレス関連まとめです。こちらのイベントで取り上げる内容です。 serverless-newworld.connpass.com 2020/11/05 Update 配信のアーカイブがあがっています。 Monthly AWS Serverless update 2020/11 2020年10月のリリース 10月は割と大きめのアップデートがありました。 AWS AppSync が AWS WAF のサポートを追加 待望の人も多いんじゃないでしょうか。AWS AppSyncがAWS WAFに対応しました。少し前に質問でもいただいてましたね これまでWAFを使うのが難しかったので泣く泣くAppSyncを諦めてた人には朗報かと思います Amazon SNS を使用して SMS を送信するアプリケーションが新しい 5 つのリージョンでホスティング可能になりました。 SMSによる
「ブロックチェーン」の日本の方針とは｜no plan inc. web3,AIなど先端テクノロジーでサービス開発を行う精鋭クリエイター集団
今日はデジタル庁さんが出しているブロックチェーンについての定義や今後の活用の戦略を、ざっっっっっくりと読み解いてみようと思います。 2022年12月の記事なので情報が古い場合がありますでのご注意ください。 デジタル庁の文献によるとブロックチェーン及び分散台帳技術は、データに関する耐改ざん性が高く透明性が確保されたシステムを分散システムとして実現する技術である。 これを利用することで、取引上の仲介が不要となり、サービスにおける取引コストの削減が図られる等の利点がある。このため、暗号資産（仮想通貨）の取引管理等では既にその技術が広く活用されているほか、身分証明等の真正性確認や、サプライチェーン管理や電力取引、環境価値取引といった商取引など、様々な分野での商用化、実証及び検討が国内外で進められている。我が国においては、引き続き国内外のグループにおける先進的な取組や民間主導の活動を積極的に情報収集
バウンスマネジメント用のメールアドレス帳をAWS移行しました - LIVESENSE ENGINEER BLOG
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデータセンターで稼動しているサーバーのクラウド移行を進めており、 2024年1Qの時点で大半はAWSへの移行が完了しています。 本記事では社内で古くから運用し続けているメール配信サーバーのバウンスマネジメントに使用するアドレス帳データをクラウド移行した件について振り返ります。 メール配信サーバー自体のクラウド移行に関しては本記事では触れません。 以降の章ではメール配信サーバーを自前で運用している背景やクラウド移行前後での構成比較、および移行後のシステム詳細について触れていきます。 なお記事内ではEメー
Go言語による分散サービス
本書は、Go言語で分散サービスを構築する方法を解説する書籍です。分散サービスの概要と基本を解説し、設計、開発、およびデプロイする方法をコードを使ってハンズオン形式で学びます。はじめに、ストレージレイヤの構築とデータ構造の定義を行い、gRPCを用いてAPIを定義したサービスをネットワーク上で動作させる方法を説明します。そしてサービスを分散させて、可用性、耐障害性、拡張性を実現する方法を解説し、本番環境のKubernetesへデプロイする方法を学びます。 [本書の正誤表] 本書への推薦の言葉 はじめに 第I部 さあ始めましょう 1章 レッツGo 1.1 HTTPベースのJSONサービスの分散システムへの適合性 1.2 プロジェクトの準備 1.3 コミットログのプロトタイプの作成 1.4 HTTPベースのJSONサーバの構築 1.5 サーバの実行 1.6 APIのテスト 1.7 学んだこと 2章
Goとは、Google社が開発したプログラミング言語です。並行処理が得意で実行速度が速く、有名サービスで使われています。シンプルで、プログラミング入門者が学びやすいのも特徴です。 この記事では、Go言語が得意なことや開発できるものの種類を解説します。将来性や学習方法なども紹介するので、Go言語に関して知るべきことをまとめて知れます。 ちなみにGoは案件の単価が特に高い言語です。Goを身につけるか悩んでいるなら、ぜひじっくりとお読みください。 Goとは？成り立ちや特徴、メリット Go言語とは、Googleが2009年に開発、2012年にリリースしたプログラミング言語です。Goは簡易な記述と高速処理を同時に実現したのが最大の特徴です。 Go以前の言語は、処理が早いものは記述が複雑で、記述が簡単なものは処理が遅い場合がほとんどでした。そこで、C言語の設計者であるケネス・レイン・トンプソン、UNI
はじめてのにき(2020-07-13)
_ CS 30トピック https://twitter.com/_ko1/status/1281972384036040704 と https://twitter.com/_ko1/status/1281984532971786240 を見て、エンジニアトピックの作ってみる課題30個、ての考えてみると面白そうだなあ、と思って考えてみた。たぶん普通 CS という時よりも、自分の趣味と実務ぽいの多めだと思う 表記は ジャンル / 課題 / コメント みたいになってる アルゴリズムぽいやつ データ構造 / 赤黒木など平衡木 / ハッシュでもいいなあという気がする アルゴリズム / diff / 個人的には動的計画法の実用の圧倒的定番 アルゴリズム / TSPをGPなり焼きなましなりで / メタヒューリスティクスなんか知ってていいと思うので アルゴリズム / オセロのゲーム木探索 / 再帰する系も
今年もbuildersconに参加してきました。 builderscon.io 参加したセッション内容のメモと簡単な所感、全体所感を書き残しておきます。資料が公開されているものはリンクを張っておきました。 ※一部、私個人の解釈でメモしているものもあり、発表者の方の本来の意図とズレているものがあるかもしれませんがご了承下さい。 昨年と一昨年の参加レポートのリンク。 builderscon 2018に参加してきた - braitom's Tech Memo builderscon tokyo 2017 1日目 ~アウトラインメモ~ - braitom's Tech Memo builderscon tokyo 2017 2日目 ~アウトラインメモ~ - braitom's Tech Memo 本編1日目 Open SKT: メルペイ開発の裏側 - builderscon tokyo 2019
リンク www.budouya.jp テッレ・デル・バローロ ピエモンテ・バルベラ｜ワイン通販の世界のワイン葡萄屋 テッレ・デル・バローロ ピエモンテ・バルベラを探すなら世界40ヶ国以上の豊富な品揃えの「世界のワイン葡萄屋」！フレッシュな果実味と酸のバランスが良く、美味しさがストレートに伝わるバルベーラ！イタリアンとご一緒に！ リンク www.oreilly.co.jp データ指向アプリケーションデザイン 現代の分散システム設計においてデータの扱いは重要な課題です。システムはスケーラビリティ、一貫性、信頼性、効率性、メンテナンス性を維持する必要があり、そのためにリレーショナルデータベース、NoSQLデータストア、ストリーム、バッチプロセッサ、メッセージブローカーなどのツールが数多く存在します。 本書は、データを処理し、保存するさまざまなテクノロジーの特性を詳述することで、ツールの長所と短所
公開日 2024/01/24更新日 2024/02/15あのサービスの監視・オブザーバビリティ アーキテクチャ選定【後編】 ユーザーや顧客へ信頼性を担保した価値提供をしていく中で、監視・オブザーバビリティの取り組みは非常に重要です。 前回の監視・オブザーバビリティ特集では、合同会社DMM.com、株式会社MIXI、株式会社マネーフォワード、パイオニア株式会社、Sansan株式会社、株式会社ZOZOの6社の各サービスを支える監視・オブザーバビリティをご紹介しました。 今回後編では、Chatwork株式会社、株式会社カカクコム、株式会社LayerX、株式会社リンクアンドモチベーション、株式会社タップルのアーキテクチャをご紹介します。 各社がどのようなアーキテクチャを組んでいるのか、またそのアーキテクチャにしている背景や意図についてぜひ参考にしてみてください。 Chatwork株式会社 アーキテ
今回はTiDB（PingCAP） 久しぶりに論文紹介シリーズの第2弾である。 今回は分散DBのど真ん中、PingCAPが開発しているTiDBについての論文「TiDB:a Raft-based HTAP database」(VLDB2020)を紹介する。 この論文に関しては、PingCAP社が自身のブログでも解説している。 TiDBとは 念のため、TiDBとは何なのかを触れておこう。 一言でいうと、「MySQL互換のNewSQL（＝分散SQLデータベース）」である。 NewSQLとは何かについての説明は今回記事では省略するが、過去に書いたこちらの入門編やこちらの詳解編に解説をしている。 TiDBはMySQLと互換性を持つだけでなく、、今回の論文に示されているように、OLAP用途の機能強化を行っており、これもまたMySQLの弱点を補強する良い方向性と言える。この辺りのNewSQLの機能強化につ
![[論文紹介] TiDB:a Raft-based HTAP database](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5d7368b8594081fe926e56f2548a5f3b50af26/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--LwEg5Sy_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520TiDB%25253Aa%252520Raft-based%252520HTAP%252520database%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252593%2525E3%252581%2525B0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmM2YwZjM3ZjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
一流の機械学習エンジニアを雇用する：Googleが求める人物像とは | Forbes JAPAN 公式サイト（フォーブス ジャパン）
企業が人工知能（AI）テクノロジーを採用してコストを削減し、効率性を向上させ、そのデータから価値を得るにあたり、機械学習に関わるエンジニアはますます価値あるリソースとなっています。最新のRELXの調査によると、63％の企業が、AIがパンデミック時のビジネスの回復にプラスの影響を与えたと報告しており、およそ10社中7社がAI技術への投資を昨年度よりも増やしています。 他の新しいイノベーションと同様に、期待通りの価値を実現させるには、それをサポートするために最適な人員を配置することが大変重要です。才能あるAI人材は不足しています。およそ5社中2社が、AIテクノロジー使用のための主な障害として技術的な専門知識の不足を挙げています。 AI人材の需要は供給を上回っている 企業が現在直面している大きな問題の一つは、AI担当部門のオープンポジションが、条件を満たす人の数をはるかに上回っていることです。例
AWS Fault Injection Simulator が、Amazon Elastic Container Service のタスクレベルのフォールトのサポートを開始しました
Amazon Elastic Container Service (ECS) のお客様は、AWS Fault Injection Simulator (FIS) 実験を使用して、タスクレベルのコンテナー障害を試せるようになりました。この新しい AWS FIS 障害アクションを使用すると、AWS Fargate または Amazon EC2 インフラストラクチャにデプロイされているかどうかに関係なく、コンテナベースのアプリケーションでのタスクの実行を停止できるため、分散システムで見つけるのが困難な隠れたバグの発見、死角の監視、パフォーマンスのボトルネックの解消ができます。AWS FIS 実験は、カオスエンジニアリング、ゲームデイテスト、継続的配信などのユースケースで、アプリケーションの復元力を測定、検証、改善するのに役立ちます。 以前、AWS FIS は、コンテナインスタンスを排出し、クラス
米Microsoftのサブスクリプションサービス「Microsoft 365」で米東部時間の10月7日午後2時10分から障害が発生し、約3時間接続しにくい状態が続いた。同社の公式Twitterによると、本稿執筆現在（日本時間の8日午前6時）にはほぼ復旧したという。 日本は夜中だったが米国は水曜日の午後という時間帯で、Downdetector.comのマップでは北米が真っ赤（報告の数で色が濃くなる）になっていた。 Microsoft 365 Service health statusには影響を受けた範囲は明示されていないが、症状は「Microsoft 365のサービスにアクセスできない」で、原因は「ネットワークインフラストラクチャの変更により、Microsoft 365サービス内に影響が生じた」となっている。 関連記事 「Microsoft 365」の約5時間の障害の原因は「コードの問題」
ガートナーの米国本社発のオフィシャルサイト「Insights」などのグローバルコンテンツから、＠IT編集部が独自の視点で“読むべき記事”をピックアップして翻訳。グローバルのITトレンドを先取りし「今、何が起きているのか、起きようとしているのか」を展望する。 新しい問題ではないが、モダンなソフトウェアアーキテクチャは、多くの独立したサービスで構成される複雑な分散システムとなっており、構成コンポーネントが他のチームやクラウドプロバイダーによって構築されていることも多い。Kubernetesはこうしたサービス群を管理するが、さらなる複雑化を招いてしまい、その克服が必要だ。 これは、開発と運用が交わる領域で厄介な問題を引き起こす。開発者は、専門外の複雑で難解なサービスやツールを幾つも運用しなければならないと、フラストレーションを感じる。運用担当者は、専門外の開発者が基準に満たないインフラを構築する
Abstract 本セッションでは、形式手法 (formal methods) を用いた分散システムの設計および実装について解説します。形式手法は、数学的な表現を用いて対象となるシステムを定式化することにより、システムの挙動の「正しさ」を厳密に保証するための方法論です。受講対象は予備知識を持たない初心者を想定しており、具体例を通して形式手法の基本的なアイデアを知ることを目標とします。 分散システムのメリットとデメリット 近年、複数のコンポーネントが非同期的に連携して動作する分散システムは決して珍しいものではなくなりました。正しく設計された分散システムは、集中システムとは比較にならないフレキシビリティとスケーラビリティを発揮します。人気 OSS の中にも分散型の設計を取るものは多数見られ、一昔前のように一部の専門家だけに任せておくだけでなく、すべてのエンジニアにとって一種の基礎教養になってい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
分散キャッシュサーバーのSplitBrainの再現とその調査 - ZOZO TECH BLOG
大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと
CDH (Hadoop) 入門 - MicroAd Developers Blog
システムの悪い部分やバグを生み出しているものはなにか？ 開発者を置き去りにしないDXの考え方
法人を設立し独立した／あるいは退職エントリー - 枯れた技術の水平思考
Ananta: Azure を支えるステートフル L4 ロードバランサー - Qiita
具体的な実装コードからEvent Sourcingを理解する - かとじゅんの技術日誌
日本はクラウド導入の「抵抗国」 クラウド・ネイティブ推進を阻むもの
Goでゆるふわ特徴量検索エンジンを作り始めたYO - Qiita
Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由
PHPerKaigi2022に4名のメンバーが登壇しました - BASEプロダクトチームブログ
neue cc - R3 - C#用のReactive Extensionsの新しい現代的再実装
Redisを使った分散ロック (SETNX, Redlock) - Carpe Diem
Monthly AWS Serverless Update 202010 - Sweet Escape
Goとは？特徴や作れるもの、Pythonとの違い、入門方法を解説
#builderscon 2019 参加レポート - braitom's Tech Memo
『データ指向アプリケーションデザイン』のワインを見つけてしまった「完全に一致」「トレス疑惑？」
あのサービスの監視・オブザーバビリティ アーキテクチャ選定【後編】 - Findy Tools
[論文紹介] TiDB:a Raft-based HTAP database
Microsoft 365がまたダウンし約3時間で復旧 原因は「ネットワークインフラの変更」
プラットフォームエンジニアリングの現状と今後
形式手法による分散システムの検証 - builderscon tokyo 2019