Migrating from AWS to Fly.io TL;DR It was a pleasure migrating from AWS to Fly.io (opens in a new tab) but it's not all rainbows and unicorns. Fly.io goes above and beyond to create an exceptional developer experience. It's super easy to hit the ground running. However, there are some rough edges that you might encounter. If you like managing your own infrastructure and can live without stellar su
Amazon Elastic Kubernetes Service (Amazon EKS) の開発チームに移ります - As a Futurist...
ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや
EngineeringThree bugs in the Go MySQL DriverCheck out what we learned from shipping our busiest Go service in production—we found 3 bugs in the Go MySQL driver. Although GitHub.com is still a Rails monolith, over the past few years we’ve begun the process of extracting critical functionality from our main application, by rewriting some of the code in Go—mostly addressing the pieces that need to ru
Red Hatの福岡オフィスでソリューションアーキテクトをしている田中司恩です。OpenShift 4.1をUPIでベアメタル環境にインストールする方法について解説します。基本的にはインストールドキュメントの要約になりますが、初めてOpenShiftに触れる方にも分かりやすいように順を追って説明していきます。*1 なお、AWSへのUPIインストールについては、前の記事で林さんが書かれていますのでそちらを参考にしてください。 rheb.hatenablog.com 2019/10/30追記。 OpenShift 4.2がGAになりましたので、4.1からの変更点について下記の記事にまとめました。 rheb.hatenablog.com 本記事の章立てはこのようになります。 UPIインストールの概要 UPIインストールの事前準備 UPIインストールの実施手順 参考：踏み台サーバーの構築 ゴールは
Life of a Request — envoy 1.28.0-dev-184dac documentation
Life of a Request Below we describe the events in the life of a request passing through an Envoy proxy. We first describe how Envoy fits into the request path for a request and then the internal events that take place following the arrival of a request at the Envoy proxy from downstream. We follow the request until the corresponding dispatch upstream and the response path. Terminology Envoy uses
Introduction Before explaining why I created Oil, let's review what it is. You can think of a Unix shell in two ways: As a text-based user interface. You communicate with the operating system by typing commands. As a language. It has variables, functions, and loops. Shell programs are text files that start with #!/bin/sh. In this document, we'll think of Unix shells as languages. The Oil project a
SC19のExhibitor Forumにおいて、富士通は新スパコン「PRIMEHPC FX1000」と「PRIMEHPC FX700」を発表した。発表を行ったのは、次世代テクニカルコンピューティング開発本部システム統括部の清水部長である。 SC19のExhibitor ForumでFX1000とFX700スパコンを発表する富士通の清水氏 3種類のA64FXスパコンを有する富士通 これで富士通は、FX700とFX1000という商用のスパコンと日の丸スパコンとして開発した「富岳」というA64FXをCPUとする3種のスパコンを有することになる。これら3種のマシンを比較したのが次の図である。 富岳とFX1000はラック1本に384CPUを収容し、水冷になっている。ラックの寸法なども同じであり、塗装などを別にすれば同じマシンである。 一方、FX700は2Uの薄型のラックマウントサーバとなっている。
Apache Sparkの概要 - Qiita
はじめに Apache Sparkはデータの高速な処理能力や、汎用性の高さから、昨今ではクラウドのPaaS型のデータ処理エンジンに搭載されるようになってきた。たとえばAzureのサービスでは従来からAzure HDInsightにPure 100% OSSのSparkが以前から搭載されている。Azure DatabricksはSparkのクラスター管理を大幅にクラウド側に寄せ、Notebookやジョブのインターフェース等を提供する形態も出てきて多くのユーザーに利用されているようである。また、2019年のMicrosoft Igniteで発表されたAzure Synapse Analyticsは従来のAzure SQL Data Warehouseに、Sparkエンジンを搭載してオンデマンドクエリ機能を提供するとの事。さらには、Azure Data Factory内にMapping Data
Once upon a time in 2013, there was a tool called etcd which was a really lightweight database written around the Raft consensus algorithm. This tool was originally written in 2013 for a bullshit unsuccessful project called CoreOS Container Linux that was EOL'd several years ago, but that doesn't really matter — etcd was greater than its original use-case. Etcd provided a convenient and simple set
この記事は Kubernetes道場 Advent Calendar 2018 23日目の記事です。 今回は kubectl のサブコマンドについて網羅していこう。 kubectlについて とりあえず、kubectlのヘルプを見てみよう。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 $ kubectl kubectl controls the Kubernetes cluster manager. Find more information at: https:
Today, most people develop applications on operating systems such as Linux which are more than thirty years old, even though computing has changed a lot in the meantime. Since Linux was first released in 1991, the size of application state and data has grown by several orders of magnitude, many applications have moved to the cloud, and the world has woken up to the critical importance of security
This was co-authored with Yao Yue This is a collection of information on severe (SEV-0 or SEV-1, the most severe incident classifications) incidents at Twitter that were at least partially attributed to cache from the time Twitter started using its current incident tracking JIRA (2012) to date (2022), with one bonus incident from before 2012. Not including the bonus incident, there were 6 SEV-0s a
Authors: Johan Harjono, Dan Karp, Kunal Nabar, Ioannis Papapanagiotou, Rares Radut, Arthur Shi on behalf of the ECS team. Snowflake’s Data Cloud is powered by an advanced data platform provided as Software-as-a-Service (SaaS). Snowflake combines a completely new SQL query engine with an innovative architecture natively designed for the cloud to enable data storage, processing, and analytic solutio
CodeReady Containers Red Hatの福岡オフィスでソリューションアーキテクトをしている田中司恩です。今回から数回に分けてCodeReady Containersに関する記事を書いていきます。 先日、Red Hat CodeReady Containers（Red Hat CRC）の兄弟ディストリビューションにあたる、CodeReady Containers for OKD（CRC for OKD）がリリースされました。これにより、同じCRCの名称を持つ2つの製品が存在することになりました。 CRCに関するまとまった情報があまりないため、本記事では現時点でのCRCに関する情報をまとめてご紹介いたします。 目次 About CodeReady Containers CodeReady Containersの種類 Red Hat CodeReady Containers（R
OpenShift Advanced Cluster Management for Kubernetes (ACM) と AWS 環境への OpenShift の超簡単新規構築！！ - 赤帽エンジニアブログ
皆様こんにちは、Red Hat ソリューションアーキテクトの岡野です。 私、ベースがインフラエンジニアでして、これまで Ansible のブログを沢山書いてきましたが、今回、ちょっと浮気して、OpenShift の注目の新機能、Advanced Cluster Management for Kubernetes (ACM)について書いてみたいと思います。というのも、これ凄く面白いんです。しかも、『インフラ視点』で。 クラウド環境への OpenShift のデプロイが超簡単。それをお伝えしたくて。インフラ管理者が喜ぶ機能だと思います。♬ ※今回の Blog は OpenShift 4.5 及び、ACM 2.0 を前提としています。他のバージョンでは設定方法やUIが異なる可能性がありますのであらかじめご了承ください。また、環境構築方法も示していますが、とりあえず動くことを目指しており、本番環境
コンテナやKubernetesをエンタープライズグレードにするOpenShiftと相性が良いクラウドはどれだ？
コンテナやKubernetesをエンタープライズグレードにするOpenShiftと相性が良いクラウドはどれだ？：開発者がクラスタ構築・運用で忙殺されないためには エンタープライズ企業で、顧客接点を増やしてユーザーからのフィードバックを次のサービス開発に素早く活かすアプリケーションの開発などでコンテナとKubernetesの活用が進んでいる。だが、その実行環境の構築、さらには運用までが、開発者中心になっており、より良いアプリケーションを迅速に開発するという本来の業務に支障を来すようになるなど、さまざまな課題が顕著になってきた。企業が課題を解決し、コンテナとKubernetesをエンタープライズグレードにするためのソリューションとは。実行に最適なクラウド環境とは。 コンテナとKubernetesを活用する際の開発者の課題 IT業界でコンテナに注目が集まり始めてから、既に5年以上の月日が経過して
これは、なにをしたくて書いたもの？ Redis 5.0がリリースされ、クラスタを構成するコマンド が新しくなったらしい 久しぶりに、Redis Clusterを構成して遊んでみよう という、単にRedis 5.0での手順でRedis Clusterを構成してみようというエントリです。 なお、Redis 3.0の頃にRedis Clusterを構成して遊んだこともあるので、こちらを見つつどう変わっていったかを確認して いきたいと思います。 Ubuntu LinuxでRedis ClusterのDockerイメージを作って遊ぶ - CLOVER🍀 Redis 5.0の更新内容は、こちらにまとまっているので参考にさせていただきました。 Redis 5.0 Update解説 - Qiita Redis Clusterってなに？ 前回のエントリでも書いているのですが、おさらい的に。 複数のRedi
概要 先日リリースされたProxmox VE 8.1にて長らく実験的な機能と位置付けられてきたSDNが正式サポートされました。 これを機に自宅サーバーとスイッチの間でBGPを張ってEVPN-VXLANを導入しましたので設定手順を紹介します。 Proxmox Virtual Environment 8.1 with Software-Defined Network and Secure Boot 本来であれば理論編から実践編へと移るのが筋とは思いつつ、筆者もEVPN-VXLANについては勉強中の身ですのでひとまず実践編として公開することをご容赦ください。 モチベ EVPN-VXLANはVPNという単語が示す通り、主にデータセンターネットワークなどで複数拠点のサーバーが同じL2ネットワークに参加するための技術です。よって単一拠点かつごく小規模なネットワークである個人宅に導入することによるメリッ
OSSデータベース取り取り時報 第55回MySQLのド定番機能 レプリケーションの構築運用に新風、PostgreSQLの活用事例セミナー報告とバージョンアップ情報 この連載では、OSSコンソーシアム データベース部会のメンバーが、さまざまなオープンソースデータベースの毎月の出来事をお伝えしています。 オープンソースカンファレンス（OSC）東京での「多様性時代のDB選択」の開催中止 今回の「取り取り時報」では、オープンソースカンファレンス2020 Tokyo/SpringでのOSSデータベース特集トラック、「多様性時代のDB選択」の詳しい報告をする予定でしたが、新型コロナウイルスへの警戒が続く中、開催中止となりました。開催できなかったことはもちろん残念なことですが、参加者や関係者の健康と安全に配慮いただいて難しいご判断をされた実行委員会と事務局に敬意を表します。さて、OSSデータベースの発
Red Hatの福岡オフィスでソリューションアーキテクトをしている田中司恩です。 今回はOpenShift 4.2で追加された「ネットワークが制限された環境でのインストール」について説明します。 説明に使用する環境構成は以前に書いた記事と同様ですので、合わせてこちらもご参照ください。 rheb.hatenablog.com 本記事の章立てはこのようになります。 （2019/12/7追記。項目にOperatorの利用を追加） ネットワークが制限された環境でのインストール概要 検証環境解説 インストール手順解説 レジストリーホストの構築 UPIインストールの実行 アップグレード Operatorの利用 参考：Podmanコマンド ネットワークが制限された環境でのインストール概要 ネットワークが制限された環境は、英語ドキュメントではrestricted networkと表記されています。 他の呼
Logging at Twitter: Updated
While centralized logging previously existed at Twitter, it was limited by low ingestion capacity and limited query capabilities, which resulted in poor adoption and failed to deliver the value we hoped for. To address this, we adopted Splunk Enterprise and migrated centralized logging to it. Now we ingest 4 times more logging data and have a better query engine and better user adoption. Our migra
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Introduction As Uber’s business grew, we scaled our Apache Hadoop (referred to as ‘Hadoop’ in this article) deployment to 21000+ hosts in 5 years, to support the various analytical and machine learning use cases. We built a team with varied expertise to address the chal
【OpenShift 4】CodeReady Containers 1.2.0をWindowsで動かそうとしたら大変だった話 - Qiita
これ、ホストOSのスペックだと勘違いしそうだけど(というか、私は勘違いした)、実は「OpenShift 4をデプロイするためのCodeReady Containersが作成するVMのHW要件」になってます。 つまりこのスペックのVMが仮想環境に作成されるので、ホストOSのHW要件は推して知るべし。 インストール 基本的な インストールの流れを説明します。 といっても、公式のドキュメント通りに進めれば特に難しいことはないです。 Windowsの場合はv1.2.0だとドキュメントの通りでは足りないため、一手間二手間加える必要があります(後述)。 (事前準備)無料のRed Hatの開発者アカウントを作成する(必須) アカウントの登録はそんな難しくないです Red Hat Developer Program参加とRHEL無償サブスクリプションの取得＆更新 - のぴぴのメモ Red Hat Ente
Red Hat Insightsを補完するCloud Management Services for Red Hat Enterprise Linux - 赤帽エンジニアブログ
※ 2020-04-27補足、CMS for RHELはRed Hat Insightsに統合されました。そのためRed Hat Smart Managementを購入しなくても、Red Hat Enterprise Linuxだけを購入すれば以下に紹介している機能を利用することができます。 Red Hatの森若です。 https://cloud.redhat.com/ をご存知の方はどのくらいいるでしょうか。2019年5月に公開されたRed HatのSaaSを提供する窓口となるドメインで、現在のところ以下の4つのサービスを提供しています。 Red Hat Insights Cloud Management Services for Red Hat Enterprise Linux Red Hat OpenShift Cluster Manager Red Hat Ansible Auto
Jean-Yves Stephan Senior Product Manager, Ocean for Apache Spark Reading Time: 7 minutesApache Spark is an open-source distributed computing framework. In a few lines of code (in Scala, Python, SQL, or R), data scientists or engineers define applications that can process large amounts of data, Spark taking care of parallelizing the work across a cluster of machines. Spark itself doesn’t manage th
Red Hat OpenShift Service on AWSがGAになったので触ってみた | DevelopersIO
AWSとRed HatがサポートするOpenShiftのマネージドサービスである、Red Hat OpenShift Service on AWS（ROSA）がGAとなりました！ コンサル部のtobachi（@toda_kk）です。 AWSとRed Hatがサポートする、OpenShiftのマネージドサービスがGAとなりました！ サービスの正式名称は Red Hat OpenShift Service on AWS とされ、ROSAと略されるようです。 AWS環境でOpenShiftを構築する際、これまではVPCやEC2インスタンスなどAWS側のリソースを自前で構築・管理する必要がありました。今回GAとなってROSAを利用することで、AWSリソースの構築が簡易化できるようです。 これまでOpenShiftを利用したことがないので、イメージをつかむために実際に触って試してみました。 Red
Today I'm going to look at a rather complex problem we've been debugging at AutoTrader recently (with a lot of help from the Istio folks). Whilst this issue is largely solved, the steps we took may help you debug issues in your own deployments. The ProblemWe were noticing some requests were failing on the first attempt, and then being retried automatically by Istio and subsequently succeeding. In
Google Cloud Status Dashboard Incidents Google Cloud Networking Google Cloud Status Dashboard This page provides status information on the services that are part of Google Cloud Platform. Check back here to view the current status of the services listed below. If you are experiencing an issue not listed here, please contact Support. Learn more about what's posted on the dashboard in this FAQ. For
OpenStackを担当しているソリューションアーキテクトの輿水です。 Public Cloudで利用できるRed Hat OpenShift Container Platform（以降OCP）のハンズオンや弊社のハンズオンワークショップについてご紹介してきましたが、OCPを、Public Cloudにを展開するのと同様に、Private CloudであるRed Hat OpenStack Platform（以降RHOSP）上にデプロイするOpenshift on OpenStackがあります。考えられるユースケースとしては、既にRHOSP環境があるのでそこでOCPを稼働させたい、Public CloudではなくPrivate CloudでOCPを稼働させたい、RHOSPのインスタンスとOCPのコンテナを一緒に使いたいケースなどが考えられます。 OpenStackとOpenshiftの関係
Red Hatでソリューションアーキテクトをしている田中司恩です。前回記事ではRed Hat CodeReady Containers（以下、CRC）をリモート接続してシングルノードのOpenShiftとして利用する方法を紹介しました。 rheb.hatenablog.com 今回はCRCを利用する上で構築する時の注意点とTipsをいくつかご紹介します。 CRCについてはまとめ記事を書いていますのでそちらも参考にしてください。 rheb.hatenablog.com CRC構築時の注意点 ディスク容量 （参考）CRCセットアップ後の関連ファイルの構成（v.1.24.0） crc deleteで消えない.crcフォルダ crc start 初回の起動時間 仮想環境でのネスト実行 Tips pull-secretをファイルから読み込ませる方法 PVは事前に作成済み kubeadminのパスワー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Flying away from AWS – Terrateam
Three bugs in the Go MySQL Driver
OpenShift 4.1をベアメタルへUPIインストールする - 赤帽エンジニアブログ
Why Create a New Unix Shell? (2021)
富士通のA64FX搭載スパコン「PRIMEHPC FX1000/FX700」を読み解く - SC19
Etcd, or, why modern software makes me sad
Kubernetes道場 23日目 - kubectlを網羅する - Toku's Blog
DBOS: A Database-Oriented Operating System
A decade of major cache incidents at Twitter
Snowflake’s Elastic Cloud Services
CodeReady Containersに関する情報のまとめ - 赤帽エンジニアブログ
Redis 5.0でクラスタ（Redis Cluster）を構成してみる - CLOVER🍀
え！！ProxmoxのWebUIだけでEVPN-VXLAN構築を？出来らあっ！(実践編) - Qiita
第55回 MySQLのド定番機能 レプリケーションの構築運用に新風、PostgreSQLの活用事例セミナー報告とバージョンアップ情報 | gihyo.jp
OpenShift 4.2におけるネットワーク制限環境下でのインストール - 赤帽エンジニアブログ
Containerizing Apache Hadoop Infrastructure at Uber
The Pros and Cons of Running Apache Spark on Kubernetes - Spot.io
Istio: 503's with UC's and TCP Fun Times
Google Cloud Status Dashboard
Openshift 4 on OpenStack - 赤帽エンジニアブログ
CodeReady Containers（CRC）構築時の注意点とTips - 赤帽エンジニアブログ