Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
ローランドは5月12日、海外で展開していたサブスクリプション制のソフトウェア音源「Roland Cloud」をリニューアルし、日本で提供を始めた。 新しいRoland Cloudは、アナログポリフォニックシンセサイザーの名機「JUPITER-8」、LA音源を搭載した「D-50」、EDMの原動力となったリズムマシン「TR-808」、アシッドハウスの象徴的なサウンドとなったベースシンセサイザー「TB-303」など50種類以上のソフトウェア音源をWindowsとmacOSのDAW (音楽制作ソフト)から呼び出して利用できる。 プランは4種類。いずれも、個別のソフトウェア音源を購入するLifetime Keyは利用可能。無料の「Free」プランではプラグインシンセサイザーのZENOLOGY Liteが付属。月額2.99ドルの「Core」プランは上位のZENOLOGYとZEN-Coreハードウェア用
Google Cloud、大容量長期アーカイブ向け「Archive」ストレージを提供開始。1テラバイトあたり1カ月約133円から Googleは大容量データの長期アーカイブ向けに「Archive」ストレージサービスの提供を開始しました。 Announcing the GA of Archive, our coldest Cloud Storage offering yet. Learn more about the new storage class and how it’s designed for long-term data retention → https://t.co/yCM6PeOb72 pic.twitter.com/gGYPdW7yi1 — Google Cloud Platform (@GCPcloud) January 8, 2020 Google Cloudはこれま
g4というサービスを運営しているのですが、ここ数ヶ月間でGCPの月額費用を4万円以上節約したので、経緯を書いておきます。 7月の費用 ¥53,818 9月の費用 ¥18,801 詳しくはこちらのレポート 11月の費用 ¥7,333 詳しくはこちらのレポート 5月はこんな感じでした。 完全にやらかしてますね!!敗因は 無料期間なのもあり利用料金気にせずに使っていた そして無料期間の終わりを忘れていた アラートを設定していなかった です。 まずは、 7月の費用から約3万円節約するために、GAEのオートスケール周りの設定を見直しました 7月の状態は 本番: (GAE flexible/custom cpu x 2) x 2台 ステージング: (GAE flexible/custom cpu x 2) x 2台 (DBに関しては本番とステージングで同じインスタンスを使っています) でした。これは、
Oracle Cloudの無料枠だけでKubernetes(k3s)クラスタを構築する(したい) タダでkubenatesを運用してみたいんじゃオラ という気持ちの元に、ギリギリ無料でkubenatesを運用できそうな物が出てきたので、構想を現実にするという記事です。 Oracle Cloud Infastructure と Kubernetes Kubernetes、Docker(厳密には違うけど)のオーケストレーションツールとして、事実上の標準として居座っているオープンソースソフトウェア。 コンテナの運用技術としてこれから試してみたい人も結構多いと思いますが、やるのであれば実際にクラスタ組んでサービスをデプロイしてインターネットからアクセスできる、そんなレベルまでやってみたいものです。 やるとすれば、実際Kubernetesを採用しているクラウドサービスは多く、GCPはマネージドKub
AWS、Azure、GCPのどの仮想マシンからでもiSCSIでアクセス可能なブロックストレージ「HPE Cloud Volumes」、HPEが国内リージョンで提供開始 Hewlett-Packard Enterprise(HPE)は、AWSやAzure、GCPのどのクラウド内の仮想マシンからでもiSCSIで高速にアクセスできるフルマネージドなブロックストレージサービス「HPE Cloud Volumes」を、日本国内にある同社のデータセンターから提供を開始し、11月1日より販売を開始すると発表しました。 11月1日の時点でAWSとAzureに対応。GCPへの対応は近日中に行われるとのこと。 特定のクラウドに依存しないストレージを作成できる Cloud Volumesの大きな特徴は、特定のクラウドに依存しないブロックストレージが提供されていることです。 一般に、例えばAWSのブロックストレー
Google Cloud、コンテナネイティブなロードバランス機能を正式版に。Kuberntesとの統合など強化 Google Cloudは、Google Kubernetes Engine(GKE)でコンテナネイティブなロードバランス機能を正式版としたことを発表しました。 従来、コンテナに対するロードバランス機能は、コンテナが属するインスタンスのiptablesを経由してコンテナに到達していました(下図上)。 コンテナネイティブなロードバランス機能では、KubernetesのIngressコントローラに新しくNetwork Endpoint Groups(NEG)と呼ばれるレイヤが組み込まれ、これがコンテナを直接認識することで、コンテナに到達するまでのホップ数を減らし、効率的なトラフィック分散を実現しています(下図下) また、従来のロードバランサーはコンテナを認識しないため、コンテナに対し
GoogleはGoogle CloudでActive Directoryのマネージドサービス「Managed Service for Microsoft Active Directory」をパブリックベータとして提供開始したと発表しました。 Managed Service for Microsoft Active Directoryは、今年の4月にサンフランシスコで開催された「Google Cloud Next '19」で発表されたもの。 [速報]Google、Active Directoryのマネージドサービス、SQL Serverのマネージドサービス提供を発表。Google Cloud Next '19 実際のActive Directoryドメインコントローラが用いられているため互換性の心配はないと説明されており、またRemote Server Administration Tool
注意 serveoがサービス停止中です。 みんな大好きcloud functionには欠点があります。 それは、実際にコードをデプロイしないと、httpsで公開できないこと。 そのため、slackのコマンドを作ったり、ラズベリーパイとかを開発するのに不便だったりします。 以前私はngrokというcliアプリを使っていました。 とても使いやすく、ユーザー登録+ngrokのインストール+セットアップだけで使い始めることができます。 お金を払えば固定URLもゲットできます。 しかし、今回もっと良いものを見つけたので紹介します。 serveoです。 なんとこのserveoインストールもセットアップも不要です。 ターミナルで、以下のように ssh -R 80:localhost:3000 serveo.net と打つだけで自分のPCのlocalhost:3000を、固定URLでhttpsとして公開し
All images via flypaper.soundfly.comA version of this article originally appeared on Soundfly. In the last few years, so many collaborative music-making apps have emerged on the market due to recent developments in cloud-storage capacity, faster internet connections, and stronger mobile networks, but also because of the growing fundamental need for artists, producers, and engineers to interact tog
[速報]Google、新サービス「Anthos」公開。Kubernetesをベースにオンプレミスやマルチクラウドを実現するプラットフォーム。Google Cloud Next '19 Googleはサンフランシスコでイベント「Google Cloud Next '19」を開催。4月9日(日本時間4月10日未明)に行ったオープニングキーノートで、Kubernetesをベースにアプリケーションのマルチクラウド対応を実現する新サービス「Anthos」の提供開始を発表しました。 Anthosは、昨年7月のGoogle Cloud Next '18で発表された「Cloud Services Platform」の名称を変更し、正式サービスとしたもの。コンテナ化したアプリケーションをオンプレミスとクラウドのどちらでも実行可能にする、ハイブリッドクラウドおよびマルチクラウドのためのプラットフォームです。
Google、TCPのスループットとレイテンシを改善する輻輳制御アルゴリズム「TCP BBR」をGoogle Cloudで利用開始 Googleは、同社が開発したTCPの輻輳制御アルゴリズム「TCP BBR」をGoogle Cloud Platformで利用可能にしたと発表しました。 インターネットにおける通信にはTCPを用いる場合とUDPを用いる場合に分かれますが、BBRはTCPにおける輻輳制御アルゴリズムを改善したもの。すでにGoogleはTCP BBRをYouTubeのネットワークで利用しており、従来のパケットロスをベースにした輻輳制御アルゴリズムであるCUBICを用いた場合と比較して、スループットが平均で4%、最大で14%以上改善したことを明らかにしています。 TCP BBRは現在の高速なネットワークに適した輻輳制御アルゴリズム TCP BBRのBBRは「Bottleneck Ba
Firebaseでバックエンドエンジニア不在のアプリ開発 クックパッドが体感した、メリットと課題 Firebaseが依然として注目を集めていますが、早々に導入したクックパッドの「Firebase使用例」を紹介します!クックパッドの新アプリ開発で導入され、アプリやWebサイトのインフラ部分を任せられるほか、リアルタイムでデータを同期できるCloud Firestore、ログイン認証システムを手軽に実装できるFirebase Authenticationなど、さまざまな機能を活用しています。活用してわかった、Firebaseのいいところ、そして気をつけるべきポイントとは? 「Firebaseならバックエンドエンジニアを必要としない開発ができる」 そんな話を聞いたことがある人もいるかもしれません。「Firebase」は2011年にFirebase社がサービスを開始し、2014年にGoogleが買
[速報]オンプレミス用AWS「AWS Outposts」発表! AWSが設計したサーバラックをオンプレミスへ持ち込み。AWS re:Invent 2018 同社がラスベガスで開催中の年次イベント「AWS re:Invent 2018」、3日目に行われたアンディ・ジャシーCEOによる基調講演の最後は、VMware CEOのパット・ゲルシンガー氏を壇上に呼び込んでハイブリッドクラウドの話題となりました。 そして発表されたのが、AWSのクラウドインフラと同等のシステムをオンプレミスに持ち込める「AWS Outposts」です。 AWS Outpostsは、AWSが設計した、AWSのクラウドインフラで使われているものと同じハードウェアとソフトウェアをラックマウントのシステムとしてまとめたものをオンプレミスに持ち込むことで、オンプレミスでもAWSと一貫性のあるクラウドインフラが利用可能になるというも
こんにちは。入社してかれこれ 1 年経過した @syu_cream です。本記事では、メルペイにおけるログ収集の基盤となるチームの設立と、それに至った背景や課題感についてお伝えできればと思います。 基本的な背景は以前の記事で紹介させて頂いた通りなのですが、メルペイでは「信用を創造して、なめらかな社会を創る」ミッションを掲げ、それに則したサービスの展開の準備をしております。 また、メルカリにおけるプロダクト開発の課題感の文脈を受け継ぎつつ、メルペイとしてプロダクト開発をスピード感を持って実施していくために、プロダクトの機能はマイクロサービスアーキテクチャに従って行っています。 tech.mercari.com しかしマイクロサービス化は一言で言えるほど単純なことではないと考えています!マイクロサービスを運用するための技術スタックの変更や、マイクロサービスの境界線をどこに引くか、どのような責務
ガートナーの情報を基にPublickeyが表を作成 Worldwide IaaS Public Cloud Services Market Share, 2016-2017 (Millions of U.S. Dollars)。Source: Gartner (August 2018) 昨年、2017年のIaaS型クラウドでの市場シェアトップはAmazon Web Services(AWS)で51.8%と半数を超えています。ただし2016年と比較するとAWSはわずかにシェアを落としています。 ガートナーはAWSの成長の背景を次のように説明しています。 Amazon is also the most mature, enterprise-ready provider, with the strongest track record of customer success and the mo
Googleは、コンテナアプリケーションの実行と運用に最適化した新しいクラウドプラットフォーム「Cloud Services Platform」を、サンフランシスコで開幕した同社のイベント「Google Cloud Next '18」で発表しました。 Google Cloud Next '18の基調講演でCloud Services Platformを発表するGoogle Technical Infrastructure SVP、Urs Hölzle氏 Announcing Cloud Services Platform, an integrated family of cloud services across GCP and on-premise environments that bring the benefits of the cloud to you, no matter wh
皆さん個人開発してますか? 個人開発の時にせっかく作ったならリリースして誰かに見てもらいたい・使ってもらいたいですよね。でもあまりお金はかけられない。 静的サイトならgithub.ioやfirebase hostingがありますが、Webアプリケーションだと使えません。 ちょっと前まではHerokuがデファクトな選択肢でしたが、スリープしたりで不便だったりします。 そんな方にDokkuがオススメです。 DokkuはOSSのPaaSで、シェルスクリプトを実行するだけでインストールができるHerokuライクなアプリケーションです。 自分はVultrという激安VPSにインストールしています。 実際どうなのか? インストール方法や基本操作等は以下が参考になるので割愛します。 - Getting Started with Dokku - DockerでミニHeroku!「Dokku」をさくらのクラウ
Prometheusはクラウド上のシステムに代表される、監視対象となるサーバが増減するような動的な分散環境システムに適した監視ツールとして開発された。2.0では時系列データベースが改善され、性能向上などを実現している。 Prometheusはアプリケーションやコンテナ、Kubernetesのようなオーケストレーションツール、OS、サーバ、ネットワークなど、システムを構成するさまざまな要素を監視対象とすることができ、メトリクスとしてCPUの負荷やメモリ、ストレージの利用率、HTTPのレイテンシなど任意の値を取得、監視できる統合監視ツールです。 状況をグラフで表示しつつ、異常を検知するとアラートを発するなど、システム監視を統合的に行うことができます。さらにリッチなビジュアライズについては「Grafana」などの外部ツールと連携可能。 Prometheusは、Dockerコンテナのオーケストレー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く