Cloud Deploy
お待たせいたしました、お待たせし過ぎたかもしれません。みんなー！やっと Google Cloud でデプロイのためのマネージド サービスがでてきたよー！！！ Cloud Deploy という謎サービスがリリースされました。現在 Preview ながら、実際にみなさんの環境で体験いただけます。以下はその解説ですが、そんなことより早く使いたい！という方はこちらからどうぞ。 Cloud Deploy とはアプリケーションを実行環境へ継続的デリバリー (CD) するためのもの任意の継続的インテグレーション (CI) システムと連携できるCD に関する重要な指標、データが容易に可視化できる現在サポートするデプロイ対象サービスは GKE のみ使い方は 事前に “パイプライン” としてデプロイ先や順序、方法を決めておいてソフトウェアが書けたら成果物を “リリース” としてまとめ最初のデプロイ先（ “ター
AWSやGCPといったクラウドサービスのセキュリティ項目を無料で監査できるオープンソースソフト「Scout Suite」レビュー
AWSやGCP、Azureといったクラウドサービスには数多くの設定があり、セキュリティ上の問題に設定画面から気づくのは難しい場合もあります。無料のオープンソースソフト「Scout Suite」では、各クラウドのAPI機能を利用して、クラウド上に構築した環境の設定に対し、セキュリティの問題がないかの監査を行うことが可能です。 GitHub - nccgroup/ScoutSuite: Multi-Cloud Security Auditing Tool https://github.com/nccgroup/ScoutSuite Scout Suiteが記事作成時点で正式に対応しているサービスは、AWS、GCP、Azureの3サービス。Alibaba CloudとOracle Cloud Infrastructureには実験的に対応しています。今回はGCP上のプロジェクトに対し、Scout
全世界に存在するリージョン Google Cloudが所持しているリージョンは世界中に広がっています。 【総務省情報通信審議会資料引用】 総務省IPネットワーク設備委員会-ホームページ 2022 年 8 月時点で、全世界 34 のリージョン 、103 のゾーン、147 のNetwork Edge Locationで構成されています。 日本には東京リージョンと大阪リージョンの 2 つの物理リージョンがあります。 そして何よりもすごいのは、海底ケーブルを通して世界中のリージョンが地つなぎで繋がっているということです。 いわゆる物理的に繋がっていて、この形態がGoogle Cloudの大きな特徴の1つであるグローバルVPCを定義できる所以となっています。 現時点でGoogleのみで7本前後の海底ケーブルを所有している模様で、国ではなく企業規模で何千~何万キロにも及ぶケーブルを複数敷く技術力/人員
Google Cloud、Dockerコンテナをサーバレス化するCloud Runの第二世代実行環境が正式版に。すべてのLinuxの機能と互換、ファイルサーバへのマウントも可能
Googleは、Dockerコンテナをサーバレスで実行するCloud Runの第二世代実行環境と、Cloud Runの新機能であるCloud Run Jobsが正式版になったことを明らかにしました。 Cloud RunはHTTPSリクエストをトリガーとしてDockerコンテナを実行するサーバレス基盤です。 すなわち、HTTPリクエストがない場合にはDockerコンテナは起動されず、HTTPリクエストに応じて自動的に多数のコンテナが起動するスケーラビリティが特長です。Dockerコンテナであれば、どんな言語で作られたサービスであっても関係なく利用できる柔軟さを備えています。 課金もおよそ100ミリ秒ごとに、起動しているサービス数などによって計算されます。 Cloud RunはKubernetes上でサーバレスコンピューティング環境を実現するフレームワークとしてGoogleがオープンソースで開
Stop building slow, complex, fragile software systems. Safely run your application on a single server. Fully-replicated database with no pain and little cost. Get started Join our Slack No-worry backups Continuously stream SQLite changes to AWS S3, Azure Blob Storage, Google Cloud Storage, SFTP, or NFS. Quickly recover to the point of failure if your server goes down. Use existing apps Runs as a s
Cloud RunがGitと連携して勝手にデプロイできるようになったのでやってみた - inductor's blog
はじめに こんにちは。inductorです。 GCPのCloud Runはご存知でしょうか。世界一簡単に単一のコンテナをデプロイできるサービスだと私は考えています。 さて、以下のようなリリースノートの通知があって、Cloud RunがGitと連携して更新まで自動でできるようになったみたいです。 Continuous deployment from Git using Cloud Build まとめるとこんな感じのことが書いてあります Cloud Buildのトリガーを使用して新しいコミットがGitリポジトリの特定のブランチにプッシュされるたびにコードを自動的にビルドしてデプロイすることで、ビルドとCloud Runへのデプロイを自動化できます。 Cloud Buildトリガーを使用してコンテナをビルドすると、Cloud Runにデプロイした後、ソースリポジトリ情報がサービスのCloud C
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
目次 tl;dr アーキテクチャ サービスアーキテクチャ まとめ 「Stailer」は株式会社 10Xが提供する「開発不要でネットスーパーアプリを立ち上げられるシステム」です。バックエンドとそれにつなげるアプリ(iOSとAndroid)を提供しています。 10Xではよりよいチームを目指しエンジニアも含めメンバーを募っています。エンジニアが気になるどのような技術を使っているかに関して今回このブログで紹介しようと思います。少しでもチームに興味を持ってもらえたら採用ページがあるのでぜひぜひこちらからご応募ください。 tl;dr インフラはGCP クライアントはFlutter(Dart)でサーバもDart サービス間通信はgRPC 分析環境はBigQuery/Redash/Digdagの組み合わせ 監視はCloud Monitoring アーキテクチャ Stailerは主なサービスはGCP上に構築
GitHub Actions + google-github-actions/auth で GCP keyless CI/CD
GitHub Actions + google-github-actions/auth で GCP keyless CI/CD 追記 2021/10/08 v0.3.1 にすると aud 周りの設定変更が必要 ソース 追記 2021/10/07 OIDCトークン発行元のURLが変更になったようです ソース 要約： GitHub ActionsでCI/CD的なことやろうとしたとき、SecretsとかにGCPのService AccountのKeyとか置かなくてもデプロイとかできるようになったらしいのでやったらできた。 経緯 AWS federation comes to GitHub Actions という記事が出て。 GitHub ActionsのOIDC id tokenでGCPにアクセスしてみた といってGCPでもやれるか確かめた人が出て。 Use gcloud with creden
自分は BigQuery で Extract-Load されたデータを機械学習モデル用に前処理し、テラバイト級の特徴量エンジニアリングを行っています。この記事では、BigQuery のデータ量を一切消費せず、誇張なく 1 円も溶かさない裏技をまとめます。（2019/12/18 現在） ※ パロ元：BigQueryで150万円溶かした人の顔 元ネタの方と同じ職場で働くことになりましたので、被せて書いております。この記事では、BigQuery 記事最安値を目指します。 速くて安い BigQuery は、データウェアハウスとしても、特徴量エンジニアリングツールとしても優れており、機械学習モデルを用いたサービスを構築する際には、ベースラインとして一候補に挙がるでしょう。 BigQuery の料金 オンデマンドクエリを利用する際、極めて重要なのは読み取りデータ量に対して \$5/TB の料金が発生す
こんにちは。エムスリーエンジニアリングGの岩月(@kaito2)です。 9/9(月) にSpeeeさん1のオフィスをお借りして、Kubernetes勉強会 題して「Webエンジニアが使う身近な Kubernetes」を開催しました!! Webエンジニアが使う身近な Kubernetes - connpass なんと 当日の早朝には台風第15号 (ファクサイ) が直撃!! 私も午後からの出勤でした。 そんな足元の悪い中多くの方にお越しいただき、ありがとうございました。 本勉強会は、最近着々と身近になってきているコンテナオーケストレーションシステムである Kubernetes への取り組みについて発表・議論を目的としています。 今回は、エムスリーと JapanTaxi さんでの Kubernetes に関する取り組みの発表でした。 発表内容 発表順に内容および資料を紹介します。 Kuberne
GCP の認定資格の対策について説明した資料です。
AWS、Azure、GCPのどの仮想マシンからでもiSCSIでアクセス可能なブロックストレージ「HPE Cloud Volumes」、HPEが国内リージョンで提供開始
AWS、Azure、GCPのどの仮想マシンからでもiSCSIでアクセス可能なブロックストレージ「HPE Cloud Volumes」、HPEが国内リージョンで提供開始 Hewlett-Packard Enterprise（HPE）は、AWSやAzure、GCPのどのクラウド内の仮想マシンからでもiSCSIで高速にアクセスできるフルマネージドなブロックストレージサービス「HPE Cloud Volumes」を、日本国内にある同社のデータセンターから提供を開始し、11月1日より販売を開始すると発表しました。 11月1日の時点でAWSとAzureに対応。GCPへの対応は近日中に行われるとのこと。 特定のクラウドに依存しないストレージを作成できる Cloud Volumesの大きな特徴は、特定のクラウドに依存しないブロックストレージが提供されていることです。 一般に、例えばAWSのブロックストレー
前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。 この記事は GMOアドマーケティング Advent Calendar 2021 23日目の記事です。こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「無事故でPostgreSQLバージョンアップ兼Cloud SQLへ移行した話」を読んでいただいた方々、ありがとうございます。今回は、プライベートでAWS認定試験「ソリューションアーキテクト - プロフェッショナル」(通称：SAP)を取得し勉強していく中でアーキテクトとしての視野が広がったので、勉強のコツも含めてお話しいたします。きっかけきっかけは今年2月末にGCPのPCAを取得し...
概要 本記事では、Next.jsをコンテナをサーバーレスで実行するサービスであるCloud Runで動作する軽量のDocker環境構築について紹介します。 ネットにある様々な記事を見てきましたが、動作目的でDockerイメージが大きくなっており、パフォーマンスとセキュリティに課題がありました。そこでDockerの軽量化および最適化を試みました。 Docker環境 シングルステージビルド（slim） シングルステージビルドしたDockerイメージです。本番環境に必要無いデータを多く含んでいるため、イメージサイズも大きくなっています。構成はシンプルのため、理解しやすいですがパフォーマンス/セキュリティ面には課題があります。 FROM node:14.17.0-slim WORKDIR /app COPY package.json yarn.lock ./ RUN yarn --frozen-l
ほとんどの人が何らかのアルゴリズムに日々接している一方、人工知能（AI）がどのように機能するのか、実際に理解していると自信を持って言える人はそれほど多くない。しかし、Googleが英国で現地時間11月20日から開催している「Google Cloud Next '19 UK」で発表した新たなツールは、一般の人々が機械学習（ML）の難解さをひもとくうえで力となるはずだ。 「Explainable AI」（説明可能なAI）と呼ばれるこのツールは、MLモデルが思考を重ねる手法と、結論に至った理由をユーザーに説明するという、その名が示す通りの機能を有している。 Explainable AIは、そういった機能を実現するために、データセット内の各特徴がアルゴリズムの導き出した結果にどの程度の影響を与えたのかを定量化する。つまり、それぞれのデータ係数には、MLモデルにどの程度影響を与えたのかを示すスコアが
社内でおすすめのWEBフレームワーク・ツールを教えてくださいとゆるく聞いたところこちらのツールを教えてもらったので触ってみました。 HUGOとは HUGOは静的なWebサイトを爆速で作成できるツールで、Goで書かれています。 (Gopherかわいい) The world’s fastest framework for building websites Hugo is one of the most popular open-source static site generators. With its amazing speed and flexibility, Hugo makes building websites fun again. 公式ページ 訳：静的WEBサイトが楽しくカンタンに作れちゃう世界最速のフレームワークだぜ！ 良さそうですね！早速使ってみましょう。 インストール こ
WireGuardによるマルチクラウド構成VPNの事例紹介
こんにちは、滝澤です。前回の記事『OctoDNSとGitLab CI/CDを利用した複数DNSプロバイダー構成の運用』に引き続き、社内事例を紹介します。 弊社ハートビーツではMSP（Managed Service Provider）サービスの可用性向上のために、社内基盤をマルチクラウド構成で運用しています。 複数のクラウド拠点のネットワークおよび事務所のネットワークとの間をWireGuardというVPNトンネルのソフトウェアで接続しています。 今回はこのWireGuardの利用事例を紹介します。 行っていることをまとめると次のようになります。 マルチクラウド構成（Azure, AWS, GCP）の各拠点と事務所のネットワーク間をWireGuardによるVPNで接続している。クラウド拠点間のレイテンシーはVPNルーター間で2〜4ミリ秒、分散システムのノード間で2〜6ミリ秒である。 ピア（対向
Kubernetes上にサーバレスコンピューティングの基盤を構築するためのオープンソースソフトウェア「Knative」（ケイネイティブ）の開発チームは、Knativeがバージョン1.0に到達したことを発表しました。 #Knative is an add-on to Kubernetes that helps contributing companies to deploy more quickly, with greater reliability and flexibility. Discover here https://t.co/7CiWBPaGyN what is new at Knative 1.0! pic.twitter.com/KPHsY3Qzmt — KnativeProject (@KnativeProject) November 4, 2021 Knativeは201
NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ BI／BA／DWH ＞ 事例ニュース ＞ NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 BI／BA／DWH BI／BA／DWH記事一覧へ [事例ニュース] NTTドコモ、データ分析基盤にBigQueryを導入、クエリーの約7割をRedshiftからBigQueryに移行 2021年9月7日(火)日川 佳三（IT Leaders編集部） リスト NTTドコモが自社のデータ分析基盤に「Google BigQuery」を導入した。オンプレミスとAWS（Amazon Web Services）で構成していた既存のデータ分析基盤にBigQueryを追加し、2021年7月から本格稼働を開始している。現在、高い処理性能を要求するユースケースなどユーザークエリーの6～7割をBigQ
Go CDK
The Go Cloud Development Kit The Go Cloud Development Kit (Go CDK) is an open source project building libraries and tools to improve the experience of developing for the cloud with Go. Go CDK provides commonly used, vendor-neutral generic APIs that you can deploy across cloud providers. The idea is to support hybrid cloud deployments while combining on-prem (local) and cloud tools. This project al
フィヨルドブートキャンプというプログラミングスクールのEラーニングアプリをCloud Run + Railsで動かしています。 1ヶ月使ってみた結果、8,000円ぐらいでした。 Cloud Runが300円でCloud SQLが7,000円って感じです。Cloud Buildとかちょこまかしたのはありますが誤差の範囲。 Cloud Runは1コンテナだったら1日10円ぐらいなんですよね。信じられないほど安い。 これでDockerイメージ放り込んでおけば自動スケールの環境が手に入るならほとんどの仕事のアプリはこれでいい気がします。パフォーマンスもいいし、これからのアプリは全部これで行こうと思います。
Google Cloud、複数のファイバケーブルで物理的な損傷によるネットワーク障害。米東1リージョンで Google Cloudの米東1リージョン（サウスカロライナ）で、太平洋標準時7月2日午前7時55分（日本時間7月2日午後11時55分）頃から断続的にネットワーク障害が発生。Google Cloud NetworkingとLoad Balancingに影響が出ています（Googleの報告1、報告2）。 報告によると、この障害の原因はファイバケーブルの物理的な破損にあるようです。 7月2日7時55分（太平洋標準時）における最初の報告で、米東1リージョンのすべてのゾーンにおいて外部との接続が失われたと説明されています。 The Cloud Networking service (Standard Tier) is experiencing external connectivity los
https://medium.com/google-cloud-jp から派生したGoogle Cloud Japan の Customer Engineer (CE) が 書く Advent Calendar 2019 です。CE 達が是非紹介したい機能、いままで培ってきたノウハウ、知っておくと便利なTipsなどを公開予定です。 google-cloud-jp はGoogle Cloud Platform 製品などに関連するコミュニティが記載したテクニカル記事集です。掲載された意見はすべて著者個人のものであり、必ずしも Google のものを反映するものではありません。 12/1Kubernetes とGCPの世界をつなぐアクセス管理のはなし (Hiroki Tanaka)12/2Apache Hadoop のデータを BigQuery で分析するための移行手順 ( Keiji Yosh
はじめに こんにちは。SRE部MLOpsチームの田島（@tap1ma）です。 現在、ZOZOTOWNの「おすすめアイテム」に使われていたアイテム推薦ロジックを刷新するプロジェクトを進めています。既に一部のユーザに向けて新しいアイテム推薦ロジックを使った「おすすめアイテム」の配信を開始しています。その刷新に伴い推薦システムのインフラ基盤から新しく構築したので、本記事ではその基盤について解説したいと思います。 目次 はじめに 目次 「おすすめアイテム」とは 新しい推薦ロジック Recommendations AIを用いた推薦ロジック ZOZO研究所によって独自で開発された推薦ロジック 新しい推薦システム 推薦システムの処理の流れ システム構成 新しい推薦システムで工夫したポイント Bigtableのパフォーマンス改善 アイテム推薦APIのPodの安全停止 ZOZO研究所APIのキャッシュ戦略
Sansan Technical Viewは「挑戦」をテーマにSansanエンジニア達の開発における取り組みや知見を発表するイベント。Bill One事業部のソフトウェアエンジニアである加藤氏がマイクロサービスへの取り組みを紹介しました。発表資料はこちら。 Bill Oneでのマイクロサービスの取り組み 加藤耕太氏：こんにちは。加藤です。今日は『新規事業でもマイクロサービスに挑戦する』というタイトルでお話しします。マイクロサービスアーキテクチャについてご存知の方は、新規サービスをマイクロサービスで作るのはアンチパターンである、という話を聞いたことがあるかもしれません。 チームが小さいにもかかわらず流行りに乗ってマイクロサービスに分割して作ってみたものの、開発の効率が落ちるだけでしたとか、独立してデプロイできない分散モノリスができあがってしまいました、のような失敗談を聞くことがあります。 新
事業会社においてBIやレポート用の分析を担当しているが以下のような状況に該当する人に向けたデータパイプライン構築の入門のための資料です 🧑🏻🦱「BigQuery等のView機能を活用しているが、データの流れを追うのが困難な状態になってしまっている、クエリの実行に時間がかかりBIツールが使いづらい」 👩🏻「専任のデータエンジニアがおらず、前処理をpython等で処理したりするのがリソース調整的に大変」 👱🏻♂️「ロードされたデータに重複があったり、過不足があったりしてデータの品質が担保できていない」 🧑🏻🦰「Digdagやluigiといったデータ変換ツールの独自の仕様を理解しきれておらず使いこなせていない」 ※現時点ではBigQueryを中心に記事を構成してあります、SnowflakeやAmazon Redshift等の様々な分析基盤でもdbtは対応可能です
Google Cloud の IAM で、開発体制や組織の文化に合わせて検討したこと - Hatena Developer Blog
システムプラットフォーム部で SRE をやっている id:nabeop です。システムプラットフォーム部を一言で表すと、基盤を横断的に見る部署という感じです。 過去の発表などでもたびたび言及していますが、はてなのいくつかのサービスは AWS 上で構築されており、これまで「クラウドに構築する」は「AWS で構築する」とほぼ同義な世界でした。 ただし、AWS 以外も全く使っていなかったわけではなく、小さなプロジェクトや個人では Google Cloud の利用もありました。また最近は、各サービスで技術選択の多様化が進み「Google Cloud 上でサービスを構築する」という選択肢も十分ありえる状態になってきました。 このため、各サービスで Google Cloud の利用が本格化する前に、安心して使えるように IAM (Identity and Access Management) など環境
AlloyDB for PostgreSQL の仕組み: カラム型エンジン | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 5 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は最近、Google I/O にて AlloyDB for PostgreSQL を発表いたしました。これは、要求が厳しいエンタープライズ クラスのトランザクション / 分析ワークロードに使用できる、PostgreSQL 対応のフルマネージド データベースです。弾力性のあるストレージとコンピューティング、インテリジェントなキャッシュ、AI / ML による管理といったクラウドの優れた特徴を、PostgreSQL に統合できるようになります。さらに、AlloyDB は圧倒的なコスト パフォーマンスを実現します。パフォーマンス テストでは、標準の PostgreSQL と比較してトランザクション ワークロードで 4 倍以上、分析クエリで最大 100 倍も高速に
by Dallas Reedy クラウドのパフォーマンスをベンチマークで比較する「2020年のクラウドレポート」を、商用データベース管理システムを開発するソフトウェア・コンピューター企業のCockroach Labsが公開しました。最新レポートは、2018年のベンチマークテストで比較されたアマゾン ウェブ サービス(AWS)やGoogle Cloud Platform(GCP)に加え、Microsoft Azureのパフォーマンスも比較されています。また、テストするマシンタイプも複数にわたっています。 GCP Comes Out Swinging Against AWS and Azure in 2020 Cloud Report | Cockroach Labs https://www.cockroachlabs.com/blog/2020-cloud-report/ 2020 Clou
概要 こんにちは、インフラ部のkoboです。 感染症の流行を受けて、ピクシブでは2020年春から自宅でも仕事ができる体制を継続しています。 その少し前から、ピクシブでは社内サービスへのVPNレスなアクセスを可能にするための堅牢なSSOプロキシの導入を進めていました。それはGoogleがBeyondCorp Remote Accessと呼んでいる仕組みです。ピクシブでは今もオンプレミスで動作する社内システムが多く存在していますが、これのおかげでほとんどの業務をVPNを使用することなく自宅でこなすことができています。 本記事では、BeyondCorp Remote Accessの概要と、ピクシブでの運用事例について紹介します。 BeyondCorp Remote Accessとは BeyondCorp Remote Accessとは、GCPのIdentity Aware Proxy (IAP)
先日、こちらの記事を拝見したのですが、Firebase卒業の理由1位に 「クラウド破産の恐怖」 が挙げられていました。 Firetoreは並列性の高いデータベースですから、ちゃんと作っていれば100万人同時接続でもびくともしません。しかし逆に言えば、もしプログラムに誤りがあって大量の無駄な読み書きが発生すれば、ものすごい勢いでコストが嵩んでいくことになります。実際私も何度か開発中にコーディングミスをして無限再読み込みをしてしまったことがあります。その時は明らかにアプリの動作速度が低下したのですぐに気付きましたが、この危険については私もそれなりに気になるところではあります。そこで、 予算をオーバーしたらFirestoreを自動で停止する仕組み を作ってみることにしました。 プログラムから予算とコストを管理する プロジェクトの現在のコストや予算の通知を受ける方法については、以下の公式ドキュメン
GCP の IAM をおさらいしよう
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 6日目の記事です。 TL;DR本記事ではGoogle Cloud Platform (GCP) での ユーザーや権限を管理する IAM について整理していきます。 はじめにクラウドを使う上で、ユーザー管理や権限管理は重要ですよね。GCP を使う際に、どのようにユーザー管理できるのか、権限管理や認証を整理してみようと思います。GCP では権限管理を Identity and Access Management（ IAM ）というもので管理しています。IAMでは、誰が、どのような操作を、何に対して行えるかというものを定義・管理します。これによりアカウントの追加・削除や権限付与がシンプルになり、管理が容易になります。 IAMのユーザーと権限GCP で利用できるアカウ
※「AutoML Tables┃Google Cloud」より引用 とりあえず機械学習に触れてみたいという方にとって、基本無料で利用できるというのは非常に魅力的でしょう。 GoogleAutoML Tables を実際に使ってみた 最後にGoogleAutoML Tableの体験デモを機械学習初心者の筆者が実際に行ってみた手順と感想をご紹介します。 なお、デモの内容や手順は「クイックスタート」に従っています。 手順1：GoogleAutoML Tablesを有効化する まずは、Google Cloud Platformに登録し、GoogleAutoML Tablesを有効化します。 Google Cloud Platform登録時には支払元のクレジットカードを登録する必要がありますが、料金が自動的に発生することはありません。 手順2：データをインポートする続いて機械学習の対象となるデータを
協調フィルタリングとベクトル検索エンジンを利用した商品推薦精度改善の試み | メルカリエンジニアリング
こんにちは、メルカリのレコメンドチームで ML Engineer をしている ML_Bear です。 以前の記事 [1] では、item2vecと商品メタデータを用いた、メルカリのホーム画面のレコメンド改善のお話をさせていただきました。今回は商品詳細画面でレコメンド改善を行ったお話をさせていただきます。商品詳細画面の例は図1の通りです。ユーザーはアイテムの詳細な説明を見たいときにこの画面に来訪するため、同様の商品を推薦する自然な接点として非常に重要です。 まず、私たちが商品詳細画面で行った改善の概要を示します。各部の詳細については次節以降で詳しく触れます。 日本有数の大規模ECサービスにおいてベクトル検索ベースの商品推薦アルゴリズムを実装し、推薦精度の大幅な改善を実現しました。 協調フィルタリングとニューラルネットワーク (以下、NN) を利用した商品推薦アルゴリズムを構築し、コールドスタ
クラウド(AWS&Google Cloud)を利用した社内システムの開発をしているエンジニアが、技術選定・アーキテクチャ設計・開発・保守の工夫や、ベストプラクティスの活用などについて語る「AWS & Google Cloudを使ったシステム開発/技術選定のはなし」。ここでアイレット株式会社の高橋氏が登壇。まずは、AWSとGoogle Cloudのベストプラクティスについて紹介します。 セッションの概要とアジェンダ 高橋修一氏（以下、高橋）：では「AWS＆Google Cloudを使ったシステム開発／技術選定のはなし」をします。よろしくお願いします。僕ですが、高橋修一といいます。アイレットのMSP開発セクションという部署で開発のエンジニアをしています。AWSはアイレットに入ってから触り始めて、だいたい5年ぐらい触っています。Google Cloudもここ1年ぐらいで触るようになりました。 今
Googleは、Active Directoryのマネージドサービス「Managed Service for Microsoft Active Directory」をGoogle Cloudの正式サービスとして提供開始したと発表しました。 Managed Service for Microsoft Active Directoryは、2019年4月にサンフランシスコで開催された「Google Cloud Next '19」で発表され、9月にパブリックベータとして公開されていました。 Managed Service for Microsoft Active Directoryは以下の特長を持つと説明されています。 Active Directory対応アプリケーションとの互換性 本物のActive Directoryドメインコントローラを用いてサービスを提供しているため、機能から管理ツールまで
既存のAWSリソースを簡単にTerraformに落とし込めるTerraCognita - Qiita
Saleshubでエンジニアをしております。 安田と申します。 今回はTerraCognitaというツールについて書いてみたいと思います。 AWSやGCPなどのクラウドサービスを利用されているエンジニアは多いと思います。 そしてこれらのサービスをWeb UI上で操作してアプリケーションのクラウド環境を構築している会社や個人も多いと思います。 Web UIで構築された環境。後で何やったかわからない その一方で今やクラウド環境はIaC(Infrastructure as code)で構築するのが当たり前でしょう！と言われたりします。実際、Web UIで構築された環境は、構築後時間が経つと「どうなってんだっけ、これ？」ってなったり、構築したメンバーが退職したりすると、引き継いだメンバーにとってトラップだらけのラビリンスになってしまったりします。 じゃあ、どうすればいいのか？ これに答えてくれてい
はじめに この記事は2020年のRevCommアドベントカレンダー20日目の記事です。 19日目は@metal-presidentさんの「モバイルチームの成長とKMM導入に向けて」でした。 11月に株式会社RevCommに入社した@rhoboroです。 前職では主にGCP x Pythonで、現職では主にAWS x Pythonで日々業務を行なっています。 RevCommでは広島県の尾道からフルリモートワークで働いているので、そういった働き方にもし興味があればこちらの記事もご覧ください。 それでは、本題に入ります。 PythonのAST(抽象構文木)とは？ この記事は、PythonのAST(抽象構文木、Astract Syntax Tree)に触れたことのない方を対象にしたASTの入門記事です。 そもそもASTとは何なのか、ASTを理解すると何ができるのかを中心に紹介していきます。 さっそ
サーバレスアーキテクチャの選択肢として、AWSのAmplify、GoogleのFirebaseが有力な候補となっているのではないでしょうか。 実際にAmplify・Firebaseの両者に触れ、比較・検討して得られた知見をまとめました。 ※直近プロダクトの開発にAmplifyを採用して進めてきたので、Amplifyを軸に記事を書いています。 API連携 AmplifyとFirebaseとで異なる特徴のひとつにAWS AppSync（GraphQLをすぐに利用できるフルマネージドサービス）を利用できる点があります。 自前でGraphQLを構築するのは手間がかかりますが、AmplifyのAPIモジュールは「AWS AppSync」をサポートしているので簡単に構築できます。DynamoDBやLambdaとのアクセスもシームレスに行えるので非常に便利です。 以下はその他のAppSyncのメリット
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Cloud：ネットワーク関連の特徴【前編】 | DevelopersIO
Litestream - Streaming SQLite Replication
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
Stailerを支えるアーキテクチャ - Koichi Ishida blog
BigQuery で 1 円も溶かさない人の顔 (ZERO BYTE STRUCT を考案した) - Qiita
Webエンジニアが使う身近な Kubernetes を開催しました - エムスリーテックブログ
Google Cloud (GCP) 認定資格対策 - 2020年1月更新
AWSエンジニアから見たGCPサービス(コンピューティング編)
【Node.js/Next.js】Cloud Runで動作する軽量なDockerを構築してみた
グーグル「Explainable AI」発表--機械学習モデルが結論を得るプロセスの透明性向上へ
【HUGO】爆速で静的Webページ作成してFirebaseにデプロイしてみた | DevelopersIO
Kubernetes上にサーバレス基盤を構築できる「Knative」リリース1.0に到達
RailsでCloud Runは1月いくらかかるか - komagataのブログ
Google Cloud、複数のファイバケーブルで物理的な損傷によるネットワーク障害。米東1リージョンで
Google Cloud Japan Customer Engineer Advent Calendar 2019
ZOZOTOWN「おすすめアイテム」を支える推薦システム基盤 - ZOZO TECH BLOG
Sansanの「Bill One」がマイクロサービス化に挑戦した理由 ある程度方向性が見えてきてからサービスは分割すべき
dbtで始めるデータパイプライン構築〜入門から実践〜
Amazon・Google・Microsoftのクラウドのパフォーマンスを比較した結果が公開中
ピクシブにおけるBeyondCorp Remote Accessの活用事例 - pixiv inside
予算の上限に達したらFirestoreを自動で停止するやつで請求青天井の恐怖に怯える日々を卒業する
機械学習初心者はGoogleAutoML Tablesを使ってみては？メリットや使い方、使用感を知っておこう
AWSとGoogle Cloudのベストプラクティス 設計の原則から品質の確認にも活用できる3つのもの
Google、Active Directoryのマネージドサービスを正式サービスとして開始
たった1行から始めるPythonのAST(抽象構文木)入門 - Qiita
Amplify vs Firebase 比較してみた - Qiita