Google、Lookerの買収完了を発表。ビッグデータ分析ツールとして引き続きAmazon Redshift、Azure SQL、Oracle、Teradataなどをサポートしていくと表明
Google、Lookerの買収完了を発表。ビッグデータ分析ツールとして引き続きAmazon Redshift、Azure SQL、Oracle、Teradataなどをサポートしていくと表明 GoogleはLookerの買収手続きが完了したことを発表しました。 Today, Google has completed its acquisition of @LookerData. Together, we’re excited to solve business problems for customers across all industries, wherever they are—be it on Google Cloud, in other public clouds, or on premises. Learn more → https://t.co/4AtRXjeT1t pic
Top Announcements of AWS re:Invent 2021 | Amazon Web Services
AWS News Blog Top Announcements of AWS re:Invent 2021 Welcome to AWS re:Invent! Below are some of the most noteworthy launches from our biggest event of the year. AWS Chief Evangelist Jeff Barr and our team of AWS developer advocates from around the globe share their insights and offer helpful tips for getting started with some of their favorite new AWS releases. With so much amazing building goin
Summary of the AWS Service Event in the Northern Virginia (US-EAST-1) Region
December 10th, 2021 We want to provide you with some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on December 7th, 2021. Issue Summary To explain this event, we need to share a little about the internals of the AWS network. While the majority of AWS services and all customer applications run within the main AWS network, AWS makes use
Google BigQueryからAmazon Redshiftにデータを移行してみる | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
更新履歴 – 2020/1/8 記事内容の修正を行いました。 はじめに こんにちは。データサイエンスチームのmotchieです。 データウェアハウス(DWH)を使うことで、大規模なデータに対する高速なクエリ処理が実現し、BIを初めとした様々なデータ活用が可能になります。 クラウドDWHといえば、Amazon RedshiftやGoogle BigQueryなどが有名です。 re:Invent2019では、Redshiftの新機能 Amazon Redshift RA3 ノードが発表されました。 RA3ノードはAWS Nitro Systemベースの次世代コンピュートインスタンスで、頻繁にアクセスされるデータはノード上のSSD、それ以外はS3へ自動で配置されるマネージドストレージを備えています。 RA3ノードによって、以下のように、Redshiftは大きな進歩を遂げました。 ・従来のDS2ノ
Amazon が所有する AWS Systems Manager ドキュメントの一覧を AWS CLI で取得して眺めてみた | DevelopersIO
Amazon が所有するものがあるほか、カスタマー側で作成することもできます。他のアカウントと共有したり、パブリックに公開することもできます。 詳細は以下を参照してください。 AWS Systems Manager ドキュメント - AWS Systems Manager Amazon が所有するドキュメントのタイプを確認する 今回は以下の AWS CLI コマンドを使用し、 SSM ドキュメントをリスト化します。 list-documents — AWS CLI 2.1.29 Command Reference 先に結論から言うと、 Amazon が所有するドキュメントは 250個以上あります。 一気に出力しても分かりづらいので、まずはどういったドキュメントタイプが用意されているかを確認します。 aws ssm list-documents\ --filters Key=Owner,Va
2019年9月25日、クックパッド株式会社にて「Cookpad Product Kitchen #4」が開催されました。今回のテーマは「ユーザー体験を支える検索・マッチング技術」。あらゆるサービスに採用されている「検索」機能。そんな検索機能における技術と工夫について、様々なIT企業のエンジニアたちが一堂に会し、自らの知見を語ります。プレゼンテーション「クックパッドのレシピ検索とレシピコミュニティ」に登壇したのは、クックパッド株式会社 VP of Searchの兼山元太氏。講演資料はこちら Cookpadのレシピ検索とレシピコミュニティ 兼山元太氏：よろしくお願いします。クックパッドの兼山と申します。私からは「クックパッドのレシピ検索とレシピコミュニティ」という話をしたいと思います。 まず、なぜこのミートアップをやりたいと思ったかというと、みなさんここに来るぐらいだからこの記事を見たんじゃな
Beekeeper StudioはWindows,、Linux、Macなどに対応したオープンソースのSQLエディター/データベースマネージャーです MySQL、Postgres、SQLiteやSQL Server、MariaDB、Amazon RedshiftなどのDBを合理的に管理できる、というもの SQLエディターが組み込まれており、オートコンプリート機能も搭載されています その他、よく使用するクエリを保存したりテーブルデータを可視化するテーブルビュー機能なども備えられています ソースコードはGithubにて公開されています。ライセンスはMIT Beekeeper Studio
(5/20 に FAQ を追記しました) こんにちは、もしくははじめまして。KOMIYA Atsushi です。 バックエンドエンジニアとして 6 年弱勤めた SmartNews を離れて新しい挑戦をしてみようと思い立ち、この記事 (言い換えるならば履歴書というか職務経歴書というか求職票？) を書いています。端的に言えば「転職先を決めずに退職を決意したので、オポチュニティください！」というお話です。「ちょっとバックエンドエンジニアを探しているんだよねー」みたいなことを考えていらっしゃる採用担当の方がおりましたらご笑覧いただけますと幸いです。 前職含めたこれまでの職務経歴などをざっくりと知りたい方は LinkedIn を、また普段どのようなコードを書いているのかを知りたい方は GitHub を、ここ最近のイベント・勉強会での登壇でどのような話をしているのかを知りたい方は SpeakerDec
CASE STUDY バーチャルYouTuber名取さな オリジナル曲 制作の裏側｜「DAIV」すべてのクリエイターに送る究極のPC
名取さな：桃井さ～ん！今回は『PINK,ALL,PINK！』の楽曲制作をごいっしょでき、名取からの、ラブを！でかいラブのオファーをお受けいただきまして、ありがとうございましたー！ニコニコ超会議で『愛のメディスン』を歌わせていただいて、そこがきっかけで一度Twitterでもリプさせていただいて、その節はありがとうございました～！ （おじぎ） 桃井はるこ：いやいや、こちらこそ～。超会議でね、1コーラスめではざわざわしていたお客さんが、2コーラスめには名取さんの歌に合わせて盛り上がっているのを見てですね。この曲を作ったときは、こんな風に歌ってもらえるとは思ってなかったよー！と思って。2001年に作って、20年弱も時がすぎると、名取さんのようなナースも爆誕しちゃったんだなと。 名取さな：ぅぅううれしいですね～！もう、一生歌いつづけますね！（ほんとに）これからもいろんな人に聞いてほしいなって。桃井さ
[アップデート] AWS Step FunctionsのAWS SDK Integrationで、35のAWSサービスと1100のAPIアクションが追加でサポートされました | DevelopersIO
[アップデート] AWS Step FunctionsのAWS SDK Integrationで、35のAWSサービスと1100のAPIアクションが追加でサポートされました こんにちは、CX事業本部 Delivery部の若槻です。 このたびのアップデートにより、AWS Step FunctionsのAWS SDK Integrationで、35のAWSサービスと1100のAPIアクションが追加でサポートされました。 AWS Step Functions adds integration for 35 services including EMR Serverless 195個のAPIが追加された前回のアップデートと比べてかなり大規模なアップデートとなっています。 アップデート内容 AWS SDK IntegrationのサポートするAWSサービスの変更ログはChange log for s
![[アップデート] AWS Step FunctionsのAWS SDK Integrationで、35のAWSサービスと1100のAPIアクションが追加でサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b9963196a6be76ae8c10aadfbaab76adf01bf565/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-step-functions.png)
CloudWatch Metric Streams – Send AWS Metrics to Partners and to Your Apps in Real Time | Amazon Web Services
AWS News Blog CloudWatch Metric Streams – Send AWS Metrics to Partners and to Your Apps in Real Time When we launched Amazon CloudWatch back in 2009 (New Features for Amazon EC2: Elastic Load Balancing, Auto Scaling, and Amazon CloudWatch), it tracked performance metrics (CPU load, Disk I/O, and network I/O) for EC2 instances, rolled them up at one-minute intervals, and stored them for two weeks.
世界最大のeコマース事業者の精度とノウハウをお手軽に ―AWSのAIサービス「Amazon Personalize」「Amazon Forecast」 アマゾンウェブサービスジャパン（以下、AWSジャパン）は10月29日、同社が提供するマネージドな機械学習サービス「Amazon Personalize」と「Amazon Forecast」に関する報道陣向けの説明会を行いました。いずれのサービスともに、昨年11月の「AWS re:Invent 2018」で発表されたもので、すでに東京リージョンでも一般提供が開始されています。 この2つのマネージドサービスは、AWSの親会社であるAmazon.comが20年間に渡って小売事業者として培ってきたテクノロジやノウハウが投入されており、マシンラーニングの知識や経験をもたない一般的なビジネスユーザでも簡単に利用できることから、企業規模を問わずに急速に国
新しめの設定をいれた AWS Billing and Cost Management 総まとめ - Qiita
1. はじめに 私が現在行っている AWS Billing and Cost Management 設定がかなりレガシーなものになっているので、新しめの設定へ移行する。 AWS Billing and Cost Management 設定やること/やらないことリストをアップデートする。 設定を CloudFormation, Terraform 化できるところは作成する。 2. やること/やらないことリスト 2.1. やることリスト アカウントの請求情報の表示を IAM ユーザーに許可 手動で設定する。（要ルートユーザー） Cost Explorer 有効化と設定 手動で設定する。 コスト配分タグをアクティブ化 手動で設定する。 電子メールで PDF 版請求書を受け取る設定 手動で設定する。 Budgets 設定 従来の「請求書アラート」設定は止めて、こちらを使う。 Terraform で
こんにちは、株式会社mikanでデータ分析を担当している @ij_spitz です。 データ分析チームのブログも2本目になりますが、今回は前回の記事で少しだけ頭出しをしていたデータ分析基盤の歴史について書いていきます。 ↓前回の記事はこちら mikan-tech.hatenablog.jp 英単語アプリmikanは2014年10月にリリースされたプロダクトでデータ分析基盤も年月を経て変わってきました。 その頃と比べると現在はAWSやGCPで分析系のサービスが充実しており、知見も豊富になってきているので、現行の基盤以外は正直参考になりません。 また自分たちでもそんなことをしてたのかと疑いたくなるような運用をしていたので、ツッコミを入れつつ、温かい目で見ていただけると幸いです。笑 第1世代: Redshift（2014年末 ~ 2019年始め） HTMLでのビジュアライズ（2014年末 ~ 2
Cacooのデータベーススキーマ機能で、例えばBigQueryのER図を出力する - Copy/Cut/Paste/Hatena
Cacooで「データベーススキーマを自動生成できる」という素晴らしい機能が先週発表されました。 cacoo.com Cacooが提供するSQLクエリをデータベースで実行して、その結果をCSVファイルとしてエクスポートしてCacooにアップロードするだけでER図が生成されるというものです。 現時点で公式サポートされているのはMySQLとPostgreSQLですが、 一応1列目にRDBMSの名前が入るようになってるんですが、CSVのフォーマットとしては統一されてます。— Kohei Kimura (@cohhei) 2020年4月16日 ということなので、tbls out のサポートフォーマットにCacooのデータベーススキーマ機能用のCSV（ cacoo ）を追加しました。tbls v1.33.0で試すことができます。 MySQLのデータベーススキーマ まずはMySQLのデータベースで試して
Amazon Redshift Serverless 本番環境に向けた「設定をカスタマイズ」による環境構築手順 | DevelopersIO
データアナリティクス事業本部コンサルティングチームの石川です。「デフォルト設定を使用」で構築するのであれば、ワンクリック3分で構築可能です。 しかし、本番環境のように任意のVPCに構築するには「設定をカスタマイズ」による環境構築が必要です。 1つ目のRedshift Serverless環境の構築は、「デフォルト設定を使用」を用いた環境構築 もしくは「設定をカスタマイズ」による環境構築のいずれかです。2つ目以降は、下記のサーバーレスダッシュボードの[ワークグループを作成]から環境構築します。この手順は、「設定をカスタマイズ」とほぼ同じで、RPUの設定が追加されたものとそれほど変わりません。 本日は、Redshift Serverlessを構築するための設定項目の整理して、「設定をカスタマイズ」による環境構築する手順について解説します。 環境構築するための設定項目 最初にRedshift S
ざっとSecurity Bulletinの2件を読みながらのメモ。12月18日21:00時点。誤りや情報が古いなどありましたらご指摘いただけるとありがたいです。 AWS（Amazon Web Services）のCVE-2021-44228関連情報 Apache Log4j2 セキュリティ速報 (CVE-2021-44228) Apache Log4j2 のセキュリティ速報 (CVE-2021-44228) の更新情報 日本語情報が遅れることがあります。原文は、上記各ページ右上（モバイルブラウザではページ最下部）で言語「English」を選ぶと確認できます。 影響があるもの Amazon Kinesis は修正済みのKinesis Agentが利用可能になっている。 Amazon Kinesis Data Analytics は修正済み。利用者は、アプリケーションを日本時間2021年12月
AWS News Blog New – Announcing Amazon AppFlow Software as a service (SaaS) applications are becoming increasingly important to our customers, and adoption is growing rapidly. While there are many benefits to this way of consuming software, one challenge is that data is now living in lots of different places. To get meaningful insights from this data, we need to have a way to analyze it, and that c
[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました | DevelopersIO
[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました データアナリティクス事業本部 サービスソリューション部 サービス開発部のしんやです。 去る2022年03月11日(金)、『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』と第して、プレミアアンチエイジング様に御登壇頂く形でクラウドを活用したデータドリブンな組織づくりについて事例発表頂くセミナーを開催致しました。 【3/11（金）】事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術 | DevelopersIO このセミナーでは、プレミアアンチエイジング様によるDWH導入事例、及び導入に際して選定頂く形となった、クラスメソッドが提供するAWSなどのクラウドDWHを活用したデータ統合基盤サービス「カスタマーストーリーアナリティ
![[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6de29832fb74d83eba15b9c8e4a666207f74d12b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F02%2F220311_csa_webinar.png)
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年3月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 今回は、re:Invent2022の翌々月ということもあり、新機能・アップデートは控えめでした。 Amazon Redshift 新機能・アップデート 2023/02/28 Amazon Redshift announces general availability of ROLLUP, CUBE, and GROUPING SETS in GROUP BY clause Amazon Redshiftは、ROLLUP、CUBE、GROUPING SETSを含む新しいSQL機能をサポートし、多次元分析アプリケーションの構築を簡素化します。これらのサポートによってデータウェアハウスの移行を簡素化します。 GROUPING
日本ケンタッキー・フライド・チキン株式会社｜可用性の高いシステム設計、高い分散処理性能を持つシステム開発 日本ケンタッキー・フライド・チキン株式会社「ケンタッキーフライドチキン 公式アプリ」のリニューアルを担当し、UX/UI設計～アプリ開発、コンテンツ運用をご支援させていただいております。 ＜プロジェクト詳細＞ One to One・パーソナライズドマーケティングという構想を実現するためのCRM強化を目的とした開発を実施しました。 本開発では、システム全体には「マイクロサービスアーキテクチャ」を採用し、各システムが疎結合となることで、今後も進化発展していくデジタルマーケティング基盤として、可用性の高いシステム設計となっています。 プラットフォームにおいては、全国の店舗から集約した膨大な購入データに対し、数十分でチキンマイル（※後述）を付与することが可能な高い分散処理性能を持つマイルプラット
Amazon API Gatewayを使用したSAP IDocとAmazon S3の統合 | Amazon Web Services
Amazon Web Services ブログ Amazon API Gatewayを使用したSAP IDocとAmazon S3の統合 Amazon Web Services (AWS)上でSAPワークロードを稼働している私たちのお客様は、同様にAWS上のデータレイクソリューションを使用することでデータと分析の変換に投資されています。これらのお客様は、さまざまなサードパーティソリューションを使用してSAPアプリケーションからデータを抽出することがあります。ただし、パフォーマンス向上とコスト削減のために、AWSソリューションを使用するネイティブ統合も必要とされています。 これらのお客様がSAPアプリケーションからデータを抽出するために使用する一般的なパターンは、IDocインターフェース/電子データ交換です。SAP NetWeaver ABAPベースのシステムは、長い間IDocをサポートして
Redshift ServerlessとProvisioned Cluster のちょっとした違い
多すぎた「隠し味」-シェフ秘伝のレシピから見えてくるものとは？ / Too many “hidden flavors”
iPaaS といってもいろいろな種類があるので分類してみよう～レシピ型、ETL/ELT、EAI、ESB～ - CData Software Blog
iPaaS が話題です。面倒なデータ連携（特にクラウド連携）がノーコードでできて、しかも環境を構築せずにクラウドサービスとして使えるなんて！ これはトレンドになるのも当然です。 弊社CData は、クラウドデータ連携の部品を取り扱っているので、「iPaaS をやるために」、「iPaaS っぽい感じで」というお話を伺います。しかしどうやらiPaaS という言葉で思い描くものは大きく異なる気がします。この記事では、iPaaS というワードで誤解が生じないようにカテゴリに分類してみました。 iPaaS といっても得意なこと、苦手なこと、価格感などいろいろな違いがあります。ユーザーの方は「何をやりたいか？」のイメージを持って適切なiPaaS を選ぶことが重要です。またSaaS ベンダーで、これからiPaaS との協業を考えたり、自社でiPaaS 事業を始められる方は、ユースケースや価格感を外さない
AWSのチュートリアルとは？AWSは、豊富なサービス提供が特徴です。AWSでは初めて利用される方のために概念や利用方法を整理し、学習コンテンツとして提供しています。その学習コンテンツを「チュートリアル」と言います。また、スキルレベルに応じて学習コンテンツが用意されているので、経験者でもチュートリアルが有効な学習方法です。 参考：AWS ご利用開始のためのリソースセンター AWSでは、学習ステップに応じたコンテンツを提供しています。 ・ステップ1（AWSクラウドの理解） AWSの基礎情報を紹介動画や主要概念として情報提供しています。 ・ステップ2（初めてのアプリケーション起動） 1時間程度で使い方がマスターできるラーニングパスが用意されています。 それぞれ「フルスタックデベロッパー」「DevOpsエンジニア」「組み込み分析デベロッパー」「フロントエンドデベロッパー」「AIアプリケーションデベ
GitHub - sqlfluff/sqlfluff: A modular SQL linter and auto-formatter with support for multiple dialects and templated code.
Although SQL is reasonably consistent in its implementations, there are several different dialects available with variations of syntax and grammar. SQLFluff currently supports the following SQL dialects (though perhaps not in full): ANSI SQL - this is the base version and on occasion may not strictly follow the ANSI/ISO SQL definition Athena BigQuery ClickHouse Databricks (note: this extends the s
AWS Glue DataBrew 基本用語解説と入門チュートリアル実践まとめ | DevelopersIO
先日、AWS Glueの新機能としてリリースされた「AWS Glue DataBrew」。 「コードを書かずに”データ前処理”を作成・実行可能」な機能、という触れ込みでしたが、ドキュメントには一連の操作や機能を確認出来る「チュートリアル」も用意されています。 Getting started with AWS Glue DataBrew - AWS Glue DataBrew そこで当エントリでは、公式ドキュメントで紹介されているチュートリアルを実践していく上で必要となる用語の理解、及びチュートリアルの実践内容について紹介していきたいと思います。(※なお、チュートリアル本編を試してみたところ、画像キャプチャと情報量が半端無いボリュームになってしまったので、チュートリアル実践内容については章毎にエントリを分けて展開しています。ご了承ください) 目次 AWS Glue DataBrewの基本概念
クラウドサービスを使い、サーバーレスでプログラムコードを実行する「FaaS（ファンクション・アズ・ア・サービス）」を構築する企業が相次いでいる。AWS Lambda（ラムダ）に代表されるFaaS基盤のクラウドサービスを利用すれば、開発者は仮想マシンやコンテナなどの実行環境を構築・管理する必要がなくなり、開発のスピードアップに寄与する。コードの実行が終わると必要に応じてITリソースを解放する仕組みなので料金が比較的安く、コスト削減にもつながる。 FaaSの構築はDX（デジタル変革）に向けたシステム開発・改善のスピード向上や、クラウドコスト削減などに欠かせない。SBI生命保険はFaaSによってETL（抽出／変換／ロード）を実装しデータウエアハウス（DWH）システムを構築した。DWHプロジェクトの軌跡を見ていこう。 管理コストや作業負荷をFaaSで解消 「経営の意思決定に必要なデータや分析処理を
FirehoseのHTTP配信機能でMackerelにメトリックを投稿する - 酒日記 はてな支店
先日、Amazon Kinesis Data Firehose が任意の HTTP エンドポイントに対しての配信機能をサポートしました。 aws.amazon.com 従来の S3 / Redshift / Elasticsearch Service などのマネージドなリソースに対してデータを配信する機能に加えて、自分で作った HTTP(s) のエンドポイントに対しても Firehose からデータを投げ込んでくれる機能です。 Amazon Kinesis Data Firehose now supports data delivery to Datadog 既に Datadog や New Relic へもマネージドでデータを配信できていて、それらに送りたいデータはとりあえず Firehose に流しておけば、実際の送信やバッファリングやリトライは Firehose が面倒を見てくれると
SQL Server、BigQuery、Redshift 日付型の比較＆リファレンス - エニグモ開発者ブログ
この記事はEnigmo Advent Calendar 2020 の14日目の記事です。 はじめに こんにちは、エニグモ 嘉松です。 簡単な自己紹介ですが、BUYMAのプロモーションやマーケティングを行っている事業部に所属して、その中のデータ活用推進室という部署で会社のデータ活用の推進やマーケティング・オートメーションツール（MAツール）を活用した販促支援、CRMなどを担当しています。（データ活用推進室、長らく私一人部署だったのですが、先月1名増えて2名体制になりました！） 目次 はじめに 目次 背景 日付および時刻関連のデータ型 SQL Server BigQuery Redshift タイムゾーンとは？ データ型まとめ 現在日時（日付と時間）の取得方法 SQL Server GETDATE関数 BigQuery CURRENT_TIMESTAMP関数 Redshift SYSDATE関
こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery 以外のクラウド DWH は AWS が提供する Amazon Redshift や Microsoft が提供する Azure Synapse Analytics などが挙げられます。 BigQuery を操作する方法は Cloud Console の Web UI、bq コマンドラインツール、REST API、クライアントライブラリの4つがあります。この記事では、bq コマンドラインツールで BigQuery を操作し、使い方を確認してみます。内容としては初学者向けです。 今回、使用する Google Cloud Platform（GCP）のサービスは G
この記事は8月入ってすぐに書いているのですが、ちょうど蝉が一斉に鳴き始めどこへ行くにも発狂寸前のきはらかのん(@kanon1653)です。 私はカーネギーメロン大学の3年生で電子コンピューター工学を専攻しつつ、本当に美味しいタピオカドリンクを自作しようと日々奮闘しています。 とまあ自己紹介はさておき、私はこの度6月の上旬から8月の上旬まで約2ヶ月間、企業の従業員のコンディション改善ツールである「Geppo」を開発するHCTでエンジニアの卵としてインターンをしていました。 1ヶ月半ほどかけ、起案と開発の行程を踏み、無事に以下の前月振り返り機能をリリースしました。 まだ少数ですがちょこちょこ「前の回答見れるのいいね！」という声を頂いていて、大変ありがたいです…。 今回はこのような声を頂くようになったまでの過程について少しお話します。 0. 発端Geppoは基本 ・3つの設問 ・1つのフリーコメ
AWS Glue ETLワークロードをGUIでオーケストレーションする『Workflows』を実際に試してみました | DevelopersIO
AWS Glueは、ワークフローを用いて、クローラ、ジョブ（及びトリガ）の有向非循環グラフ（DAG）を作成して、ETLワークロードをオーケストレーションできるようになりました。AWS Glueが利用可能なすべての地域で利用できるようになりましたので早速試してみます。 Workflowsとは Workflowsの作成 Workflowのシナリオ 新規Workflowの追加 Workflowにエンティティを追加 Workflowの実行 実行結果の管理 制限事項 まとめ AWS Glue now provides workflows to orchestrate your ETL workloads Workflowsとは Workflowsは、既存のクローラ、ジョブ（及びトリガ）をGlueコンソール上のGUIを用いて有向非循環グラフ（DAG）を作成、実行、管理できる新機能です。これからは、クロ
Parsing SQL - Strumenta
The tomassetti.me website has changed: it is now part of strumenta.com. You will continue to find all the news with the usual quality, but in a new layout. The code for this tutorial is on GitHub: parsing-sql SQL is a language to handle data in a relational database. If you worked with data you have probably worked with SQL. In this article we will talk about parsing SQL. It is in the same league
dbt のデータモニタリングツール Elementary を使ってデータ品質管理を試してみた - Techtouch Developers Blog
テックタッチアドベントカレンダー 13 日目を担当しますデータエンジニアの acchan です。 この間完全個室型のサウナに初めて行ってきまして、贅の極みを堪能してきました。みなさんもこの 1 年間頑張ってきた自分のご褒美にいかがでしょうか。 はじめに Elementaryとは チュートリアルをやってみる 下準備 パッケージのインストールと Elementary の初期設定 Elementary テストの追加 テストの実行とレポートの生成 Slack通知を試してみる さいごに はじめに 弊社では最近、データ分析基盤のモデリング用途として dbt を使い始めました。まだ間もないですが、モデルの共同開発が以前より活発になり、導入したことによるメリットが実感として現れつつあります。 しかし、作成されたモデルは本当に正しいデータを持っているのか？定義された指標通りに集計がされているのか？といった品
AWS、データウェアハウスをサーバレス化する「Amazon Redshift Serverless」や「Amazon EMR Serverless」など発表。AWS re:Invent 2021
AWS、データウェアハウスをサーバレス化する「Amazon Redshift Serverless」や「Amazon EMR Serverless」など発表。AWS re:Invent 2021 Amazon Web Services（AWS）は、Amazon Redshift ServerlessやAmazon EMR Serverlessなど4つのデータ分析サービスのサーバレス機能追加を、開催中のイベント「AWS re:Invent 2021」で発表しました（Amazon Redshift Serverlessの発表、Amazon EMR Serverlessの発表）。 Amazon Redshiftは大規模データを高速に分析するデータウェアハウスの機能をマネージドサービスとして提供するサービスです。SQL文を用いてデータベース内の構造化データやAmazon S3内の半構造化データなど
当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2019』の21日目のエントリです。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。本日のテーマは『Amazon DynamoDB』です。 目次 Amazon DynamoDBとは サービス名にDBとある通りデータベースです。2012年1月にローンチされた
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能 CData Software Japanは、同社が提供するクラウドサービスCData Connect Cloudの新機能として、Webブラウザで利用するExcel 365からノーコードでSalesforceやkintone、Snowflake、Amazon Redshift、MySQL、PostgreSQL、SAP HANAなど150以上のデータソースに双方向で接続可能にした「CData Connect Cloud for Excel 365」を発表しました。 単にExcel 365の機能を用いてさまざまなサービスからデータを取得して分析や加工ができるだけでなく、Excel 365で書き換えたり追加したりした
さがらです。 ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S
Amazon Web Services ブログ 週刊AWS – 2021/10/18週 みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。 昨今「サーバーレス」という言葉は広く認知されるようになってきたのではと思っていますが、単語は知っているがまだ実際にサーバーレスのシステム構築をしたことはないという方も多いのではないでしょうか。そういう方にピッタリな「はじめてのサーバーレス ハンズオン」が11月2日にオンライン開催されます。 – はじめてのサーバーレス ハンズオン AWS Lambda、Amazon API Gateway、Amazon DynamoDB、Amazon Cognitoを組み合わせたハンズオンを体験できます。ご興味がある方は上記リンクからお申込みください。 それでは、先週の主なアップデートについて振り返っていきましょう。 202
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドを支える検索技術 「鰹」と検索して「鰹節」が表示されないようにする工夫
各OSに対応のオープンソースのSQLエディター/データベースマネージャー・「Beekeeper Studio」
人材流動性を高めます (概ね6年ぶり3回目)｜KOMIYA Atsushi
世界最大のeコマース事業者の精度とノウハウをお手軽に ―AWSのAIサービス「Amazon Personalize」「Amazon Forecast」 | gihyo.jp
mikanのデータ分析基盤の歴史 - mikan Developers' Blog
CVE-2021-44228 Log4jの脆弱性のAWS環境への影響 - Qiita
New – Announcing Amazon AppFlow | Amazon Web Services
実績紹介(日本ケンタッキー・フライド・チキン様 オフィシャルアプリ) | ゆめみ
AWSのサービス利用方法に迷ったら！チュートリアルの活用
SBI生命がETLを「AWS Lambda」で実装、専用サービスGlueから置き換えた理由
CLI で覚える Google BigQuery
1ヶ月間を振り返って人々が気づくこととは | Geppoプロダクトブログ｜かのきち
AWS再入門ブログリレー DynamoDB編 | DevelopersIO
最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点） | DevelopersIO
週刊AWS – 2021/10/18週 | Amazon Web Services