Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで
AWS、DynamoDBをSQLで操作可能に。SQL互換のクエリ言語「PartiQL」対応を発表
AWSはNoSQLデータベースサービスのDynamoDBが、SQLで操作可能になるSQL互換のクエリ言語「PartiQL」に対応したことを発表しました。 You now can use PartiQL (a SQL-compatible query language) to query, insert, update & delete table data in DynamoDB. PartiQL makes it easier for you to interact with DynamoDB & run queries in the AWS Management Console. https://t.co/qlRwzYZCPC pic.twitter.com/pVaX5xlEDu — DynamoDB (@dynamodb) November 23, 2020 DynamoDBはキーバ
AWS Lambdaを使ってサーバレスアプリを作成(CRUDのR) - Qiita
記事を閲覧いただき、ありがとうございます。中村です！！ 2020年10月にAWSエンジニアとして転職したので、AWSの予習も兼ねてLambdaを使ったアプリ作成について書いきます。 AWS Lambdaとは？ ここでつらつら説明するより公式動画の方がわかりやすいという結論に至りました。まずはご覧ください。 以下を使用して作成ます。 フロントエンド : Vue.js AWS(インフラ) : S3, API Gateway, Lambda, DynamoDB 構成 構成はこんな感じです。 DBはDynamoDB、アプリケーションサーバの代わりにlambdaを使ってサーバレスにする。 lambdaプログラムをAPI Gatewayと連携し、APIとして呼べるようにする。 Webサーバのように使えるS3にフロントエンドのプログラムをデプロイする。 画面 画面こんな感じです。 めちゃシンプルですが、
Filesystem abstraction for PHP - Flysystem
WARNING: you're viewing docs for an outdated version. View the docs for the current version. Filesystem abstraction for PHP (V1) About Flysystem Flysystem is a filesystem abstraction library for PHP. By providing a unified interface for many different filesystems you’re able to swap out filesystems without application wide rewrites. Using Flysystem can eliminate vendor-lock in, reduce technical de
S3 バケットを AWS Lambda を使って、ウィルススキャンしてみた | DevelopersIO
S3 バケットに保存されているファイルのウィルススキャンを AWS Lambda を使ってやってみたした。 こんにちは、コンサルティング部の望月です。 1月がはじまったと思ったら、もう終わりそうで、この調子だと『シン・エヴァンゲリオン劇場版』の公開ももうすぐですね!! さて、今回は S3 バケットに保存されているファイルのウィルススキャンを AWS Lambda を使ってやってみたのでブログにまとめました。 現在、S3 にはウィルススキャンという機能はなく、S3 へファイルをアップロードする前か、アップロード後にダウンロードし、ウィルススキャンする方法が多いかと思います。 今回の方法は、下記ソフトウェアを使って Lambda を利用するため、ウィルススキャン用に EC2 など別途用意することなく、手軽に行うことができるため、簡単に試してみることができます。 upsidetravel/buc
サーバレス（AWS Lambda, S3）なウィルス対策（ClamAV） - Qiita
はじめに AWS Lambdaでアンチウィルスソフト（ClamAV）を動作させ、AWS S3のオブジェクトをチェックできるようにします。 できるようになること ウィルスチェック済みのオブジェクト av-status: CLEAN タグが付与されます。 ウィルス感染を検知したオブジェクト av-status: INFECTED タグが付与されます。 感染したオブジェクトをGETしたときの応答 ステータスコード403と共に以下のXML応答があります。 アンチウィルスソフトはClamAVを利用します。ClamAVは、npmのアンチウィルスソフトとしても利用されているオープンソースです。現時点で660万種のウィルスを認識します。 S3バケットにオブジェクトをアップロードすると、Lambda上のウィルスチェックソフトがS3のオブジェクトをスキャンしウィルスかどうか判定します。 ウィルスチェックでクリ
オブジェクト・ストレージAmazon S3 Compatibility API
Oracle Cloud InfrastructureのAmazon S3 Compatibility APIの使用方法について学習します。ここでは、既存のAmazon S3ツールを使用してオブジェクト・ストレージを操作できます。 Amazon S3 Compatibility APIを使用すると、顧客は、引き続き既存のAmazon S3ツール(SDKクライアントなど)を使用し、アプリケーションに最小限の変更を加えてオブジェクト・ストレージで動作するようにできます。Amazon S3 Compatibility APIとオブジェクト・ストレージのデータセットは一致しています。Amazon S3 Compatibility APIを使用してデータをオブジェクト・ストレージに書き込む場合、そのデータはネイティブのオブジェクト・ストレージAPIを使用して読み取ることができます。逆も同様です。 オ
[Oracle Cloud] AWS SDK をつかって、Object Storage にファイルをアップロードしてみた - Qiita
[Oracle Cloud] AWS SDK をつかって、Object Storage にファイルをアップロードしてみたocioraclecloud はじめに Oracle Cloud Infrastructure(以下OCI)では、Object Storage を提供しています。Object Storage は、AWS S3 互換のAPIを持っています。そのため、AWS SDK の S3 Client を使用して、OCI の Object Storage へ操作が可能です。 別の表現をすると、AWS SDK を使って S3 の操作をするプログラムを持っているときでも、簡単に OCI Object Storage へ流用することが出来ます。 今回の記事では、AWS SDK を使用して、Object Storage へファイルをアップロードする手順とコードを紹介します。 Customer S
![[Oracle Cloud] AWS SDK をつかって、Object Storage にファイルをアップロードしてみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6666856c52880db98b3ddd5eea26de87290b539/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCT3JhY2xlJTIwQ2xvdWQlNUQlMjBBV1MlMjBTREslMjAlRTMlODIlOTIlRTMlODElQTQlRTMlODElOEIlRTMlODElQTMlRTMlODElQTYlRTMlODAlODFPYmplY3QlMjBTdG9yYWdlJTIwJUUzJTgxJUFCJUUzJTgzJTk1JUUzJTgyJUExJUUzJTgyJUE0JUUzJTgzJUFCJUUzJTgyJTkyJUUzJTgyJUEyJUUzJTgzJTgzJUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgzJUJDJUUzJTgzJTg5JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1hMmFjMDQzZjgwYTgxMjM1OGQ3YTY0YWNkZGMwNzY4OA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzdWdpbW91bnQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWVmZmJlNGIzYzUyNzg1NGMxN2QxNjQwMjg4NzY0Yjcy%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D21a63579e7155b0a2219c715d17b7d9a)
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
「はじめてのAWS設計でやりがちな失敗パターンまとめ」について発表しました #devio2020 | DevelopersIO
西澤です。クラスメソッドに入社してからおよそ5年間クラウドの推進やAWS技術に関する支援をさせていただいております。この経験を何か形にしたいと思い、少し遅れてしまったのですが、Developers.IOイベントに乗じてまとめさせていただきました。 発表資料 資料はこちらにアップロードしております。 夜間に録音したので覇気が無い感じになってしまいましたが、動画はこちらです。 まとめ 「AWS設計でやりがちな失敗パターン」というタイトルで考え始めたのですが、もっともお伝えしたい点は、AWSを利用されるお客さまのマインドセットを変え、クラウドを活用できる組織に変わって欲しい、というところに集約できるかなと思います。技術的な問題以上に、考え方を変えられないこと、組織を変えられないことが、クラウド活用を阻害するアンチパターンになっていると思いました。 どこかの誰かのお役に経てば嬉しいです。
AWS、ノーコードアプリ開発サービス「Amazon Honeycode」発表
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Amazon Web Services（AWS）は米国時間6月24日、プログラミングを一切することなく、モバイルアプリケーションやウェブアプリケーションを構築できるようになるフルマネージド型のサービス「Amazon Honeycode」を発表した。このサービスによって顧客は、タスクを追跡するシンプルなアプリや、複数のワークフローを対象とするより複雑なプロジェクト管理アプリといった、AWSのデータベースを活用するアプリを構築できるようになる。 AWSのバイスプレジデントであるLarry Augustin氏は「顧客からは、カスタムアプリケーションに対するニーズが、開発者らの手に負えないほど高まっているという声が寄せられていた」と述べている。
「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 | Amazon Web Services
Amazon Web Services ブログ 「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 去年よりAWSのメンバー４名（志村、上原、関山、下佐粉）でデータレイクの基礎からアーキテクチャ、構築、運用管理までをカバーした書籍「AWSではじめるデータレイク」を執筆してきたのですが、7月出版の目処がたったことを記念して、5月末から毎週木曜にデータレイクに関するWebセミナーを開催してきました。 幸いにも大変多くの方にご参加いただくことができました。ご参加いただいた方にはあらためてお礼申し上げます。 一方で、以前の回に出られなかったので資料だけでも公開して欲しい、というご要望をたくさん頂いていました。そこで今回第1回から第3回の資料を公開させていただく事になりました。 ※ 2020/06/25更新：第4回の資料を追加公開しました 以下よりご覧いただけます。(PDFフ
awsって最近すごいらしいね？あれいくらで作れる？を雑に見積もる - Qiita
規模大きめの皮算用のお時間です。 まずはこちらのツイート zoomの話じゃないけど、「awsって最近すごいらしいね？あれいくらで作れる？1000万くらい？」と聞かれたことはある — じゃすてぃ🍖🐈駆け出しYouTuber (@justy_sh) June 9, 2020 そもそもAWSを作ることを考えたことは無かったなーと反省し 今後日本でも新しいクラウドサービスを1から作ることになる可能性も0ではないと思ったので AWSのようなものを1から作ることを雑に考えてみましょう。 AWSとは まずは1000万円で作れると思われているAWSってなんでしょうか。 まあAWSのHP見ろって話ですよね。 AWSとは 小学生でも分かるように言うと、すっげえクラウドサービスでしょうか。 どこかの国会議員には分からないかも知れませんがwwwwwww。 参考のためにWikipediaを引用すると Amazo
現代のWebアプリケーションエンジニアとして最低限の常識TODO - shimobayashiパブリック
古代のWebアプリケーションエンジニアなので、現代との差分を身に付けていくぞ！ 個人的なスキルセットの差分を埋めるためのものなので、誰にでもマッチするものではありません。 習うより慣れろの精神で、読んで終わりじゃなくて手を動かします。 コンテナ化 done.icon The Twelve-Factor App （日本語訳） done.icon What is Amazon Elastic Container Service? - Amazon Elastic Container Service 機械翻訳がひどかったので英語版をGoogle翻訳で読むほうがマシそう メニュー1階層目だけ全部読んで、気になるところがあれば深堀りする ↑で物足りなかったらKubernetes完全ガイド 第2版 impress top gearシリーズ | 青山真也 | 工学 | Kindleストア | Amazo
脆弱なAWS S3侵害によるユニクロオーストラリアの入力フォーム改ざんについてまとめてみた - piyolog
Netcraftは、2019年5月13日頃にユニクロのオーストラリア向けオンラインショップが改ざんされ、画面上で入力する様々な情報が外部へ流出する可能性があったと報告しました。データの送信先や改ざんの手口から、RiskIQなども発表していたmagecartによる攻撃を受けたとみられます。 その後レポートは更新され、ファーストリテイリングより提供を受けた情報を元に、実際にはカード情報を含む顧客データが盗まれた可能性は低いと訂正されました。ここでは関連する情報をまとめます。 ユニクロオーストラリアの侵害 2019年8月29日、Netcraftが調査レポートを公開した。 news.netcraft.com Netcraftが事態を認知したのは2019年5月18日。 オンラインショップ利用者の情報が影響を受ける可能性があった。 発表当初はカード情報が必ず窃取される報告だったが、その後その可能性は低
AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず
AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず 報告によると直接の原因は東京リージョンのデータセンターで使用されている冷却制御システムにバグがあったこと。これにより、緊急時の手動操作にも冷却制御システムの一部が反応しないなどでサーバが過熱し、障害に至ったと説明されています。 8月23日午後に約6時間の障害。EC2だけでなくRDSも 報告によると、障害は日本時間2019年8月23日金曜日の昼過ぎに発生。影響範囲は仮想マシンを提供するAmazon EC2とブロックストレージを提供するAmazon EBSのそれぞれ一部。以下、AWSの報告を引用します。 日本時間 2019年8月23日 12:36 より、東京リージョン (AP-NORTHEAST-1) の単一のアベイラビリティゾーンで、オーバーヒートにより一
PartiQL :: PartiQL
PartiQL's extensions to SQL are easy to understand, treat nested data as first class citizens and compose seamlessly with each other and SQL. This enables intuitive filtering, joining and aggregation on the combination of structured, semistructured and nested datasets. PartiQL enables unified query access across multiple data stores and data formats by separating the syntax and semantics of a quer
Amazon S3 アップデート — SigV2 の廃止時期、延期と変更 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 アップデート — SigV2 の廃止時期、延期と変更 Amazon S3 API に対して行うすべてのリクエストは、それが本物であることを確認するために署名する必要があります。初期の AWS では、署名バージョン2 または SigV2 と呼ばれる署名モデルを使用していました。2012年には、より柔軟な署名方法である SigV4 を発表し、2013年以降に開始されたすべてのリージョンでは、こちらを唯一の署名方法としました。また、その時点で、すべての新しい S3 アプリケーションにこちらのSigV4を使用することをお勧めしました。 2018年に、我々はSigV2のサポート終了を2019年6月後半とするという発表をしました。多くのお客様がアプリケーションを更新してくださいました（多くのケースで単純にSDKのアップデートを行うだけ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロサービス時代の認証と認可 - AWS Dev Day Tokyo 2018 #AWSDevDay
Code Commitのgitリポジトリにsshとhttpsでアクセスしてみる - Qiita
