クエリ結果を Amazon S3 にエクスポートする | BigQuery | Google Cloudデジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
Cloud WorkflowsでBigQuery Transfer Serviceを実行する | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 前回GoogleCloudのWorkflowsでGCSにあるCSVファイルをBigQueryにロードする処理を行ってみました。今回は前回同様にBigQueryにロードする処理を試してみたいと思いますが、ソースはAmazon S3にあるCSVファイルとしBigQuery Data Transfer Serviceをオンデマンドで登録してWorkflowsで実行してみたいと思います。 BigQuery Data Transfer Service とは | Google Cloud ワークフロー | Google Cloud BigQuery Data Transfer ServiceとWorkflows BigQuery Data Transfer Serviceは様々なデータソースからBigQueryへデータを登録する
S3 から BigQuery へ簡単にデータをロードする仕組み
S3 から BigQuery へ簡単にデータをロードする仕組み AWS x GCP で最適なシステムを作ろう！ こんにちは。データエンジニアリンググループの川崎です。まだここにない出会いを求めて、日々コードを書いています。 この記事では、 S3 から BigQuery へデータをロードするときに使っている汎用的な仕組みについて紹介したいと思います。 なぜそんな仕組みが必要なの？ 弊社では、日時のバックアップや外部の協働者とのデータの受け渡しのために AWS の S3 をよく使っています。 一方でデータの分析には Redshift や BigQuery を使っています。 そのため受け取ったデータを分析するには適宜ロードする必要があるのですが、そのロードの方法がバラバラだったため、いくつか管理上の問題がありました。 データを取り込む手法がバラバラでメンテナンスしづらい S3 のファイルを Bi
AWSでFluentdを導入してS3にログアップロード - Qiita
AWSで運用されている方がよくやるfluentdを使ったログのS3アップロードです。 手順ではApacheが動いているサーバと仮定して、以下ログをアップロードします。 /var/log/httpd/access_log /var/log/httpd/error_log /var/log/messages 前提条件 OS:AmazonLinux 2017-09 IAM Role設定済みであること。IAM Roleはインスタンスに割り当てるといいです。 バケット名:logs IAM Role設定例 S3の特定バケット（ログ保管）へアクセスする為のポリシー。 ※ バケット名は適宜書き換えのこと。 ※ Sidも適当な文字列へ書き換えること。（日時などへ） { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt201803121612", "
FluentdでS3にログを収集してみる | DevelopersIO
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket
Ansible を使って EC2 に ELB アクセスログ分析（Fluentd + ElasticSearch + Kibana4 + Nginx）を立ち上げる - Qiita
--- - name: Install elasticsearch yum: name="https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.6.0.noarch.rpm" state="present" notify: restart elasticsearch - name: Set elasticsearch service to start on boot service: name=elasticsearch enabled=true Fluentd のインストール Ansible Galaxy を見てると、install-redhat-td-agent2.sh の中でやってる処理を Ansible で記述する（Fluentd のインストールはリポジトリを追加して、yum でインストールす
[aws]auto scaling構成でのログ集約を簡単にやりたい - Qiita
fluentdやらkinesis firehoseやらELKやらathenaやら、いろいろ考えてるとややこしくなってきました。 例えば、新規にaws上にサービスを構築するとして、あまり作りこむこともなく、お金をかけることもなく、って場合にどれがいいのやら。 そういうのを考えながらやってみるエントリでございます。 前提 elb配下でec2がauto scaling構成で稼働している ec2はステートレス ec2上でapacheが稼働している 要件 apacheのログを自動で集約したい ログはDLせずにクラウド上で調査したい 導入は1～2時間くらいで コストは最小限 拡張性もほしい ログが複数行にわたる場合にも対応したい 構成検討 構成としてはec2に何らかのエージェントを入れて、そこからpushする方式とします。 エージェントとして検討するのは、 fluentd kinesis agent
![[aws]auto scaling構成でのログ集約を簡単にやりたい - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/120b2da714780e040b76905df7afd42838cd6c99/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCYXdzJTVEYXV0byUyMHNjYWxpbmclRTYlQTclOEIlRTYlODglOTAlRTMlODElQTclRTMlODElQUUlRTMlODMlQUQlRTMlODIlQjAlRTklOUIlODYlRTclQjQlODQlRTMlODIlOTIlRTclQjAlQTElRTUlOEQlOTglRTMlODElQUIlRTMlODIlODQlRTMlODIlOEElRTMlODElOUYlRTMlODElODQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTJkZDg4MDA2OTM0MmZhMTAwYWQ1MjJiNDAyY2UxZWQy%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaWtlZ2FtMSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjQ1ZmU5OWYwNTE3OGNlMGZmMmQ4YzVmYTQ4NGJlZTE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D47489d908deb17cd391b6d0584caee94)
amazon S3画像へのクロスドメイン接続を許可する - Qiita
JavaScriptから非同期でs3の画像を取得するとき。 CORSという仕組みを使う。 S3でCORS設定 S3の設定ページで「CORS設定の編集」をクリック AllowedHeaderを↓のような感じに編集。 <?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <MaxAgeSeconds>3000</MaxAgeSeconds> <AllowedHeader>*</AllowedHeader> </CORSRule> </CORSConfiguration>
AWS lambdaを利用してS3の画像アップロードをトリガーにサムネイル画像を自動生成する | 株式会社ビヨンド
トリガーの有効化のチェックは入れません。 後程記述する関数の動作確認が終わってから手動で有効にします。 入力が終わったら次へをクリックします。 この画面で実際に関数を記述していきます。 関数名を記入する項目がありますがこの部分はお好きな名前で大丈夫です。 設計図の選択画面で「s3-get-object」を選択したので S3からファイルを取得するためのコードが予め記述されています。 'use strict'; console.log('Loading function'); const aws = require('aws-sdk'); const s3 = new aws.S3({ apiVersion: '2006-03-01' }); exports.handler = (event, context, callback) => { //console.log('Received ev
S3の基本的な操作をしたメモ(AWS SDK for PHP 3.x) - Qiita
やってみた感想 Goofysで S3 を mountした方が楽な気がする。 S3Client でAWS Signature Version 4する方法が解らなかった。 環境 EC2 + S3 EC2 t2.nano (region=us-west-2a) Amazon Linux AMI release 2016.03 PHP 7.0.7 (cli) (built: May 25 2016 18:36:46) ( NTS ) Server version: Apache/2.2.31 (Unix) S3 (region=us-west-2) S3の構築 バケットの作成 任意のバケット名を入力してクリッククリック。 S3アクセス用IAMユーザ作成 AWS アカウント内での IAM ユーザーの作成 credentials.csv をダウンロードしておく。 中身はこんな感じ
PHP 5.6でS3にファイルをアップロード - Qiita
{ "includes": ["_aws"], "services": { "default_settings": { "params": { "profile": "test-user", "region": "us-east-1" } } } } <?php require '/Users/zeng/s3upload/vendor/autoload.php'; use Aws\Common\Aws; $aws = Aws::factory('./my_config.json'); $client = $aws->get('S3'); $result = $client->listBuckets(); foreach ($result['Buckets'] as $bucket) { // Each Bucket value will contain a Name and Creatio
S3にアップロードされた画像にCache-Controlを付ける方法3選 - Qiita
はじめに 某WebメディアをGoogleのPageSpeed Insightsにて解析したところ、「画像にCache-Controlが設定されてないぞ」と怒られました。メディア内の記事には大量の画像が使われていて、それらの画像はS3にアップロードされたものを直接参照しています。 CloudFront使えよと言われて片付けられそうな案件ですが、リリース時からそんな準備万端で始められるような事業ばかりでもないわけです。既存のシステムをCloudFrontで置き換えようと思うと、もちろん画像のURLも変更されます。それに伴いシステムにも改修は入りますし、記事内に埋め込まれた画像のURLを頑張って置換する必要があります。ちょっとそれ時間かかる、ということで暫定的にS3に置いたコンテンツにCache-Controlを付けてみました。 これ書いてるうちに結局CloudFrontに移行したけどまあいいや
Amazon Redshift Spectrum 12 のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift Spectrum 12 のベストプラクティス 2019/7/22 に一部内容を更新しました． Amazon Redshift Spectrum を使うことで、Amazon S3 に置かれたデータに対して Amazon Redshift の SQL クエリを走らせることができます。つまり Redshift Spectrum によって、データウェアハウスのローカルディスク内に保存されたデータ以外に対しても、Redshift の分析を拡張できるようになるのです。S3 の “データレイク” に貯まった大量のデータに対して、面倒で時間のかかる抽出・変換・ロード（ETL）処理を行うことなく、クエリを投げることができます。Redshift Spectrum は洗練されたクエリ最適化を用いて、数千ものノードにまでスケールして高
CloudFront + S3 によるCDN (Cache Distribution パターン) 構築手順 | DevelopersIO
渡辺です。 4月でも札幌は雪が降りますが、異常気象でもなんでもなく平常運転です。 今日は、いわゆるCache Distribution パターンでのCDN構築手順をまとめておきます。 CloudFrontの細かい設定は行いません。 S3を静的サイトホスティングで公開し、CloudFrontをキャッシュサーバとして設定し、独自ドメインで公開します。 構築手順 構築は以下の手順で行います。 S3バケットを作成し、静的サイトホスティングで公開する CloudFrontを作成し、オリジンにS3バケットを設定し、代替ドメインを設定する Route53に代替ドメインのCNAMEレコードを追加する S3バケットの設定 S3バケットを作成し、静的サイトホスティングで公開します。 S3バケット名は、最終的に公開するドメインとするのが無難でしょう（例: cdn.example.com）。 バケットを作成したな
Serverless FrameworkとS3で超簡単な投票システムを作った話 - Qiita
はじめに 社内でいつも通り仕事をしていると、約1週間で簡単な投票アプリを作ってくれないか？というオファーを受け、構成を考えているときに「Serverless Frameworkを使えばいいじゃん」と神のお告げが降ってきましたので、触ってみることにしました。 最終目標 スマホから投票できて、最終的にCSVでまとまった投票データを吐き出す 構成はこんな感じ 青枠の部分がServerlessFramework 大まかな流れ S3に投票フォームをアップロードしてバケットごとWeb公開する フォームの投票内容をAPIGateWayに向かってPOSTする APIGateWayがLambdaをキックする Lambdaが受け取ったJSONをDynamoDBに書き込む 完了！ さあ、はじめてみようか 書いていく前に･･･今回ServerlessFrameworkを触るにあたって@hiroshik1985様の
Amazon S3のバケットを特定のAWSアカウントに共有する | DevelopersIO
はじめに オペレーション部ではお客様のお問い合わせに日々対応させていただいております。 調査のためログやdumpファイルなどの情報をいただくことがありますが容量が大きい場合、受け渡しに困ることがあります。 その際にS3を利用して弊社AWSアカウントに共有していただくことでファイルの受け渡しができますのでご紹介致します。 設定方法 任意のバケットを準備する Create Bucket → Bucket Name を入力し Region を指定 → Create で作成します。 作成したバケットにBucket Policyを設定する 作成したバケット → Properties → Permissions と進み Add bucket policy をクリックします。 下記ポリシーを入力しSaveします。 { "Version": "2012-10-17", "Statement": [ { "
S3 を単純ストレージとして 利用する手段の比較
2. 自己紹介 • 米田 真治 (こめだ しんじ) – 株式会社サイタスマネジメント CTO – 運用エンジニア • 経歴 – 学生時代にUNIXに出会う – Internetにつながる環境がきた – いろんなプログラムをビルドしているうちに、 開発・構築の楽しさに目覚める – 学科のシステム管理を経験 – システム運用のおもしろさを覚える – 就職してISPのサーバ構築・運用に携わる – 2000年6月 サイタスマネジメント創業 2016/5/14JAWS-UGアーキテクチャ専門支部ハイブリッドクラウド 分科会CDP議論会#5 2 3. バケットをファイルシステムとして マウントするタイプ • バケット上のオブジェクト ⇔ ファイスシステム上のファイル 各オブジェクトがそれぞれ一つのファイルとして見えます。 • s3fs - FUSE-based file system
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FluentdのDaemonSetで、Kubernetes NodeのログをAmazon S3に集約する
https://remotestance.com/blog/3044/
goofysを使ってAmazon LinuxにS3をマウントする。 - Qiita
