BigQueryに大幅アップデート！コスト最適化の可能性あり | iret.media
本日の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、 おさらいも交えながら説明をさせていただきたいと思います。 また、弊社内で実際に利用している BigQuery のデータセットに対し、今回の変更でコストがどのように最適化できるのかも紹介させていただきます。 価格体系の変更 まずは、おさらいとして BigQuery の価格体系を解説します。 BigQuery のアーキテクチャはストレージとコンピューティングに分離されています。伴って、BigQuery の料金は、Storage pricing（ストレージ料金）と呼ばれるストレー
RDSをSSD(General Purpose)で運用するときに注意すべきこと | iret.media
こんにちは、cloudpack の 今岡 です。 EBSにSSDタイプが追加されてしばらく経ちましたが、 「でも、お高いんでしょ？」 「値段調べたけど、そんなに高く無いし、SSDだったら絶対に早いよね！HDDよりは」 という先入観があると思いますが、ちゃんと調べてみました。 素晴らしいドキュメント それはAWSのドキュメントです。 Amazon RDS のストレージ – Amazon Relational Database Service これを読めば、このエントリはもう用済みです。#説明書読まない病は直さんとイカンです。 EBSのクレジット General PurposeにはEBS I/O クレジットというものが有ります。他方でも紹介されていますが、ディスクI/Oが少ない時にクレジットがたまり、大規模なディスクI/Oが発生した時にそのクレジット分だけバーストするというものです。同じような
cloudpackブログ - S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)）
以前、S3ってなんじゃ？(s3cmd編)の記事を紹介しましたが、先日s3cmdで調査が必要な場面に遭遇したため、 今回はその件について紹介したいと思います。 ○問題 WEBサーバからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 しかし、linuxのサーバからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、 その同期がとても遅いというのです。 ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 確認してみたところ、同期対象のS3バケットに数百万という数のファイルが存在しており、 それが問題となっているようでした。 そこで、対処方法を調べてみました。 ○再現 まず、手元のEC2環境で同じ状況を再現してみます。 適当なディレクトリにgitからある程度サイズのあるプロジェクトをいくつかcloneします。 # mkdir /r
cloudpackブログ - RDSのcharacter_set_*をutf8に変更
今回は、RDSのcharcter_setをutf8に変更してみます。 まず初めに"AWS Management Console"で、下記のように"DB Parameter Group"を作成しておきます。 尚、デフォルトの状態は下記となり、"character_set_*"は設定されていません。 パラメータの指定は”AWS Management Console”ではできないため、 Amazon RDS Command Line Toolkitをダウンロードして行います。 次に、”DB Parameter Group”の確認は下記コマンドで行います。 (Windows環境で実施) > rds-describe-db-parameter-groups ^ ? -I IIIIIIII ^ ? -S SSSSSSSS ^ ? --region ap-northeast-1 -------- DBP
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
