話題のデータパイプラインツール「Dataform」でBigQueryにアクセスしたら何ができるのかを確かめてみた | DevelopersIO
こんにちは。 データアナリティクス事業本部ソリューション部プリセールススペシャリストの兼本です。 当エントリは『クラスメソッド BigQuery Advent Calendar 2020』11日目のエントリです。 本アドベントカレンダーでは、12月01日から12月25日までの25日間、弊社DA（データアナリィクス）事業本部のメンバーがBigQueryに関連するブログを公開していきます。 クラスメソッド BigQuery Advent Calendar 2020 の記事一覧 | Developers.IO クラスメソッド BigQuery Advent Calendar 2020 - Qiita このエントリでは、2020年12月9日にGoogleによる買収のニュースが話題となったDataformでBigQueryのデータパイプラインを構築する手順についてご紹介します。 Dataformには
Amazon Web Services ブログ マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 この投稿は株式会社ブレインパッドのエンジニアである 小杉 知己 氏に、自社で取り組まれた機械学習のための CI/CD パイプライン構築についてご紹介頂き、AWS 社員と共著したものとなります。 はじめに 機械学習 (ML) のビジネスにおける活用はますます加速しています。しかし、MLプロジェクトの初期段階における概念実証 (PoC) フェーズを乗り越え、MLを本番環境において運用するには多くの課題があることが知られています。例えば、運用中のデータの質の変化に対応するためにMLモデルの再訓練を行う必要が出てきたとき、さまざまなモデルのバージョンをいかに管理するかが課題となります。また、作ったモデルの本番適用可否の判断を効率的に行うためにはライフサイクルの管理が必要となりま
Azure Pipelines での Multi-stage pipelines の利用と既存パイプラインの移行 - しばやん雑記
Azure Pipelines のドキュメントを読んでいると Release Pipeline に Classic と付けられていたので、先行きが少し怪しいです。Microsoft 的には YAML + Multi-stage pipelines を推奨して行くということのようです。 Build 2019 で発表されていたらしいですが、余り真面目に読んでませんでした。 まだ一部の機能は対応していないようですが、継続的に対応を進めていくらしいです。 これまでの GUI で設定してきた Build / Release Pipeline の構成は、Build stage と Release stage として扱えば、そのまま Multi-stage pipelines として移行出来ます。 簡単かと思っていましたが、情報が少ないのもあって地味に Multi-stage pipelines への移
前回、本番環境向けの CI/CD パイプラインとして承認プロセスを設けたパターンをご紹介しました。 環境によってはこれで十分かもしれませんが、より厳格に運用されている環境においては「2 名以上の承認が必要」といった要件もあるのではないでしょうか。今回は CodePipeline で 2 名以上の承認を必要とするパイプラインの実装方法をご紹介したいと思います。 イメージ こちらの実装を行うにあたり、以下のサイトを参考にさせていただきました。 Enforcing the 'Two-Person Rule' with AWS CodePipeline (UPDATED) やってみる 今回の構成においてポイントとなるのは以下 2 点の実装です。 承認者 A (承認グループ A) が承認プロセス B の承認を行えないこと（その逆も然り） 承認者が同一でないこと それでは実装していきましょう。 承認プ
この石油パイプラインを巡る争いで、ワシントンD.C連邦裁判所は7月6日、パイプラインに反対してきたアメリカ先住民の訴えを支持し、パイプラインの運営を一時停止する判決を下した。
米石油移送パイプライン大手のColonial Pipeline Companyは5月7日（現地時間）、ランサムウェアを含むサイバー攻撃を受け、すべてのパイプライン操作を一時的に停止したと発表した。 事件の調査を開始するためにセキュリティ企業を雇い、米連邦政府の法執行機関や関連機関に連絡したとしている。 同社のWebサイトによると、Colonialは米国で最大のパイプラインを運営しており、テキサス州やルイジアナ州にある数十の製油所で生成されたガソリンやジェット燃料などを、全米のタンクや空港、軍事施設に移送しているという。パイプラインは5500マイル（約8850キロメートル）以上あり、扱う生成燃料は1日当たり1億ガロン（約38万キロリットル）。 Colonialはランサムウェアで何を要求されたかなどの詳細は明らかにしていない。「この問題を把握し、解決するための措置を講じている。（中略）混乱を最
GitLab CI/CD パイプライン
オープンソースカンファレンス2019 Tokyo/Fall で発表した 明日から始めるGitLabCIはじめの一歩 https://www.ospn.jp/osc2019-fall/modules/eguide/event.php?eid=60 の資料です。Read less
SRE の原則を使用し、Cloud Monitoring ダッシュボードでパイプラインをモニタリングする | Google Cloud 公式ブログ
SRE の原則を使用し、Cloud Monitoring ダッシュボードでパイプラインをモニタリングする ※この投稿は米国時間 2020 年 3 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 データ パイプラインはリアルタイム データのストリームを操作し、大量のデータを処理する機能を提供します。重要な指標の多くは独特であるため、データ パイプラインのモニタリングが課題になる可能性があります。たとえばデータ パイプラインでは、パイプラインのスループット、データがパイプラインを通過する時間、リソース制約の有無を把握する必要があります。このような考察はクラウド インフラストラクチャの稼働を維持し、ひいてはビジネスニーズを先取りするために欠かせません。 リアルタイム データを含む複雑なシステムのモニタリングは、運用管理を円滑にするための重要な要素です。システムを
【ハンズオン】さぁ！サーバーレスを始めよう！ #2 – AWS AI サービスと組み合わせて作るサーバーレス文字起こしパイプライン構築ハンズオン #AWSSummit | DevelopersIO
2020年9月8日から9月30日の間で開催されているAWS Summit Online のセッションに参加しています。 AWS Summit Onlineでは基調講演等の他、ハンズオンセッションという手を動かすセッションがあります。 今回はさぁ！サーバーレスを始めよう！ #2 - AWS AI サービスと組み合わせて作るサーバーレス文字起こしパイプライン構築ハンズオンに参加したのでレポートします。 セッション概要 スピーカー 金澤 圭 氏 アマゾン ウェブサービス ジャパン 技術統括本部 ソリューションアーキテクト セッション HOL-04：さぁ！サーバーレスを始めよう！ #2 - AWS AI サービスと組み合わせて作るサーバーレス文字起こしパイプライン構築ハンズオン 動画&資料はこちらになります。 1時間半とちょっと長めの動画になりますが、一つ一つ動作確認をしながら細かく丁寧に作ってい
CI/CDパイプラインをポータブルにする「Dagger」登場／マイクロソフト、「Windows 365 Boot」発表／JavaScriptの高速フォーマッター「Rome Formatter」ほか、2022年4月の人気記事
CI/CDパイプラインをポータブルにする「Dagger」登場／マイクロソフト、「Windows 365 Boot」発表／JavaScriptの高速フォーマッター「Rome Formatter」ほか、2022年4月の人気記事 毎日愛用しているiPadの電源スイッチが壊れてしまいました。ソフトウェアスイッチを画面に表示させることで機能を代替できるので使用上は問題ないのですが、半導体不足がこのまま長引くと、いつか新しいiPadが欲しいときに買えなくなるのが心配なので、この連休中にでも買おうかなと思っています。 先日、電気屋さんの店頭に行ったらデジカメ類がほとんど売り切れで注文停止になっていてちょっと驚きました。半導体不足、長引きそうで心配ですよね。 さて、4月の人気記事を紹介していきましょう。 1位から3位 1位 Docker創始者らが開発、ビルド／テスト／デプロイの自動化をポータブルにするツー
ドイツ電力大手ＲＷＥとノルウェーのエネルギー会社エクイノールが水素発電所とパイプライン建設へ/Fabian Strauch/picture alliance/Getty Images （ＣＮＮ） ドイツの大手電力会社ＲＷＥとノルウェーの国有エネルギー会社エクイノールは５日、数年内に水素を燃料とする発電所をドイツに建設し、同発電所にノルウェーから水素を送る大規模なパイプラインを設置する計画を発表した。 ドイツは２０３０年までの石炭火力発電所の廃止と、エネルギー部門の脱炭素化を目指しており、今回の合意はその取り組みの一環。ドイツ政府はロシアのウクライナ侵攻を受けてロシアのエネルギーに依存しない方向へと舵（かじ）を切り、代替のエネルギー供給国を確保する必要に迫られている。 エクイノールのアンダーズ・オペダル最高経営責任者（ＣＥＯ）は「この提携を通じて、我々は欧州を代表する産業国ドイツの長期的なエ
[DevOpsプラットフォームの取り組み #2] Qmonus Value Streamを使ってみた(後編) - CI/CDパイプラインの構築 - NTT Communications Engineers' Blog
はじめに DevOpsプラットフォームの取り組みを紹介する2回目の記事の後半です。 Qmonus(クモナス) Value Streamの開発チームの奥井（ @HirokiOkui ）です。 連載第2回では、Qmonus Value Streamを使ってアプリケーションを実際にビルド・デプロイする事例を2つ、前編・後編に分けて紹介します。 前編では、Cloud Native Adapterを用いてパブリッククラウドとKubernetesの両方をまとめてInfrastructure as Code（以下、IaC）として表現し、クラウド基盤を構築する事例を紹介しました。 後編では、Cloud Native Adapterを用いたContinuous Integration/Continuous Delivery（以下、CI/CD）パイプラインの構築を中心に説明します。 1回目、2回目前編の記事を
![[DevOpsプラットフォームの取り組み #2] Qmonus Value Streamを使ってみた(後編) - CI/CDパイプラインの構築 - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/a0fd5925f92b205e21e0de36a73c7b297a33d28e/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220707%2F20220707164505.png)
はじめに はじめまして。 クラシル開発部でデータエンジニアをしておりますharry(@gappy50)です。 この記事は dely Advent Calendar 2021 および Snowflake Advent Calendar 2021の9日目の記事です。 昨日はうっくんさんからのNotionでJiraを作ろう！というとても興味津々話でした！！ やっぱりNotionは色々できるのでいいですね◎ それと私のお話で恐縮ですが、昨日はSnowflakeのイベントSnowdayにてクラシルでのSnowflakeを活用したニアリアルタイム分析の事例についてお話をさせていただきました。 www.snowflake.com 今回はSnowdayでお話した内容のデータエンジニア寄りな詳細と、どのようにSnowflake*1を活用しているかを紹介させていただきたいと思います！ 最近のクラシルデータ基盤
Sherman - Unityで制作されたショートフィルム！プロジェクトデータ無償配布！パイプライン紹介映像やノウハウも公開！
3Dスカルプト ソフト ソフトウェア＆ツール-Software&Tool Shapelab 2024 - VRスカルプトモデリングツール！過去最大らしい2... 2024-06-04 LeopolyによるVR対応の3Dスカルプト・デザインアプリケーション「ShapeLab」の2024年大型アップデートが公開されました！ 続きを読む チュートリアル-Tutorial 欲しい情報を確実に抜き取る究極の「ググり術」23選！Google検索を極めググる... 2024-06-04 数多くのIT系情報動画を投稿している「365日の学び ～たいぞうのITカフェ～」にて、Google検索のテクニックを紹介した「欲しい情報を確実に抜き取る究極の「ググり術」23選！Google検索を極めググるプロ＆情報強者へ！」が公開されています。 続きを読む イベント-Event CGWORLD JAM ONLINE 2
カナダ首相、太平洋岸へのパイプライン拡張計画を承認
カナダ・ブリティッシュコロンビア州バーナビーで、パイプライン拡張計画に抗議する先住民たち（2018年3月10日撮影）。(c)Jason Redmond / AFP 【6月19日 AFP】カナダ政府は18日、内陸部と太平洋岸を結ぶパイプライン「トランスマウンテン（Trans Mountain）」の拡張計画を承認した。カナダ産原油の大半が割安な価格で米国に売られる中、アジアなどの新市場への輸出を目指す。同計画は論争を呼んでおり、選挙を前に大きな争点が生まれた形。 ジャスティン・トルドー（Justin Trudeau）首相は2016年、カナダの「国益」にかなうとして同計画を承認したが、先住民や環境活動家らによる訴訟や抗議を受けて進行が滞った。さらに、連邦裁判所は昨年8月、政府に計画の見直しを命令。政府は難局を切り抜けるため、エネルギーインフラ企業キンダーモルガン（Kinder Morgan）から
パイプライン - 脇道を行く
ザ・ベンチャーズ The Ventures／パイプライン Pipeline △ このLPも欲しかったので後年にCDで購入してます。十代の頃はカネが無かったからダメだったけれど、40代のこの時は ベンチャーズ宇宙へ行く 等や カントリー などのモノを合わせて5枚位まとめて買いました 飲みに行く・・なんてコトを控えれば安いし、今でも時折に楽しめてますから・・とにかくジャケットの雰囲気も好きだったからなのでした。 ボブ・スピッカード と ブライアン・カーマン のペンになるこの曲は シャンティズ がオリジナル・・で 2人は共にシャンティズのメンバー・・ この曲は後にシャンティズのLPも買って聴いてまして 星空の彼方に や 夕日の渚 貿易風 などの曲が ツウの方面の人には、語り草になったナンバーで フォノシート付きで、エレキ・ギターの教則本なんかも 当時は出てました ピアノが入った軽快なカンジのシャ
こんにちは。 Finatextグループのナウキャストでデータ分析を担当している片山です。 ナウキャストは、POSデータ、クレジットカードデータ、共通ポイントなどのトランザクションデータ（私たちの業界ではオルタナティブデータと呼んでいます）を分析してインサイトを発見し、国内外の機関投資家や中央銀行、政府機関にレポートとして提供しています。 また、そうしたオルタナティブデータから生成した物価指数や消費指数を、「日経CPINow」「JCB消費NOW」といったサービスを通して定期的に会員企業に配信しています。 新型コロナウィルスの感染拡大が消費に影響を与えていることは、皆さんもニュースや日常生活の中で感じているかと思いますが、消費関連データを扱うナウキャストにも消費動向に関するレポーティングのご相談が増えています。 そこで、今回はナウキャストが利用するオルタナティブデータの一つであるPOSデータを
CircleCIが「Visual Config Editor」を正式リリース、CI/CDパイプラインをビジュアルに作成しYAMLファイルを生成、編集可能
CircleCIが「Visual Config Editor」を正式リリース、CI/CDパイプラインをビジュアルに作成しYAMLファイルを生成、編集可能 CircleCIは、ビルドやテストを自動的に実行するCI/CDのパイプライン定義をフローチャートを描くようにビジュアルに設定できる「Visual Config Editor」の正式リリースを発表しました。 We're rolling out a new, frictionless way to build #CICD pipelines and interact with our platform. Introducing the CircleCI Visual Config Editor See how you can easily create and modify config files in a visual drag-and-
Amazon Web Services ブログ Amazon EKS で GitOps パイプラインを構築する この記事は Building a GitOps pipeline with Amazon EKS (記事公開日: 2020 年 12 月 3 日) を翻訳したものです。 本記事は Weaveworks のコンテンツディレクターの Anita Buehrle による寄稿記事です。 このシリーズの第 1 部では、GitOps の歴史、その利点、およびその仕組みについて議論しました。GitOps とは何であるかを理解したので、アプリケーションのデプロイに Flux と Amazon EKS を使用して GitOps パイプラインを設定する方法について詳しく説明します。 AWS での GitOps に何が必要か？ アプリケーションのデプロイ用またはクラスターの構成用の基本的な GitOp
【JSの全文検索エンジン】elasticlunr.jsを触ってみた～インストールからパイプライン、日本語対応など～ - Qiita
【JSの全文検索エンジン】elasticlunr.jsを触ってみた～インストールからパイプライン、日本語対応など～ elasticlunr.jsを使う機会があったのでまとめた。 Elasticlunr.jsとは JavaScriptで記述された、軽量な全文検索エンジン ブラウザ上で動作する。 全文検索とは 複数の文書（ファイル）から特定の文字列を検索する事 Lunr.jsをベースに開発されている。 Lunr.jsと比べると、インデックスにトークンコーパスとベクターを含まないため、軽量で早い （トークナイズ用の単語の辞書を持たないから軽量？この辺よくわかりませんでした。） Elasticsearchやluceneと同じ採点メカニズムを採用している。 デフォルトでは日本語に対応していない。 サンプルコード 実験用にelasticlunrだけを動かせるコードを以下のリポジトリにおいてます。 とり
米最大の石油パイプライン停止 ランサムウエア攻撃受け
コロニアル・パイプラインがジェット燃料を供給する米ワシントン郊外のダレス国際空港（2008年6月15日撮影、資料写真）。(c)KAREN BLEIER / AFP 【5月9日 AFP】米国最大の石油パイプラインを運営するコロニアル・パイプライン（Colonial Pipeline）は8日、ランサムウエア（身代金要求型ウイルス）によるサイバー攻撃を受け、全パイプラインの操業停止を余儀なくされたと発表した。 8850キロにおよぶパイプラインは、テキサス州メキシコ湾（Gulf of Mexico）岸から人口密集地の東海岸（East Coast）を結び、5000万人にガソリンやジェット燃料を供給している。 コロニアル・パイプラインは、コンピューターシステム上のデータを暗号化して金銭を要求するランサムウエアによる「サイバー攻撃の被害を受けた」と発表し、「被害を抑え込むために特定のシステムを事前にオフ
画像説明, コロニアル・パイプラインは米東海岸で消費されるディーゼル、ガソリン、ジェット燃料の45％を供給している アメリカ司法省は7日、サイバー攻撃を受けて先月5日間にわたり操業停止となった同国最大の石油パイプライン「コロニアル・パイプライン」がハッカーに支払った440万ドル（約4億8000万円）の身代金について、大半を取り戻したと発表した。
AWS DMS と Snowpipe を活用した Snowflake 用リアルタイムデータパイプラインの構築
(画像は Snowflake 公式 Web サイトのものを流用) 概要 データエンジニアとして働いていると RDB 上での変更をリアルタイムで近い形でデータウェアハウスに転送し、即座にデータ分析に利用できるようにしたいというニーズについて相談を受ける機会があります。 筆者は、RDB からデータウェアハウスの間のリアルタイムデータパイプライン部分を OSS 中心とクラウドサービス中心の 2 つの構成で構築した経験があります。その際の経験を踏まえて、両者の簡単な比較について紹介します。 （前職）OSS 中心のデータパイプライン RDB・・・AWS RDS Aurora (PostgreSQL) BigQuery データパイプライン・・・Kafka、Debezium コンテナオーケストレーション・・・データパイプラインを AWS EKS 上 k8s クラスタにデプロイ （現職）クラウドサービス中
中ロを結ぶ「歴史的」天然ガスパイプライン稼働、両首脳もたたえる
ロシア・ソチで、映像を通して天然ガスパイプラインの稼働開始式典に臨むウラジーミル・プーチン大統領（2019年12月2日撮影）。(c)AFP/KLIMENTYEV / SPUTNIK / AFP 【12月2日 AFP】ロシアと中国を結ぶ初の天然ガスパイプラインが2日、稼働を開始し、ロシアのウラジーミル・プーチン（Vladimir Putin）大統領と中国の習近平（Xi Jinping）国家主席が式典に参加した。 世界有数の天然ガス輸出国のロシアと、世界最大のエネルギー輸入国の中国を結ぶ「シベリアの力（Power of Siberia）」と名付けられたこのパイプラインは、何年にもわたって難航した協議と、悪条件の下での建設作業の末に完成した。 式典には、両国首脳がテレビ会議形式で参加。プーチン大統領は「国際的なエネルギー市場にとってだけでなく、何よりわれわれとあなた方、ロシアと中国にとって、素晴
【データ基盤構築/Snowflake/AWS】自分で１から簡単なデータ基盤・データパイプラインを作ってみる - Qiita
今回の課題 今後、業務でAWSとSnowflakeでデータ基盤を構築・運用していくことになるので、 勉強のために、自分で１からデータ基盤・データパイプラインの作成に挑戦してみた。 後から見返しやすいように、どのように作成したのかまとめてみる。 どのようにデータ基盤を作ったのか 以下のアーキテクチャ図のように作ってみた。 データ基盤作成手順 どのようにデータ基盤を作成したのか、手順に沿ってまとめてみた。 手順毎の詳細は、以前に別の記事で書いているので、そちらの記事も手順毎に記載した。 1)EC2上でRDSを動かす&RDSにデータを入れる 下記の記事を参考にしながら、以下を実装。 VPCを構築し、その中にEC2とRDSを立てる。 今回は、ターミナルからAWSにSSH接続して、create tableやinsertなどを実行してRDSにデータを入れるようにした。 ※注意:Snowflakeのリー
データサイエンティストが日頃の業務で得た知見や悩みについて情報共有し、「組織の枠を超えて、支えあえるDSコミュニティを創る」ことを目指す「Discovery DataScience Meet up (DsDS) 」。ここで株式会社ディー・エヌ・エーの大谷氏が登壇。SageMakerを活用した推論パイプラインの作成について紹介します。 自己紹介 大谷拓海氏（以下、大谷）：では「SageMakerで試行錯誤する推論パイプライン」という話をします。たぶん界隈だとGCPのほうが流行っているので、AWS使っている人は少ないのかなという気もしますが、AWSサービスの「SageMaker」を使って、推論パイプラインをいい感じに作る試行錯誤をした話をしていきたいと思います。 自己紹介です。moajoというハンドルネームでやっています。新卒2年目で、DeNAのAIシステム部のMLエンジニアリンググループで、
CodeDeploy,CodePipelineで、S3に置いたソースコードをEC2インスタンスにデプロイするパイプラインを作ってみた | DevelopersIO
CodeDeploy,CodePipelineで、S3に置いたソースコードをEC2インスタンスにデプロイするパイプラインを作ってみた Codeシリーズ触ってみよう！ということでAWS公式チュートリアル「シンプルなパイプラインを作成する (Amazon S3 バケットの場合)」をやってみたレポートです。 こんにちは、大阪オフィスのかずえです。 Codeシリーズ触ってみよう！ということで以下AWS公式チュートリアルをやってみたレポートです。 チュートリアル: シンプルなパイプラインを作成する (Amazon S3 バケットの場合) やること ZIPで固めたソースコードをS3にアップすると、複数のEC2インスタンスに自動デプロイされる仕組みを作ります。 さらに、実際の現場ではいきなり本番環境にデプロイするなんてことはあまりないですよね。ということでデプロイ対象をもう一つ作成し、ステージング環境へ
はじめに 今年の10月に株式会社LITALICOに入社しました@i-kです。SREチームに所属しています。 この記事は『LITALICO Advent Calendar 2020』2日目の記事です。 前職でCI/CDパイプラインを設計・構築した際にCodePipelineを使おうとして苦労した話を書いていこうと思います。 CodePipelineとは フルマネージドのCI/CDサービスです。 リポジトリサービスのCodeCommitやビルドサービスのCodeBuild、デプロイサービスのCodeDeployやAWS以外のCIツール等と連携してデプロイフローを構築することができます。ソースにはGitHubやCodeCommit以外にECRやS3、Bitbucketを指定できます。 AWSのサービスなので当たり前なのですが他のAWSサービスと親和性が高いです。 手動承認ステージが作れたり、Cl
モンスターエナジーのピンクこと、パイプラインパンチ飲んでみました。 見た目はニンジンジュース。味は「甘い」の一言です。あまーい。 エナジードリンクのモンスターエナジー。一般的に売ってるのは5種類でした。こいつが最近店頭に並ぶまでは。 緑、青、黒、白、オレンジの5種類。 ピンクは店頭で見た記憶がなくて私はなんとなく「幻のモンエナ」みたいに漠然と思ってたのですが、去年一般発売されてけど売れすぎて生産が追い付かずに一度販売停止になってたんですね。 で、このたび改めて販売が再開されたと。 私自身エナドリやモンエナに興味を持つようになったのが最近なのでよく知りませんでした。 で、これまで5種類飲み比べてきたので、今回も試飲です。6種類目。 ちなみに値段はどれも同じで205円前後。内容量は355ml。 さて。「パイプライン」はスケボーやサーフィンの用語でしたっけ。 ハワイにそういうサーフィンのスポット
【フランクフルト=林英樹】ロシア産の天然ガスを欧州に供給する海底パイプライン「ノルドストリーム」と「ノルドストリーム2」で見つかった損傷について、デンマークのフレデリクセン首相は27日、「損傷は3カ所で偶発的なものとは考えにくい」と述べた。欧州各国はロシアによる意図的な破壊工作の可能性があるとみて警戒を強めている。パイプラインの損傷はデンマーク海域で2カ所、スウェーデン海域で1カ所見つかった。
IAMロールの作成 ecsTaskExecutionRole ecsTaskExecutionRoleの実行ポリシーはAWS管理ポリシーのAmazonECSTaskExecutionRolePolicyです。 信頼ポリシーは、ecs-tasks.amazonaws.comからのリクエストを許可します。 これは、ロール作成時に「Elastic Container Service Task」を選択することで設定されました。 CodeDeployECSRole AWS管理ポリシーはAWSCodeDeployRoleForECSです。 信頼ポリシーは、codedeploy.amazonaws.comからのリクエストを許可します。 ロール作成時に「CodeDeploy – ECS」を選択することで設定されました。 イメージを作成してECRにプッシュ CloudShellでできないかなと思ったのですが
調査報道家シーモア・ハーシュ氏による記事「米国はいかにしてノルドストリーム・パイプラインを破壊したのか？」 | ISF独立言論フォーラム
See original text: https://seymourhersh.substack.com/p/how-america-took-out-the-nord-stream ベトナム戦争やイラク戦争時の米国による戦争犯罪や違法行為の報道で、数々のジャーナリスト賞を受賞した経歴を持つ、米国を代表する調査報道家、シーモア・ハーシュ氏がまた大仕事を成し遂げた。 昨年9月26日に起こった、米国をはじめ西側の関与が疑われながらも真相究明がされていなかった「ノルドストリーム爆破事件」について、ハーシュ氏は「サブスタック」というプラットフォームで記事「米国はいかにしてノルドストリーム・パイプラインを破壊したのか？」を2月8日に発表し、米国がノルウェーの協力を得てパイプライン爆破作戦を行った過程を事細かに報じ、大変な話題になっている。 ホワイトハウスは「嘘だ」と一蹴してるようだが、自らの違法行為
アメリカ最大級のパイプラインがサイバー攻撃を受けた事件で、ロシアに拠点を置くハッカー集団「ダークサイド」は、「目的はお金を稼ぐことだ」とする犯行声明を出しました。一方、パイプラインの一時停止を受け、ガソリンを早めに確保しておこうと、ガソリンスタンドに車が行列を作るなど影響が出始めています。 アメリカ南部テキサス州から東部にガソリンなどを供給する「コロニアル・パイプライン」のシステムが身代金を要求するサイバー攻撃を受けた事件で、FBI＝連邦捜査局は、犯行はロシア系のハッカー集団「ダークサイド」が関与したと断定しました。 「ダークサイド」は10日、「目的はお金を稼ぐことだ。社会的な影響を及ぼすつもりはない」などとする犯行声明を出しました。 このハッカー集団について、アメリカ政府は、去年10月に存在を把握したということです。 バイデン大統領は来月にも予定しているプーチン大統領との首脳会談でこの問
AWS CDK が、単体テストと CDK パイプラインサポートのアップデートを含む v1.111.0 - v1.116.0 をリリース
2021 年 7 月、JavaScript、TypeScript、Java、Python、.NET、Go 向けに AWS Cloud Development Kit (CDK) の 6 つの新しいバージョン (v1.111.0～v1.116.0) がリリースされました。これらのリリースにより、CDK Pipelines は新しい API で一般的に利用可能になり、あらゆる形状とサイズのクラウドアプリケーションのマルチ環境デプロイメントパイプラインを簡単に定義できるようになります。さらに、すべての CDK 言語で利用できる新しいアサーションライブラリに、findResources() などの新しいクラウドテストプリミティブが含まれるようになりました。これらのリリースには、ライブラリ全体の 30 の異なるモジュールに関する 24 件のバグ修正や 50 の新機能も含まれています。こうした変更の多
Cloud Dataflow で実現する柔軟なデータパイプライン - スタディサプリ Product Team Blog
はじめに こんにちは、@shase です。 スタディサプリでは、データパイプラインのツールとして、従来 AWS Kinesis Stream や、Embulk や、AWS Lambda などがよく使われてきました。 ただ、現在開発中のプロジェクトでは、システム間の連携の為、Cloud Pub/Sub が多用されているということもあり、データパイプライン Cloud Pub/Subとの親和性が高いCloud Dataflowを一部取り入れています。 本記事では Cloud Dataflow 自体は詳述しませんが、簡単に説明させていただくと、Cloud Dataflowとは、GCP が提供するマネージドな Apache Beam の実行環境になります。 Cloud Dataflow のメリット Cloud Dataflow（Apache Beam）には、以下のようなメリットを感じています。 ス
株式会社ヤプリ：データ パイプラインを Pub/Sub や Dataflow で構築しBigQuery へリアルタイムにデータを蓄積、Looker により顧客のデータ活用を促進 | Google Cloud 公式ブログ
株式会社ヤプリ：データ パイプラインを Pub/Sub や Dataflow で構築しBigQuery へリアルタイムにデータを蓄積、Looker により顧客のデータ活用を促進 ノーコードで大企業向けモバイルアプリを開発・運用・分析できるプラットフォームを展開する株式会社ヤプリ（以下、ヤプリ）。分析機能と可視化の強化を目的に Google Cloud を活用したデータ パイプラインを構築しています。このプロジェクトに携わったメンバーの皆さんに話を伺いました。 （利用している Google Cloud ソリューション） ストリーム分析 （利用している Google Cloud サービス） BigQuery、Cloud Run、Pub/Sub、Dataflow、Cloud Functions、Cloud Storage、Looker など データ ウェアハウスとしての BigQuery のコス
【読売新聞】 【ロンドン＝池田慶太】ロシアと欧州をバルト海経由で結ぶ海底ガスパイプライン「ノルトストリーム」で９月末に発生したガス漏れで、現場海域に近いスウェーデンの治安当局が１８日、「破壊工作」が原因と断定して実行犯を捜査中と発表
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 | Amazon Web Services
CodePipeline で複数名の承認を必要とするパイプラインの実装方法 | DevelopersIO
ダコタ・アクセス・パイプライン、先住民に喜びの判決。「石油を抜いて、調査せよ」裁判所が操業停止を求める
米石油パイプライン大手Colonialにサイバー攻撃 全米への石油移送を一時停止
ドイツとノルウェーつなぐ水素パイプライン建設の計画発表、発電所も
クラシルでのSnowflakeデータパイプラインのお話＆活用Tips - dely Tech Blog
POSデータにみる新型コロナの消費への影響と、ナウキャストのデータパイプライン管理
Amazon EKS で GitOps パイプラインを構築する | Amazon Web Services
レガシーなSQLからdbtのSQLへのリファクタリング｜dbtで始めるデータパイプライン構築〜入門から実践〜
dbtとは？｜dbtで始めるデータパイプライン構築〜入門から実践〜
サイバー被害の米パイプライン、身代金の大半を回収 米司法省が発表 - BBCニュース
Amazon SageMakerを活用した推論パイプライン運用 ディー・エヌ・エーのエンジニアが語る構成とツール検討の試行錯誤
CodePipelineでCI/CDパイプラインを組もうとして苦労した話 - Qiita
モンスターエナジー パイプラインパンチ とにかく甘いひたすら甘い - などなどブログログ
パイプライン意図的損傷の疑い 欧州はロシア関与を示唆 - 日本経済新聞
CodeDeployでECR、ECSにデプロイするパイプラインのチュートリアル - ヤマムギ
dbt向けPythonライブラリのご紹介｜dbtで始めるデータパイプライン構築〜入門から実践〜
米 パイプラインのサイバー攻撃 ロシアハッカー集団が犯行声明 | サイバー攻撃 | NHKニュース
「海底の９・１１」か、ガス漏れパイプラインの区間にクレーター…ＴＮＴ爆弾使用の可能性