ドイツ北東部ラーゲ沖の敷設船上で進む、ロシアとドイツを結ぶパイプライン「ノルドストリーム2」の敷設工事（2018年11月15日撮影）。(c)Bernd Wtneck / dpa / AFP 【12月22日 AFP】ドナルド・トランプ（Donald Trump）米大統領が20日、ロシア産天然ガスをドイツに運ぶパイプライン建設プロジェクトの参加企業に対する制裁が盛り込まれた国防権限法（NDAA）に署名し、同法は成立した。 このプロジェクトは、ロシアからバルト海（Baltic Sea）の海底を通じてドイツに天然ガスを運ぶパイプラインを建設する「ノルドストリーム2（Nord Stream 2）」。欧州一の経済大国ドイツへのガス供給倍増が目標だ。だが米議会は、欧州同盟国に対するロシアの影響力を増大させるものだと危機感を募らせている。 2020会計年度の国防予算の大枠を定めたNDAAの一部に盛り込まれ
Dataflow と Pub/Sub を使用して、ストリーミング パイプラインの重複データを処理する | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 8 月 24 日に、Google Cloud blog に投稿されたものの抄訳です。 目的ストリーミング データを処理して分析情報を抽出し、リアルタイム アプリケーションを強化することはますます重要になっています。Google Cloud Dataflow と Pub/Sub には、ミッション クリティカルなパイプラインを実行するための、スケーラビリティと信頼性に優れた、完成されたストリーミング分析プラットフォームが用意されています。このようなパイプラインの設計に際して、デベロッパーは、重複データの処理をどのように行うかという課題に頻繁に直面します。 このブログでは、ストリーミング パイプラインで重複データがよく発生する場所や、その処理に利用できるいくつかの方法について説明します。また、同じトピックについて説明しているこちらの技術解説もぜひご覧ください。
ホワイトハウスで７日、共同記者会見を行うバイデン氏（右）とショルツ氏/BRENDAN SMIALOWSKI/AFP/Getty Images （ＣＮＮ） バイデン米大統領とドイツのショルツ首相が７日、米ホワイトハウスで会談し、ウクライナ情勢での共同戦線をアピールしながらも、ロシアから天然ガスを供給するパイプライン閉鎖を巡る行き詰まりを露呈した。 バイデン氏は会談後の共同記者会見で、ロシアがウクライナに侵攻したらパイプライン「ノルドストリーム２」のプロジェクトはとん挫すると明言した。米政権高官によれば、パイプラインの閉鎖はドイツ側との重要な協議事項になっている。 一方、ショルツ氏はプロジェクトの名称にすら言及せず、侵攻があった場合にパイプラインを閉鎖するとの約束を改めて避けた。 ショルツ氏はその後ＣＮＮの番組に出演し、米国と足並みをそろえると繰り返し誓う一方で、ノルドストリーム２に対する方針
パイプライン爆破、３カ月前に察知か ウクライナ軍が計画―米紙 2023年06月07日06時51分配信 破壊された海底パイプライン「ノルドストリーム」から海面に噴出する天然ガス＝２０２２年９月、バルト海（スウェーデン沿岸警備隊提供）（ＡＦＰ時事） 【ワシントン時事】米紙ワシントン・ポスト（電子版）は６日、ロシア産天然ガスを欧州に送る海底パイプライン「ノルドストリーム」で昨年９月に起きた爆発に関し、欧州の情報機関が事件の３カ月前にウクライナ軍による秘密攻撃計画を察知し、米中央情報局（ＣＩＡ）と情報を共有していたと報じた。 ウクライナ、関与否定 捜査当局が船舶捜索―ガス輸送管爆発 同紙は、米空軍州兵（４月に逮捕・起訴）が通信アプリ「ディスコード」のグループ内で共有していた機密文書のコピーを入手。それによると、昨年６月にウクライナ特殊部隊のメンバー６人が潜水艇でバルト海に潜り、パイプラインを破壊す
こちらの記事は、Luc Juggery 氏により2018年9月に公開された『 Even the Smallest Side Project Deserves its CI/CD Pipeline 』の和訳です。 本記事は原著者から許可を得た上で記事を公開しています。 TL;DR 今を行く最新のツールを使えば、シンプルなCI/CDパイプラインを構築することは難しくありません。個人的なサイドプロジェクトであっても、CI/CDパイプラインを構築することで多くのことを学ぶことができるでしょう。Docker、GitLab、Portainerはこのようなセットアップで使うのに最適なコンポーネントです。 サンプルプロジェクト 南フランスのソフィア・アンティポリス地域で技術イベントをよく主催する私は、今後開催されるイベントを全部知る方法はないのかとよく聞かれていました(ミートアップ、ジャグ、自治会主催のも
中ロ天然ガスパイプラインが開通 年間380億立方メートル供給
中ロ天然ガスパイプライン東ルート北区間にある黒河第1ステーション（2019年11月19日撮影）。(c)Xinhua News 【12月3日 Xinhua News】中国とロシアを結ぶ天然ガスパイプラインの東ルートが2日開通し、ロシアの天然ガスが中国へと送られた。両国政府は2014年5月21日、上海で同ルートの協力プロジェクト覚書とガス供給売買契約の二つの重要な協力文書に調印した。双方はロシアが中ロパイプライン東ルートを通じて中国に天然ガスを供給し、送出量を最終的に年380億立方メートルとし、期間を30年とすることで合意した。 同ルートは黒竜江省（Heilongjiang）黒河市（Heihe）から中国に入り、9省（自治区・直轄市）を通過して終点の上海市に至る全長5111キロ。パイプライン3371キロを新設し、1740キロは既存のものを利用する。同ルート北区間事業部経理の羅志立（Luo Zhi
AWS が提供するサービスを組み合わせて、Git で管理された Markdown を PDF に一括変換する CI/CD パイプラインを構築した。 パイプライン構成図 処理フロー Markdown を含むファイルを Git で CodeCommit のリポジトリにプッシュ CodeBuild で CodeCommit から Markdown を含むソース一式を取得 ECR にある Pandoc の Docker イメージを利用して Markdown から PDF に変換 PDFをまとめて zip に圧縮し S3 へ転送 パイプライン構築手順 【注意】各種サービスのリージョンは同一リージョンに揃える必要がある S3 生成したPDFを格納するS3バケットを構築する。特に注意点はなし。 ECR Pandoc の Docker イメージをプッシュするためのレジストリを予め作成しておき、Docker
海の真ん中にオレンジ色の炎、メキシコ沖でパイプラインが爆発
石油会社のパイプラインが爆発 この事故が起きたのは7月2日、場所はユカタン半島西部の沖合とされている。 その水中には国営の石油会社「Pemex」のパイプラインが通っているのだが、午前5時15分頃（現地時間）にガスが漏れて、爆発。 溶岩のようなオレンジ色の炎が海面に湧き出る様子が上空から撮影された。 🚨 Sobre el incendio registrado en aguas del Golfo de México, en la Sonda de Campeche, a unos metros de la plataforma Ku-Charly (dentro del Activo Integral de Producción Ku Maloob Zaap) Tres barcos han apoyado para sofocar las llamas pic.twitter.com/
パイプライン駆動型組織 - 真の継続的デリバリの実現
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
露独パイプラインのガス漏れ、親ウクライナ勢力の攻撃か 米紙報道
米紙ニューヨーク・タイムズは７日、ロシア産天然ガスをドイツに送る海底パイプライン「ノルドストリーム」と「ノルドストリーム２」で昨年９月に起きたガス漏れについて、親ウクライナのグループによる攻撃が原因だった可能性があると報じた。米当局の機密情報に基づくとしている。 同紙によると、米当局はウクライナのゼレンスキー大統領や軍幹部を含め、同国が攻撃に関与したとはみていない。実行犯はロシアのプーチン大統領と敵対する立場にあると推測されるものの、グループの素性は不明点が多く、メンバーも特定できていないという。 また、攻撃にロシア政府が関与した証拠も見つかっていない。実行犯はウクライナ人かロシア人、あるいは両者の組み合わせの可能性が高く、米国人や英国人は関与していないという。 スウェーデンの検察は昨年１１月、現場で爆発物の痕跡が見つかり「破壊工作」だったと結論付けたと明らかにした。ロシア国防省が同１０月
【CI】GitHub Actions + AWS CodeBuild + Amazon ECRでCIパイプラインを構築してみた - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに 皆さんはじめまして！ 今回 Rakus Developers Blog 初投稿となる株式会社ラクスの大原(kzak_24)と申します。 インフラ開発部 SRE課に所属しております。 どうぞよろしくお願いいたします。 先日、アサインされているプロジェクトにて、CIツールにGitHub Actionsを採用する運びとなり、AWSのサービスと連携しての技術検証を終えました。結論、想像していたよりも簡単にCIパイプラインを構築することができ、非常に便利だと感じました。そこで今回は、検証内容や実装ポイントなどをご紹介していきたいと思います。 情報量が多く、すべてをお伝えすることはできませんが、GitHub ActionsとAWSを使って、CIを始めたいという方のご参考となれば幸いです。 目次 はじめに 目次 GitHub Actionsとは？ 検証環境の構成 事前準備 ワークフローの定義フ
Written by Leif Pedersen Edited by Dylan Sisson, F. Sebastian Grassia, George ElKoura 日本語訳 手島孝人 COMPLEXITY SIMPLIFIED トイ・ストーリー４は１兆ポリゴンを超える世界を描いた、ピクサー史上最も大規模な映画である。絶え間ないレンダリング技術とデータ管理の進化のおかげでピクサーのテクニカルアーティストたちはこのクリエイティブで複雑なビジョンを実現することができた。そのワークフローの最前線でピクサーの映画製作パイプラインを今の姿に変えたのが、USD（ユニバーサル・シーン・デスクリプション）である。 パイプラインとはなんだろう？簡単に言えば、複雑で大規模なプロセスを予測可能で信頼性の高いものにするツールセットだ。従来のパイプラインの概要を図に示した。これは最終的なフレームにたどり着くま
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
BigQuery と Fivetran によるデータ パイプラインの自動化 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 9 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 金融、小売、物流など、あらゆる業種の企業はすべて、「プロダクトの市場の状況を把握するにはどうすべきか」という一般的な水平分析の課題を抱えています。この問題を解決するには、詳細なマーケティング、セールス、財務分析を行って、より広範な市場における自らの位置を理解する必要があります。こういった分析では、ビジネス運営の効率性の向上につながる分析情報を企業のデータから取り出します。また、さまざまなデータソースからデータを収集する、収集したデータを一元化されたデータ プラットフォームに統合する、レポートやダッシュボードの開発に対応した分析機能を開発するといった一般的な一連のタスクを行います。 このような課題に対する最も一般的なソリューションでは、大規模な一連のツールが必要で、それぞれ
※この投稿は米国時間 2020 年 5 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 コンテンツ作りはかつてないほど容易になっています。世界中で創作やコラボレーションを楽しめるアプリが数多く世に出回り、その形態もオンラインでの動画アップロードやストリーミング、ポッドキャスト、ブログ、コメント フォーラムなどさまざまです。こうした多様なプラットフォームにより、自分のアプリやウェブサイトをホストする方法を知らなくても、オリジナルのコンテンツを自由に投稿できます。 しかし、新しいアプリは、ほんの数日で急激に人気になることもあり、スケーリングをどのように管理するかが大きな課題です。アプリ クリエイターは、新しいユーザーとコンテンツをできるだけ増やすことを望む一方で、作成したコンテンツを常に把握することが難しくなっています。独自のコンテンツを自由に投稿できることは
DevSecOps パイプラインを構築してみよう ! - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、builders.flash セキュリティシリーズの 3 作目を担当させていただきます、ソリューションアーキテクトの高野です。普段は製造業のお客様担当として、スマートプロダクトの開発支援や、SaaS plus a box といったモノとコトを組み合わせた新たなビジネス創出のお手伝いなどをさせていただいています。最近はこのような SaaS ビジネス関連の AWS イベント を実施しておりますので、ぜひご興味のある方はご覧ください。 新たなビジネスを創出する際には、市場の要求に迅速に応えるための開発スピードが求められますが、同時にプロダクトの品質もサービス展開のブロッカーにならない様に担保される必要があります。セキュリティもその重要な一要素です。 昨今では開発プロセスにおいて DevOps とセキュリティテストを組み合わせた DevSecOps という言葉が一般化しており、リリース
[AWS Black Belt Online Seminar] CON437 AWS Graviton2 でマルチアーキテクチャのデリバリーパイプラインを作成する | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] CON437 AWS Graviton2 でマルチアーキテクチャのデリバリーパイプラインを作成する AWS Black Belt オンラインセミナー「CON437 AWS Graviton2 でマルチアーキテクチャのデリバリーパイプラインを作成する」を公開します。 視聴は YouTube から、資料閲覧は SlideShare から可能です。 本セッションでは、AWS の コンテナサービスを活用し、AWS Graviton2 など ARM アーキテクチャの環境にコンテナアプリケーションをデリバリーするための技術的なポイントを解説しています。 現在のコンテナ実行環境はCPUアーキテクチャを抽象化しており、AWS Graviton2 など ARM アーキテクチャの環境も Amazon
![[AWS Black Belt Online Seminar] CON437 AWS Graviton2 でマルチアーキテクチャのデリバリーパイプラインを作成する | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/9d95dbac3e716c767c6164dbfaeed6d5cb787a34/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2021%2F09%2F27%2F202109_AWS_Black_Belt_Containers437-graviton-CICD.jpg)
Mozillaが開発を主導するプログラミング言語「Rust」の開発チームは9月26日、最新版となる「Rust 1.38.0」を公開した。コンパイルの速度を高速化するパイプラインコンパイルの導入などが行われている。 Rust 1.38は8月末に公開したバージョン1.37に続く最新版。コンパイルの高速化を図るパイプラインコンパイル（Pipelined compilation）の導入が最大の特徴となる。クレートのコンパイル時に必要になるメタデータがコンパイルプロセスの早期に生成される仕組みを利用して、パッケージマネージャのCargoがメタデータが利用できるようになると自動的に依存性のあるクレートを構築するというもの。単一のクレートのビルドでは変化はないが、一部のクレートグラフの構築ではコンパイル時間が10～20％高速化されたという。 また、バージョン1.9で導入した#[deprecated]属性
米パイプライン攻撃で身代金4.8億円支払い 運営企業CEOが認める
米ボルティモアにある石油パイプライン大手コロニアル・パイプラインの施設に掲げられた旗（2021年5月10日撮影）。(c)JIM WATSON / AFP 【5月20日 AFP】米国最大の石油パイプラインがサイバー攻撃を受けて数日間にわたり停止を強いられた問題で、パイプラインを運営するコロニアル・パイプライン（Colonial Pipeline）のジョゼフ・ブラウント（Joseph Blount）最高経営責任者（CEO）は、同社がハッカーに440万ドル（約4億8000万円）の身代金を支払ったことを認めた。米紙ウォールストリート・ジャーナル（WSJ）が19日、報じた。 ブラウントCEOは同紙に対し、身代金の支払いは「国にとって正しいこと」だったと説明。「大きな物議を醸す判断」であることは認識しているが、米国に対して数日間にわたりもたらしていた影響を考えれば、必要な措置だったと弁明した。(c)A
新しい高速アーキテクチャにより、多言語 Dataflow パイプラインが利用可能に | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 8 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 開発チームとデータ サイエンス チームが異なる言語の SDK で作業している場合や、好みのプログラミング言語では利用できない機能がある場合はどうしていますか？従来は、さまざまな言語をブリッジする回避策を講じなければならず、それができない場合はコーディングし直すしかありませんでした。これは時間や費用がかかるだけでなく、チームのコラボレーション能力にとって大きな足かせになります。 Dataflow Runner v2 の概要この問題を克服するために、Runner v2（パイプラインを構築するすべてのユーザーが利用可能）という新しいサービスベースのアーキテクチャが Dataflow に追加されました。この機能には、すべての言語 SDK をサポートする多言語対応が含まれています
ワシントン（ＣＮＮ） 米東海岸の主要パイプラインがサイバー攻撃を受けて操業停止に追い込まれた事件で、米司法省は７日、ハッカーに暗号通貨で支払われた身代金のうち、２３０万ドル（約２億５０００万円）相当を回収したと発表した。 ＣＮＮはこれより前、連邦捜査局（ＦＢＩ）主導の回収作戦について報じており、司法省の発表はこの報道を確認する形となった。回収作戦はランサムウェア（身代金ウイルス）攻撃の被害を受けたパイプラインの運営会社、コロニアル・パイプラインの協力を得て実施された。 司法省は今回、「ダークサイド」と呼ばれる犯罪ハッカー集団の複数の個人に支払われたビットコン２３０万ドル相当を押収。ＦＢＩは１年超にわたってダークサイドを捜査していたという。 ランサムウェアを使った犯罪ビジネスが横行する中、深刻なサイバー攻撃の被害に遭った企業の身代金が回収されるケースは珍しい。最近新設された司法省のデジタル恐
米連邦捜査局（FBI）は5月10日（現地時間）、米石油移送パイプライン大手のColonial Pipeline Companyが7日に発表した同社へのランサムウェア攻撃には、「Darkside」というハッカー集団が関わっていることを確認したと発表した。 ジョー・バイデン米大統領は10日の経済関連の記者会見の最後にこの件についてどう対処するのかという質問を受け、「この件にはロシア政府は関わっていないと考えているが、攻撃者がロシア在住というエビデンスがあるため、プーチン大統領に対処を求めるつもりだ」と答えた。 攻撃を受けたColonialは7日、すべてのパイプラインを一時的に停止し、セキュリティ企業やFBIと協力して解決に取り組んでいると発表した。10日には「パイプラインを段階的にオンラインに戻し」「週末までに大幅に回復させることを目標にしている」と説明した。 米セキュリティ企業Cyberea
こんにちは！AWS事業本部コンサルティング部のたかくに（@takakuni_）です。 今回は、TerraformのCI/CDパイプラインでどのような構成が取れるか考えてみました。 きっかけは、最近tfsecを使う機会がよくあり、CI/CDに組み込むと面白そうだなと思い、GWの宿題として考えてみました。 気がついたら、6月の終盤で超大作ブログになっていました。是非ともTerraformユーザーの方にご覧いただけるととても嬉しいです。 今回の構成が「必ずしも正解」というわけではなく、あくまで一例として参考程度にご覧いただけると幸いです。 「tfsec」って何？と言う方は以下のサイトも合わせてご覧いただけると幸いです。 全体の構成図 以下の構成図のようなTerraform実行パイプラインを作成しようと思います。 パイプラインが少し長いため、以下の区分で実装方式や解説をまとめていこうと思います。
AWS 上の CI/CD パイプラインにおける Terraform State ファイル管理のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS 上の CI/CD パイプラインにおける Terraform State ファイル管理のベストプラクティス はじめに 昨今、多くのお客様はインフラストラクチャのデプロイとメンテナンスに関する手動運用を減らしたいと考えています。 AWS でインフラストラクチャをデプロイしたり運用したりするためには、 AWS CloudFormation、AWS Cloud Development Kit (AWS CDK)、 Terraform のようなツールを利用した Infrastructure-As-Code (IaC) モデルを採用することが推奨されます。 Terraform を利用する上では、インフラストラクチャの設定やリソースを追跡するための State ファイルの管理がとても重要な要素となります。 AWS 上の CI/CD パイプラインで
BigQuery Remote Functions (Preview) をデータパイプラインに組み込んでみました | MoT Lab (GO Inc. Engineering Blog)
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。BigQuery Remote Functions (Preview) を利用することのメリットや、導入にあたり工夫した点を紹介します。 ※ 本記事の対象読者は BigQuery を利用してパイプラインを作成している方を対象にしています はじめに本記事では、BigQuery Remote Functions について取り上げ、どのようなメリットがあるのか説明し、実装方法を解説します。次に Preview のプロダクトをパイプラインに導入するにあたり工夫した点を紹介させて頂きます。 ※ 本記事では、Cloud Functions とは何かというような解説はしていません BigQuery Remote Functions とはBigQuery から
【イスタンブール=木寺もも子】米ニューヨーク・タイムズは7日、2022年9月に起きたロシアとドイツを結ぶ天然ガスの海底パイプライン「ノルドストリーム」の破壊について、親ウクライナの勢力が実行した可能性があるとする米情報当局者の見方を報じた。米当局者によると、破壊にはロシアのプーチン大統領に反対する勢力が関与したことを示す情報があるが、誰が指示したかなどの詳しい背景は不明だという。ウクライナ政府
Airflow と SageMaker で構築する推論パイプライン | BLOG - DeNA Engineering
はじめまして。AI システム部の @moajo です。 普段はインフラからフロントエンドまで幅広く MLOps しています。 弊社 AI システム部のとあるプロジェクトで、老朽化した機械学習推論パイプラインを Airflow と SageMaker を組み合わせて再構築しました。 この記事では、新しい推論パイプラインの開発を通して得られた知見と、その具体的な実装についてご紹介します。 具体的なコード例を多めに載せているので、参考になれば幸いです。 この記事には以下のようなことが書いてあります。 システム全体像と得られた知見 SageMaker batch transform の使い方 Airflow の使い方 この記事ではなんとなく以下を知っていることを前提とします。 Airflow とは何か SageMaker とは何か 背景 このプロジェクトでは、以前から以下のような推論プロセスが運用
CodePipelineからAWS FargateにサイドカーパターンのFireLensコンテナも含めBlue/Greenデプロイするパイプラインを作成するCloudFormationテンプレート | DevelopersIO
Fargateに素のNginx（Webサーバ）とFireLens（Fluent Bit）込みの検証環境を構築するCloudFormationのテンプレートを以前紹介しました。アプリコンテナ（Webサーバ）とFluent Bitのデプロイ作業を簡略化するためにCodePipelineでCI/CDパイプラインを作成し連携させてます。デプロイ方式はプレースホルダを用いたBlue/Green デプロイメントを採用します。 前回の環境おさらい 前回アプリコンテナは素のNginxコンテナを利用していました。FireLens用のFluent Bitのイメージは自前の設定ファイルを読み込ませる都合、ECRにビルドした設定ファイル込みのイメージをpushしたものを利用していました。 今回はプレースホルダを利用してBlue/Greenデプロイをするためappspec.ymlとtaskdef.jsonが登場しま
ロシア産天然ガス、仏へパイプライン経由の供給途絶
ロシア国営天然ガス企業ガスプロムのロゴ（2022年6月15日撮影）。(c)Olga MALTSEVA / AFP 【6月17日 AFP】フランスの天然ガス輸送網を運営するGRTガス（GRTgaz）は17日、ロシアから15日以降、パイプライン経由で天然ガスを受け取っていないと明らかにした。ロシア国営天然ガス企業ガスプロム（Gazprom）は今週、欧州への供給を大幅に削減すると発表していた。 ガスプロムは、ロシア産の天然ガスをドイツに輸送するパイプライン「ノルドストリーム（Nord Stream）」経由の供給削減は、設備の修繕が理由と説明している。だが欧州当局者は、ロシアが侵攻したウクライナを支援する国々に対する懲罰的な措置とみている。 フランスは、ロシアからドイツ経由で自国消費の17％前後に相当する量の天然ガス供給を受けている。すでに年初から供給は60%削減されており、ガス価格が高騰している
AWS WAFのBlockとCountログを抽出するパイプラインをFirehoseとLambdaで組んでみた | DevelopersIO
WAFログ解析の効率化を図るため、Firehose と Lambda を利用したサーバレス な AWS WAF ログ処理パイプラインを試してみました。 AWSチームのすずきです。 AWS WAF のアクセスログは、Kinesis Data Firehose 経由でS3などに出力する事が可能です。 今回、Firehose と Lambda を利用して、AWS WAF で BLOCK 、COUNT と判定されたログを サーバレスに抽出するパイプラインを試す機会がありましたので、紹介させていただきます。 構成図 AWS WAFログサンプル BLOCK、COUNT に該当するログをS3から回収してサンプルとして利用しました。 ウェブ ACL トラフィック情報のログ記録 BLOCK 遮断設定をした WAFルールに該当したログです。 「action」が BLOCK と記録されます。 「terminat
【加藤さん向け】オンプレで動かす機械学習パイプラインをSagemaker用に変更するときのポイント【社内共有】 | DevelopersIO
せーのでございます。 北海道はもうそろそろ秋の気配。みなさんも秋物の洋服をクリーニングに出そうとしたり、観葉植物の日当たりを工夫したりしてる時 もともとオンプレやEC2で動かすために組んでいた機械学習のパイプラインをSagemaker用に書き直したいなと思うことって、よくありますよね。 でも、この作業にはSagemakerの勘所を押さえておく必要があります。今回はそんな書き換え作業時に押さえておくポイントを、がっつり社内向けに記述しておきます。 今回は特にターゲット層として機械学習関連を一緒に作業している「加藤さん」を念頭にこの記事を書いています。ですので「加藤さん」と同じくらいのバックグラウンドをお持ちの読者の方であればスッと入ってくるかと思います。 「加藤さん」像 私の考える「加藤さん」は AWSのサービスについては基本押さえている 機械学習の基本的な用語や流れ（データセットなど）はわ
コンテナ Lambda の CI/CD パイプラインを SAM Pipeline で作ろう ! ~コンテナ利用者に捧げる AWS Lambda の新しい開発方式 ! ~ 第 6 回 - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、サーバーレス スペシャリストソリューションアーキテクトの下川 (@_kensh) です。 「第 1 回 コンテナ Lambda の ”いろは”、AWS CLI でのデプロイに挑戦 !」では、AWS CLI を使ってコンテナ Lambda 関数を実際に AWS Lambda サービスにデプロイして動作確認をしてみました。 「第 2 回 コンテナ Lambda を開発、まずは RIC と RIE を使ってみよう !」では、開発者のローカル環境でコンテナ Lambda 関数の動作確認をする方法を紹介しました。 「第 3 回 コンテナ Lambda をカスタマイズして、自分好みの PHP イメージを作ろう !」では、コンテナイメージサポート Lambda 関数のカスタムイメージ作成方法について紹介しました。 「第 4 回コンテナ Lambda を AWS SAM でデプロイしよう !」
1230kmのパイプラインも作ったが…ロシア依存だったドイツが超強気に急変した本当の理由（プレジデントオンライン） - Yahoo!ニュース
■驚異の「年間10万円の値上げ」になる見込み 3月4日、ガソリンスタンドの前を通ったら、衝撃的な数字が目に飛び込んできた。レギュラーガソリンの値段が1.9ユーロを超えている！ 同日のレートで換算すれば、1リットル240円を超えてしまったわけだ。ちなみに2020年のレギュラーガソリンの平均価格は1.29ユーロ、21年が1.58ユーロで、今年の1月は1.72ユーロになっていた。それがその後の1カ月でさらに急騰し、しかも、上昇はまだ止まりそうにない。 【この記事の画像を見る】 エネルギー部門の高騰は石油だけではない。現在、ドイツの平均的な家庭のエネルギー代は、前年比でなんと5割も増えている。特に天然ガスの市場価格は、前年比でほぼ2倍。ドイツでは地域暖房に天然ガスを使っている自治体も多く、平均家庭のガス代の負担は、日本円にすると年間で約10万円の増加になるだろうという。 さらに石炭も需要の急増で
はじめに 本連載の第2回では様々なデータソースからの収集について、第3回では収集されたデータの管理についてそれぞれ解説してきました。今回は、それぞれのデータの収集から分析するまでの処理の流れを管理するデータパイプライン管理に着目し、求められる要素や関連するサービスとその使い分けについて解説します。 データパイプラインとETL 分析するためのデータを様々なデータソースから収集してデータレイクのような基盤で実際に分析できる状態にするまでには、一般的にいくつかのサービスや機能、処理を組み合わせて実現します。このようにデータの抽出（Extract）、変換（Transform）、ロード（Load）の一連のフロー（流れ）をETLと呼び、データソースやデータの種類ごとに異なるフロー（パイプライン）を構成する必要があります。 さらにこの処理は当然ながら自動化することが一般的です。なお、データウェア
アメリカ東海岸で消費されるガソリンや軽油のほぼ半数を担うパイプラインがランサムウェアによる攻撃を受けた一件で、この攻撃の背後にいると目されていた「DarkSide」が、自分たちの目的が「金を稼ぐこと」であり「社会に問題を起こすことではない」という声明を発表しました。 DarkSide ransomware will now vet targets after pipeline cyberattack https://www.bleepingcomputer.com/news/security/darkside-ransomware-will-now-vet-targets-after-pipeline-cyberattack/ Hacking group DarkSide responsible for Colonial Pipeline shutdown https://www.cnbc
【増席】Airflow, Argo, Digdag...モダンなパイプラインツールをハックしよう！ (2021/02/17 19:30〜)
お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。 2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。 なお有料の対象となるのはAPIのみであり、connpassのサービスにつきましては今後も無料でご利用いただけます。 2月 17 【増席】Airflow, Argo, Digdag...モダンなパイプラインツールをハックしよう！ ～データエンジニア向け 実務で使えるノウハウやTipsを共有！～
はじめに Kedroという機械学習向けパイプラインツールを使ってみたので備忘までに記事を書きます。 とりあえずパイプラインを組んでみて動いたところまで、です。もう少し使い込んで、別途投稿できればと思っています。 公式のチュートリアルの差分は、以下くらいかなと思います。（どっちもちょっとしたことですが） ホストを汚さないようにDockerコンテナ内でKedroプロジェクトを作成・開発していること node.pyは使わず、普段慣れ親しんだディレクトリ構成で普通にスクリプトを書いていること（それらをノードとしてパイプラインでつないでいる） パイプラインツールの必要性 依存関係が複雑になりがちな処理処理フローを管理したい データ取り込み→データ前処理→モデルのトレーニング→チューニング→デプロイメント、etc ジョブを並列実行したい コンポーネントごとにマシンスペックを柔軟に設定したい 前処理は高
この AWS ソリューションでは以下のセットアップを行います。 AWS CodePipeline で、ソース、構築/テスト、デプロイの各ステージを持つ CI/CD パイプラインを自動化します。 ソースステージでは、Git ユーザーがコミットをプッシュし、CodePipeline が起動します。CodePipeline はソースコードを取得し、Amazon Simple Storage Service (Amazon S3) のアーティファクトバケットに保存します。 構築/テストステージでは: AWS CodeBuild は、アーティファクト S3 バケットからコードを取得し、TaskCat を実行します。 TaskCat は、CloudFormation テンプレートのデプロイとテストを行い、テスト結果をレポート S3 バケットに保存します。 AWS Secrets Manager は、C
DECALmachine 2.0 - ペタペタと凹凸ディテール付きデカールを貼る事が出来るBlenderアドオンが大幅アップデート！パイプライン強化！放出と透過デカール対応！
シミュレーション 技術 技術-Technology Vertex Block Descent - 高速＆安定の物理シミュレーション技... 2024-05-06 ユタ大学博士課程候補者でVisureTechの創業者であるAnka Chen氏らによる、高速かつ安定するとされる次世代物理シミュレーション技術『Vertex Block Descent (VBD)』の動画とプロジェクトページが公開されています！ 続きを読む Unreal Engine アセット アセット-Asset Lava Lamp Configurator - シェーダーでリアルに表現された... 2024-05-06 プログラマーでシェーダーアーティストのnevermoreによるUnreal Engine向けラバライトアセット『Lava Lamp Configurator』がリリースされました！ 続きを読む
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
独ロ結ぶパイプライン建設、参加企業に制裁科す法案 トランプ氏が署名し成立
ドイツ首相、バイデン氏と足並み揃わず ロシアとのパイプライン閉鎖で
パイプライン爆破、３カ月前に察知か ウクライナ軍が計画―米紙：時事ドットコム
どんなに小さなサイドプロジェクトでもCI/CDパイプラインは大いに役立つ - Qiita
Markdown を PDF に変換する CI/CD パイプライン構築 - Qiita
Pixar社のUSDパイプライン – Visual Crossing
パイプライン攻撃「やりすぎた」サイバー犯罪者が後悔?：朝日新聞デジタル
音声の高速処理: AI パイプラインによる音声コンテンツの高速分類 | Google Cloud 公式ブログ
「Rust 1.38」公開、コンパイル高速化のパイプラインコンパイルを導入 | OSDN Magazine
米コロニアル・パイプラインが支払った身代金、２．５億円を回収 司法省
米石油パイプライン大手へのサイバー攻撃、犯人はロシアを拠点とする集団「DarkSide」とFBIが発表
TerraformのCI/CDパイプラインを実装してみた | DevelopersIO
親ウクライナ勢力がパイプライン「ノルドストリーム」破壊か 米報道 - 日本経済新聞
4億円を米石油パイプライン大手から窃取、露ハッカー集団「ダークサイド」が使った手口【大手企業も狙うランサムウェアに注意！】
データパイプラインの管理 ～ワークフロー管理に利用できる、さまざまなAWSサービス | gihyo.jp
石油パイプラインへサイバー攻撃を行った集団が「目的は金を稼ぐことで社会に問題を起こすことではない」と声明を発表
Kedroで機械学習パイプラインに入門する - Qiita
AWS CloudFormation 向け TaskCat CI/CD パイプライン