今年５月、サイバー犯罪の標的となったコロニアル・パイプラインが所有するタンク群/Drew Angerer/Getty Images/FILE （ＣＮＮ） 今年５月に起きた米大手コロニアル・パイプラインに対するサイバー攻撃に関連して、米国務省は４日、ロシア語圏のランサムウェア（身代金ウイルス）集団の主犯格の特定や所在確認につながる情報に、最大で１０００万ドル（約１１億円）の賞金をかけると発表した。 コロニアル・パイプラインに対する攻撃には、「ダークサイド」と呼ばれるランサムウェアが使われた。国務省は、この攻撃に関与した共謀者の逮捕や訴追につながる情報にも、５００万ドルの賞金をかけている。 バイデン政権は米国企業から多額の身代金を脅し取り、重要インフラを脅かしたサイバー犯罪集団に対する圧力を強めている。 国務省は２０２０年の大統領選挙前にも、外国政府の指示による選挙干渉を狙った「サイバー不法行
DECALmachine 2.0 - ペタペタと凹凸ディテール付きデカールを貼る事が出来るBlenderアドオンが大幅アップデート！パイプライン強化！放出と透過デカール対応！
シミュレーション 技術 技術-Technology Vertex Block Descent - 高速＆安定の物理シミュレーション技... 2024-05-06 ユタ大学博士課程候補者でVisureTechの創業者であるAnka Chen氏らによる、高速かつ安定するとされる次世代物理シミュレーション技術『Vertex Block Descent (VBD)』の動画とプロジェクトページが公開されています！ 続きを読む Unreal Engine アセット アセット-Asset Lava Lamp Configurator - シェーダーでリアルに表現された... 2024-05-06 プログラマーでシェーダーアーティストのnevermoreによるUnreal Engine向けラバライトアセット『Lava Lamp Configurator』がリリースされました！ 続きを読む
この AWS ソリューションでは以下のセットアップを行います。 AWS CodePipeline で、ソース、構築/テスト、デプロイの各ステージを持つ CI/CD パイプラインを自動化します。 ソースステージでは、Git ユーザーがコミットをプッシュし、CodePipeline が起動します。CodePipeline はソースコードを取得し、Amazon Simple Storage Service (Amazon S3) のアーティファクトバケットに保存します。 構築/テストステージでは: AWS CodeBuild は、アーティファクト S3 バケットからコードを取得し、TaskCat を実行します。 TaskCat は、CloudFormation テンプレートのデプロイとテストを行い、テスト結果をレポート S3 バケットに保存します。 AWS Secrets Manager は、C
データ処理パイプラインの Argo Workflows 移行を検討した話 - freee Developers Hub
AirflowからArgo Workflowsへ freee の AI ラボというチームでエンジニアをしている id:nagomiso と⾔います。好きな飲み物はストロング系チューハイです。オススメはキリン・ザ・ストロングのコーラサワーと SAPPORO 99.99 のクリアレモンです。 さて, あまりイメージがないかも知れませんが実は freee の AI ラボでは機械学習やデータを活用したサービスの検討・開発だけではなく, 開発や運用を効率的に行うためのインフラ整備にも取り組んでいます。（取り組みの一部は 開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 でも紹介しています） こうしたインフラ整備の一環としてデータ処理パイプラインの Argo Workflows 移行を進めているので今回はその話をしようと思います。 動機 もともと AI
JavaScriptでのreduceを使ったパイプラインのことを、腑に落ちるまで手を動かして検証してみた - Qiita
JavaScriptでのreduceを使ったパイプラインのことを、腑に落ちるまで手を動かして検証してみたJavaScriptFunctionalProgramming関数型プログラミングpipe 記事の本文の前に 記事の投稿後、コメントで認識の誤りのご指摘を頂いております。 このため、この記事は修正を予定しています。 カリー化など関する僕の理解の問題で、まだ修正できずにいるため、内容に誤りがある可能性がありますので、大変申し訳ないのですが、読んでいただく際はコメントの訂正欄も含めご確認いただければ幸いです。 なお、記事自体削除して新たに書き直した方が良いかとも思ったのですが、頂いたコメントの内容がとても勉強になる有意義な内容でしたので、打ち消し線や修正の内容を追記する形を取ろうと思います。 この後、本文にも記載しておりますが、この記事は、元々は、@jlkiri さんの書かれた「Pipe関数
はじめに パイプライン演算子 がまだなかなか来そうにないので。 似たようなことをするのに配列使ったりとか、Promise 使ってみたりとか、パイプライン用のクラスを作ったりライブラリ使ったりしてもいいのだけれど、そこまで凝ったの要らないんだよなあ、ってときのお手軽版。
Part2では、Airflowの基本的な使い方を学びました。Part3では、実際にパイプラインの実装に入っていきたいと思います。とはいえ一度に全部は作れないため、パートに分けて作成をしていきます。今回は、データ収集を担当するパートの一部を実装しようと思います。 Part3にて実装の範囲: データの取得処理具体的には、以下の処理のうち1~2を実装してみます。 EDINETから、決算関連文書のリストを取得するリストに掲載された文書をダウンロードして、ストレージに格納するダウンロードされた文書からテキストを抽出し、DBに格納する抽出したテキストから特徴量を計算し、ストレージに格納するEDINETは、企業の決算文書などを公開している金融庁のシステムです。最近APIで文書にアクセスできるようになったため、こちらを題材に使ってみたいと思います。 基本的には、ファイルダウンロード・テキスト抽出・特徴量抽
米パイプラインを襲ったサイバー攻撃の詳細と米国の反撃 日本にも不可欠になっているインテリジェンス組織 | JBpress (ジェイビープレス)
今年5月の攻撃では重要インフラ（石油パイプライン）がサイバー攻撃により停止した。これは筆者にとって大きな驚きであった。 ランサムウエアがどのような経路でシステムに侵入したかについては公表されていないので不明であるが、世界最先端のサイバーセキュリティ防護技術を有していると見られる米国にとって、まさに失態と言っても過言でないであろう。 米国のサイバーセキュリティ関係者は肝を冷やしたことであろう。 今回のマルウエア（不正で有害な動作を行う悪意のあるソフトウエアやコードの総称）はランサムウエア（身代金目当てのマルウエア）であったが、これが論理爆弾（特定の時間をトリガーとしてコンピューターの破壊活動を実行するプログラムの総称）であったならば、パイプラインを爆破された可能性がある。 今回のインシデントの原因が解明され、対策が講じられるまで、次、いつ、どこでパイプラインが爆発するかも分からない。 198
機械学習とパイプライン エンジニアの皆さんは、「パイプライン」といえば何を思い浮かべるでしょうか？ 恐らく多くの人は、 ①最近ハッキングされたことで話題の、石油輸送管 ②基本情報試験などで頻出の、CPUの並行命令実行の仕組み を思い浮かべるかと思います。 ※画像はWikipediaより 機械学習分野でも、Scikit-LearnやMLOps系のツールにおいて頻出する用語であり、 何となく、「複数の処理を連続で行う仕組み」といったイメージを持たれている方が多いかと思います。 ですが、連続処理なら各処理を順番に実装すれば同様の機能を実現できるため、正直 「メリットがよく分からん！」 と思われている方も多いかと思います。 私もそう思っていましたが、調べてみると、場面によっては必要不可欠と言えるようなメリットがある事が分かったので、 記事にまとめようと思います パイプラインとは？ パイプラインの概
Cloud DataflowでGCS→BQのパイプラインをPythonで試してみる | DevelopersIO
はじめに データアナリティクス事業本部のkobayashiです。 GoogleCloudのETLサービスのDataflowを調査する機会があり、Google Cloud Storage(以降GCS)にあるCSVファイルをBigQueryにロードする処理をPythonスクリプトで試してみましたのでまとめます。 Dataflow | Google Cloud Cloud Storage Text to BigQuery DataflowはマネージドなApache Beam Runnerでプログラミング言語としてはJava,Python,Goを使うことができます。今回やろうとしている「Cloud Storage Text to BigQuery」に関してはGoogle提供のバッチテンプレートがありますが、このテンプレートはJavaで記述されているため使用せずPythonで実装してみます。 B
独ロ間の石油パイプラインで漏れ、部分的に遮断
ロシアからの「ドルジバパイプライン」で石油供給を受けているスロバキア内の製油所（2022年5月19日撮影、資料写真）。(c)VLADIMIR SIMICEK / AFP 【10月12日 AFP】ロシアからドイツなどに石油を運ぶ「ドルジバ（Druzhba、友好）パイプライン」のうち、ポーランド内の区間で漏えいが確認されたとして、輸送が部分的に遮断された。ポーランドのエネルギー関連企業PERNが12日、明らかにした。 同社は「現時点で原因は判明していない。影響を受けたパイプラインでの石油輸送は直ちに停止された。2番ラインは正常に稼働している」と説明した。 漏えいは、11日夜に首都ワルシャワから西に約180キロ離れた同国中部の村付近で確認された。同社の広報担当者はポーランド通信（PAP）に対し、同パイプラインは主にドイツ国内の製油所2か所に石油を供給していると述べた。 ただしドイツ政府は、同パイ
[速報] 拡張イメージスキャンが CI/CD パイプラインに組み込めるようになりました！#AWSreInvent | DevelopersIO
こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 re:Invent 2023 でラスベガスにきています。最終日のキーノートにて、 拡張イメージスキャンが CI/CD パイプラインに組み込めるようになりました！ 今までどんな状態だったか まず初めに、AWS で提供されているコンテナイメージスキャンをおさらいしてみます。 AWS では、 ECR ベーシックスキャンと、Inspector v2 を利用した拡張スキャンの2種類が提供されています。 オンデマンドスキャン 使っている DB 等、いくつか違いがあるのですが、「CI に組み込めるか？」と言った目線だと、 ベーシックスキャンはオンデマンドスキャンが可能なため、 CI に組み込めて、拡張スキャンは対応していなかったため、組み込めませんでした。 以下は BuildSpec でベーシックスキャンを CI
![[速報] 拡張イメージスキャンが CI/CD パイプラインに組み込めるようになりました！#AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0831131249568b6a5c4b12b46a8249f87f5faf99/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F12%2Fimage-1.png)
© 2024 DATUM STUDIO Co. Ltd. データパイプラインの処理⽅法 データ処理にはバッチ処理とストリーミング処理の⼆つがある 源泉システム ストリーミング DWH Data Lake バッチ ü s3などにファイルを置いてもらう/ingestツールを使う ü 源泉システムの断⾯を保持するため扱いやすい ü Kafkaなどのメッセージングキューから連携 ü データの到着順が⼊れ替わることがあるので、ログ系のデータ向き ü バッチでのLoadが間に合わない場合にも採⽤される バッチ バッチ ストリーミング ü ⼀括ですべてのデータを処理 ü マシンパワーの強い近年のDWH製品と相性が良い ü viewやlambda viewによる実装 ü 分析に即時性が求められる場合に採⽤ される ü 複雑な処理設計が必要になる （個⼈的にはなるべく避けたい） （同左） ① ② ※ほんとは
ニューヨーク（ＣＮＮ Ｂｕｓｉｎｅｓｓ） 米石油パイプライン大手コロニアル・パイプラインの操業を停止させたサイバー攻撃を受けて米東海岸で買いだめの動きが広がり、燃料が売り切れるガソリンスタンドが続出している。 燃料価格・需要調査アプリの「ガスバディ」によると、現地時間の１１日午後４時現在、ノースカロライナ州で８．５％、バージニア州では７．７％のガソリンスタンドでガソリンがなくなった。同日午前１１時と比較すると、バージニア州は横ばい、ノースカロライナ州は５．８％から増加した。 ガソリンスタンドの供給停止はジョージア州（５．８％）、フロリダ州（２．８％）、サウスカロライナ州（３．５％）で報告されている。 ガスバディのアナリスト、パトリック・デ・ハーン氏はＣＮＮビジネスの取材に対し、パニック買いがガソリンスタンドを枯渇させていると分析。不合理な行動のために、供給問題が何週間も長引く可能性がある
中露パイプライン「シベリアの力」 天然ガスを輸送（写真：新華社/アフロ） ロシアと中国は１２月２日、両国を結ぶ初の天然ガスパイプライン「シベリアの力」を開通させた。パイプライン開通の記念式典にはロシアのプーチン大統領と中国の習近平国家主席がテレビ会議を通じて参加し、両国の親密ぶりをアピールした。 このパイプラインは全長約３０００ｋｍ。東シベリアのチャヤンダ・ガス田から当初は年間５０億立方メートル、全線が稼働する２０２５年には年間３８０億立方メートルの天然ガス（日本の年間消費量の３分の１）が中国へ供給される見込みである。当面は吉林省と遼寧省までの開通だが、最終的には北京や上海までパイプラインが整備されることになっており、これによりロシアはドイツに次ぐ第２位のガス輸出先を確保することになる。両国間の契約によれば、シベリアの力は今後３０年間で合計４０００億ドルの収入をロシアにもたらすことになって
Looker System Activity を低コストなサーバレスイベント駆動パイプラインで BigQuery へ取り込む - LegalOn Technologies Engineering Blog
はじめに 株式会社LegalOn Technologies でデータエンジニアリングをしている 田中 晶 です。 LegalOn Technologies では、データドリブンな意思決定をするために、データ分析基盤や BI ツールの整備を行い、プロダクトに関わる多くの社員がデータを活用できる状態を維持し、さらなる活用を目指しています。 過去の啓蒙活動や整備の甲斐もあり、現在弊社で利用しているBIツールである Looker のライセンスは多くの社員に付与されており、またその活用も専門職だけでなく、営業部門の活用率も高いという利用率の計測結果も出ているほどです。 このように活用されているデータ分析基盤ですが、より高いデータの利活用水準を目指すためには、利用者や用途に関して、長期的に柔軟な利用状況の分析を行う必要がでてきました。 そこで幅広く Looker の活用度を測定するために使用状況やパフ
【Techの道も一歩から】第41回「SageMakerでStep Functionsを使った学習パイプラインを構築するために概念を理解する」 - Sansan Tech Blog
こんにちは。 DSOC R&D グループの高橋寛治です。 最近は、MLOpsへの興味が大きく、ツールの実利用や勉強会での発表を行っています。 機械学習プロジェクトにおいて、久々の実行や引き継いだコードの実行の際に、順序や実行環境を思い出したり準備したりしながら確認するのはすごく大変です。 コンテナ化された上でパイプラインがあると、実行順序も実行環境も覚えたり記録したりする必要がなくなります。 コンテナとパイプラインを組み合わせて利用するAmazon SageMakerを利用し、学習パイプラインを構築してみました。 その概要とAmazon SageMakerを利用したパイプラインを構築する上で押さえておくべきだと思う概念を簡単に紹介します。 SageMakerによるパイプライン構築の概要 AWS Step Functions Data Science SDK for Amazon SageM
南アで燃料用パイプライン停止 付近で火災 3人死亡
南アフリカ・ダーバンで、トランスネットが運営するパイプライン付近の火災現場から立ち上る煙（2021年10月31日撮影）。(c)MARCO LONGARI / AFP 【11月1日 AFP】南アフリカの東部ダーバン（Durban）郊外で10月31日早朝、国営物流会社トランスネット（Transnet）の燃料用パイプラインの近くで火災が発生し、パイプラインの稼働が一時停止された。同社によると3人が死亡した。何者かが燃料を盗もうとしたが失敗し、発火したとみられている。 パイプラインを運営するトランスネット・パイプラインズ（Transnet Pipelines）は「パイプラインを即時停止し、緊急対応計画に沿って対処した」と説明した。現在、調査が行われているという。 トランスネットの石油・ガスパイプライン網は総延長3800キロに及ぶ。ダーバンと、経済の中心地ヨハネスブルクを擁する、最大の人口を抱えるハ
概要 SageMakerでの推論パイプライン構築を試してみたので、備忘録的に記述しておきます。 「推論パイプラインってどんなものかよくわからない」、「やってみたいけどイマイチ内容を理解できていない」、といった方向けです。 まずは「推論パイプラインとは」といったあたりから整理して、その後にAWSが用意してくれているサンプルを使って理解を深めていきます。 目次 推論パイプラインとは 推論パイプラインを使うと何が嬉しいのか ざっくりとした実装の流れ やってみた まとめ 推論パイプラインとは 機械学習で推論するためには、生のデータをそのまま使うのではなく「前処理」が必要になることがとても多いです。 また、推論した結果を、後続のシステムが使いやすい形に「後処理」することも多いです。 そこで、「前処理」、「推論」、「後処理」等の処理を一連の流れとして実行できるようにしておく必要があるのですが、このよう
DX時代における開発のセキュリティ 現場が考えるべきセキュリティとは ～ソフトウェアセキュリティが直面している4つの問題と、ソフトウェアパイプラインを安全にする「GitOps」 あらゆる企業がDXに取り組む現在、データを活用して新たな価値をユーザーに提供していくケースが増えています。その手法は主にアプリケーションやWebサービスですが、リリースを急ぐあまりセキュリティがおろそかになってしまい、大きなインシデントが発生してしまうこともあります。この連載では、開発にセキュリティを組み込むための考え方や手法について、GitLabのブログを再構成してお届けしています。今回は、開発現場が考えるべきセキュリティについて紹介します。 ソフトウェアセキュリティが直面している4つの問題 2020年、米国で報告されたデータ侵害は約4000件で、370億以上の記録が流出しました。そして、スタンフォード大学のジェ
緊迫するウクライナ情勢をめぐり、まとめサイトの不正確な情報が拡散されている。 このサイトでは「欧州向け世界最大のパイプラインが爆発」という記事を掲載しているが、使っている画像は8年前のもので無関係だ。 親ロシア派が支配するウクライナ東部でガスのパイプラインが爆発したことは報じられているが、「欧州向け世界最大」のパイプラインとして記事で言及されている「ドルジバ・パイプライン」は爆発の影響を受けていない。 ウクライナ情勢をめぐっては、情報戦も繰り広げられており、注意が必要だ。BuzzFeed Newsは、ファクトチェックを実施した。 拡散されているのは、まとめサイト「ツイッター速報」が2月19日に配信した《ロシア「ウクライナがパイプラインを爆破した」欧州向け世界最大のパイプラインが爆発》という記事だ。 Twitterの投稿は4700回以上リツイートされ、9100以上の「いいね」を集めるなど、広
フィンランド湾の海底ガスパイプライン損傷 破壊工作か
フィンランドとエストニアをつなぐ天然ガスパイプライン「バルチックコネクター」が敷設されている海域を航行するフィンランドの巡視船。国境警備隊提供（2023年10月11日撮影）。(c)Handout / various sources / AFP 【10月11日 AFP】フィンランドとエストニアをつなぐ天然ガスの海底パイプラインが8日、圧力の低下が確認されたため運転が停止された。フィンランドのサウリ・ニーニスト（Sauli Niinisto）大統領は10日、原因について、外的活動の可能性があるとの認識を示した。 パイプラインは「バルチックコネクター（Balticconnector）」と呼ばれ、フィンランド湾の海底に敷設。ロシアによるウクライナ侵攻を受けて昨年5月にロシア産天然ガスの輸入が停止されて以降、フィンランドにとって、液化天然ガス（LNG）を除けば唯一のガスの輸入手段となっている。 ノル
DevOps、CI/CDパイプラインでもコンテナは大活躍!
コンテナとDevOps 前回まで、本連載ではコンテナの登場から、その概要、コンテナの実行基盤であるコンテナエンジン「Docker」、そしてコンテナのオーケストレーションツール「Kubernetes」について紹介してきました。 今回は、コンテナが利用される場面に焦点を当て、「DevOps」と「CI/CDパイプライン」におけるコンテナの活用について紹介していきます。 DevOpsのはなし 冒頭からいきなり登場した「DevOps」と「CI/CD」ですが、これらはそもそも何でしょうか。まず、その概念から説明します。 DevOpsとは DevOps(「デブオプス」と読みます)とは、システム導入においてソフトウェア開発(Development)と運用(Operations)が互いに協力することで、システム開発のライフサイクルを短縮し、高品質なソフトウェアを提供し続けることを目的とした考え方です。 これ
2022年9月26日、ロシアからヨーロッパに天然ガスを運ぶパイプラインの「ノルドストリーム」で爆発が発生し、ガス漏れが起きたことが分かりました。各国が事態の究明を急ぐ中、複数の当局者から「破壊工作である」との見解が示されています。 Denmark, Germany and Poland warn of ‘sabotage’ after Nord Stream leaks | Financial Times https://www.ft.com/content/85f24052-10a6-48de-8eb1-7a6f8be95759 Blasts precede Baltic pipeline leaks, sabotage seen likely | AP News https://apnews.com/article/russia-ukraine-germany-berlin-00232
トレモログリッサンドなし ♯パイプライン ♯エレキインスト - rising_spiritのブログ
いらっしゃいまっせ～。ようこそ当ブログへ。 Welcome to my blog. さあ、9月がはじまりました。 まだ先週のエレキバンド演奏の余韻を引きずっておりますので（笑）ネタはソレ系でいきますかね。 自分が昔衝撃を受けた出来事。。。というと大げさですが、自分がいかに「固定観念に凝り固まっていたか」に気づかされた一曲があります。 それはご存じ（聞き飽きている方もだいぶ多い：笑）「パイプライン」です。 そう。テケテケテケ。。。（地方によってはデンデケデケデケというらしい）がエレキギターの代名詞にもなったあの曲です。 「ふ～ん。何をイマサラ、、、なにが衝撃なの？」というお話ですが。。。 まず、この「テケテケ。。。」バンドによって微妙に全然違います。 ■シャンティーズ 「本家」 www.youtube.com なんかこう。。。プチプチ感がするというか（笑 ■アストロノウツ www.youtu
パイプライン処理の限界と並列処理 パイプライン処理は、演算器を5～10段程度のパイプラインで構成し、毎サイクル、新しい入力データを供給してやるという構造になっている。このため、演算パイプの1段目がi番目の命令の入力データの処理を行っているサイクルに、演算パイプの2段目はi-1番目のデータを処理し、3段目はi-2番目のデータを処理しているというように動作する。 このため、ベクタが十分に長い場合は、パイプラインの長さだけの演算が並列に実行でき、スカラ計算機に比べて5～10倍程度の性能が実現できる。 天文学の重力多体問題のように固定のより長い処理を行う場合は、長いパイプラインが作れ、もっと性能を高めることができるが、汎用の処理を行う場合はそうもできない。また、直前の演算の結果を使う演算は、直前の命令の演算結果がパイプライン演算器から出てくるまで待たないと演算を開始できず、長いパイプラインの演算器
シリア全土で停電、パイプラインへの「テロ攻撃」か
シリアの首都ダマスカス近郊で炎上するパイプラインの消火活動に当たる消防隊。国営シリア・アラブ通信提供（2020年8月24日公開）。(c)AFP PHOTO / HO / SANA 【8月24日 AFP】シリア全土で23日夜、停電が発生し、政府は翌24日、エネルギーインフラを標的にしたとされる攻撃が相次いでおり、今回の停電も「テロリストら」によるパイプライン攻撃によるものだと非難した。 国営シリア・アラブ通信（SANA）は、ズハイル・ハルブートリー（Zuhair Kharboutli）電力相が、23日夜にダマスカス郊外のパイプラインで起きた爆発が「シリア全土での停電を招いた」と発表したと伝えた。 また、アリ・ガーニム（Ali Ghanem）石油鉱物資源相は、アドラ（Adra）とドゥマイル（Dmeir）の間で発生したガスパイプラインの爆発は「テロ攻撃によるものだ」と発表したが、それ以上の詳細は
Security-JAWS#29 AWS Summit Tokyo 2023�オンデマンド配信を楽しむためのセキュリティ関連トピックご紹介
AWS Step Functions で機械学習パイプラインを構築する際の選択肢と、その定義・実行方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions で機械学習パイプラインを構築する際の選択肢と、その定義・実行方法 この記事は “Define and run Machine Learning pipelines on Step Functions using Python, Workflow Studio, or States Language” を翻訳したものです。 機械学習(ML)のパイプラインや有向非巡回グラフ(DAG)を定義して実行する際には、様々なツールが利用可能です。一般的な選択肢としては、 AWS Step Functions、Apache Airflow、KubeFlow Pipelines(KFP)、TensorFlow Extended(TFX)、Argo、Luigi、Amazon SageMaker Pipelines などがあり
（ＣＮＮ） ロシアから欧州にバルト海経由で天然ガスを送る海底パイプライン「ノルドストリーム」が破壊行為により破損したとみられる事案の調査で、米国が最新の水中音の解析技術による支援を検討していることがわかった。情報筋２人が明らかにした。 米海軍がスウェーデンとデンマークから「ソナーシグネチャー」と呼ばれる特徴的な水中音の提供を受けて解析すれば、パイプラインの爆発当時に付近に何があったのかや爆発の原因について、より詳細な情報が得られる可能性がある。情報筋によると、多くの国がこうした技術を有するものの、米国のシステムは最も進んでいるという。 水中音の解析は水中での現地調査と並んで重要になるとみられる。当局者によると、衛星写真による調査はガス漏れ発生前の数日間に雲が出ていた影響で難しそうだという。 ただ、米国の支援がどれほど有益となるかは録音の質に左右される。情報筋によると、スウェーデンやデンマー
本記事では、様々なシステムからデータを収集・蓄積・加工してデータ分析用に提供するデータパイプラインにおいて、処理の単位を考える上での考慮すべき点をいくつか書き殴ってみようと思います（書き殴りなので重大な抜けはあると思います）。 ここでの処理の単位というのはちょっと曖昧ですが、外部から呼び出されるスクリプトをどの単位で書くかということを指してると思ってください。Airflowを使っていればタスクを、JP1を使っていればジョブをどの単位にするかということと言い換えても良いかもしれません。 処理の単位を決める観点は複数あり、要件や制約に応じて判断するものなので、常にこうすべきという方針があるわけではないことはご了承ください。 1. 想定する処理内容 具体的な例がないと説明しづらいので、以下のようなシステムAとシステムBからデータを取得して、汎用的に分析に利用可能なテーブルを作成し、その後に特定の
AWS CodePipeline（以下、CodePipeline）は GitHub と連携した場合、通常は Push 時にパイプラインが実行されますが、Push 以外のイベント時にパイプラインを実行したい場合もあります。例えば、特定のタグを付けたり、Pull Request 作成時やコメントをつけた場合などです。 Push 以外のイベントでパイプラインを実行したい場合は CodePipeline の Webhook を設定する方法がありますが、イベントのフィルタを書いたり動作検証するのが面倒です。 GitHubのpush以外のWebHookイベントからCodePipelineを発火させる - Qiita Github の Pull Request がマージされたときに CodePipeline を発火させる - Qiita そこで本記事は GitHub Actions から CodePip
CI/CDパイプラインをコード化することで継続的な構築・メンテナンスを可能にするPipeline as Codeという取り組みが注目を集めている。システム開発で当たり前になったコードのバージョン管理や自動テスト・実行環境のメンテナンスがCI/CDパイプラインにも及んでいるのだ。 本セッションでは、NTTコミュニケーションズの杉野博徳氏が、自分たちのチームで取り組んできたPipeline as Codeについて解説した。杉野氏は、NTTコミュニケーションズの社内向けSREという立場で、3年にわたって自分たちと複数のアプリケーション開発チームのCI/CDパイプラインを構築・メンテナンスしてきた。開発チームなどで継続的デリバリーの環境構築・メンテナンスに取り組むエンジニアにとって役立つ事例となるだろう。 CI/CDパイプラインで考慮すべき3つのポイント NTTコミュニケーションズ株式会社 イノベ
Webアプリケーションのデプロイを簡単にする新サービスAWS App Runnerがリリース！AWS Copilotでデプロイ＆CI/CDパイプライン構築してみた | DevelopersIO
Webアプリケーションのデプロイを簡単にする新サービスAWS App Runnerがリリース！AWS Copilotでデプロイ＆CI/CDパイプライン構築してみた コンサル部のとばち（@toda_kk）です。 Webアプリケーションのデプロイを劇的に簡単にする、AWS App Runnerというサービスがリリースされました！ すでに本ブログDevIOでも、いくつか記事が上がっています。 どういったサービスなのか、機能の紹介や基本的な使い方については上記をご参照いただきたいと思います。 App Runnerを利用する方法として、マネジメントコンソールやAWS CLIの他に、ECSデプロイツールの1つであるAWS Copilotがサポートされています。 今回は、Copilotを用いたApp Runnerのサービスデプロイについて、何ができるのか少し深掘りしてみます。 すでにワークショップやサン
ロシアの国営天然ガス会社ガスプロムは2日、欧州向けガスパイプライン「ノルドストリーム」の稼働停止を延長すると発表した。停止は3日朝までとしていたが、ガスタービンの保守における技術的な問題が見つかったと主張している。ガス不足懸念が強まっている欧州各国の調達に影響が及ぶ。同社の発表によるとガスタービンにかかわる圧縮ユニットの保守点検中、回線接続部にオイル漏れなどの損傷を発見し、修理が完了するまでパ
海底パイプラインのガス漏れめぐり 米ロが激しい応酬 | NHK
ロシアとドイツを結ぶ海底パイプラインのガス漏れをめぐり、プーチン大統領が欧米による破壊工作だと一方的に非難したのに対し、アメリカのバイデン大統領は、ロシアがうそを広めていると反論し、激しい応酬となっています。 バルト海を経由して、ロシアとドイツを結ぶ天然ガスパイプライン「ノルドストリーム」では、9月下旬、ガスが漏れているのが相次いで確認されました。 これについてロシアのプーチン大統領は9月30日、演説で「アングロサクソンの人々にとって、制裁だけでは十分ではなく、破壊工作に移行した」と述べ、欧米による破壊工作だと一方的に非難しました。 これに対して、アメリカのバイデン大統領は30日、ホワイトハウスで演説し、ガス漏れについて「意図的な破壊工作だ」としたうえで、「ロシアはうそを広めている。プーチンの言っていることに耳を傾けてはならない」と反論し、米ロ間で激しい応酬となっています。 ノルドストリー
2021年5月9日にランサムウェア攻撃により操業を停止したアメリカ最大の石油移送パイプライン企業Colonial Pipelineが操業を再開すると発表しました。 Colonial announces pipeline restart, says normal service will take 'several days' https://www.nbcnews.com/tech/security/colonial-announces-pipeline-restart-says-normal-service-will-take-seve-rcna917 Colonial Pipeline Begins Restart: Latest News on the Shutdown - The New York Times https://www.nytimes.com/2021/05/12/b
シェルスクリプトで「パイプライン並列化」をガチでやってみた 〜 パイプ＋並列処理でCPUの最大効率を引き出す知識 - Qiita
はじめに シェルスクリプトはコマンドをパイプでつなぐだけで簡単にパイプライン並列化を行うことが出来ますが、効率よく並列処理を行えるかどうかは別の話です。ボトルネックやオーバーヘッドがあるので単純にパイプでいくつもコマンドをつないでいくだけで簡単にどこまでも効率よく並列処理が行われるなんて事は技術的にありえません。そんなに簡単なら他の言語でも採用しているはずです。この記事ではシェルスクリプトで「何も考えずに」パイプでコマンドを多数つなげるスタイルが CPU 性能を効率よく使う上でのアンチパターンであることを示し、パイプで CPU を効率的に使ってパフォーマンスをあげたい人が知らなければいけないパイプライン並列化の重要な基礎知識とtime コマンドの読み方を解説します。 コマンドをパイプでつないで並列処理を行うパイプライン並列化は簡単に使えますが、並列処理の手法の中でおそらくもっとも制御が難し
0. はじめに こんにちは。都内でエンジニアをしている、@gkzvoiceです。Gitlab RunnerとArgo CDを使って、GitOpsの考え方を取り入れたCI/CDパイプラインを構築したのでそのふりかえりをします。構築する当初、そもそもなぜGitOpsという考え方が台頭したのか？について分からず、調べたので、併せてお話しできればと思います。目次は以下のとおりです。 0. はじめに 0-1. 前提 0-2. 2つのCDの個人的なメモ 1. GitOpsとはなにか？ 1-1. GitOpsの個人的なメモ 2. そもそもなぜGitOpsという考え方が台頭したのか？ 2-1. CIOpsが抱えていた課題とはなにか？ 3. サンプルのGitOpsスタイルなCI/CDパイプラインの構成図とその技術構成 3-1. サンプルのCI/CDパイプラインの技術構成 3-2. サンプルのCI/CDパイプ
![[Gitlab RunnerとArgo CD使用]GitOpsスタイルなCI/CDパイプラインを構築したのでふりかえる](https://cdn-ak-scissors.b.st-hatena.com/image/square/c591280a84472719a052b605ae4043a0b9439fe6/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--SLn7nJ2p--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGitlab%252520Runner%2525E3%252581%2525A8Argo%252520CD%2525E4%2525BD%2525BF%2525E7%252594%2525A8%25255DGitOps%2525E3%252582%2525B9%2525E3%252582%2525BF%2525E3%252582%2525A4%2525E3%252583%2525AB%2525E3%252581%2525AACI%25252FCD%2525E3%252583%252591%2525E3%252582%2525A4%2525E3%252583%252597%2525E3%252583%2525A9%2525E3%252582%2525A4%2525E3%252583%2525B3%2525E3%252582%252592%2525E6%2525A7%25258B%2525E7%2525AF%252589%2525E3%252581%252597%2525E3%252581%25259F%2525E3%252581%2525AE%2525E3%252581%2525A7%2525E3%252581%2525B5%2525E3%252582%25258A%2525E3%252581%25258B%2525E3%252581%252588%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Agkz%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2phcXJsSlBfa0RFRVlqa1hzcXZnY295dzVRTE9jYjFqM0RBeEROZWc9czI1MC1j%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ランサムウェア集団摘発へ１１億円の賞金、パイプライン攻撃で米国務省
AWS CloudFormation 向け TaskCat CI/CD パイプライン
JavaScript/TypeScript でお手軽パイプライン - Qiita
Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part3
機械学習で「メリットが分かりづらい」と思われがちなパイプラインを分かりやすく解説 - Qiita
データパイプラインバッチ設計で私が考えること
パニック買いでガソリン価格急騰、売り切れ続出 米石油パイプライン攻撃受け
プーチン、歴史的な大失態か…中露・巨大ガスパイプライン開通がロシア経済を傾ける
SageMakerの推論パイプラインについて調べてみた | DevelopersIO
現場が考えるべきセキュリティとは ～ソフトウェアセキュリティが直面している4つの問題と、ソフトウェアパイプラインを安全にする「GitOps」 | gihyo.jp
「欧州向け世界最大のパイプラインが爆発」ウクライナめぐる不正確な情報、まとめサイトが拡散
ソフトウェアサプライチェーンセキュリティ：ゴールデンパイプラインへの道のり #aqua #セキュリティ #ソフトウェアサプライチェーン - クリエーションライン株式会社
ロシアとドイツを結ぶ「ノルドストリーム」のパイプラインで複数の爆発とガス漏れ発生、破壊工作の可能性も
コンピュータアーキテクチャの話(414) パイプラインの考え方が発展して生まれた並列コンピュータ
学習・推論パイプラインを構築する上で大切にしていること
米、最新の水中音解析技術で支援検討 バルト海のパイプライン破損調査
データパイプラインにおける処理の単位 - Qiita
GitHub Actions から AWS CodePipeline のパイプラインを実行する - 本日も乙
CI/CDパイプラインをコード化する「Pipeline as Code」とは？ 構築・メンテナンスを実現する5ステップ
ロシア国営ガスプロム、欧州向けパイプラインの停止延長 - 日本経済新聞
ランサムウェアで操業停止したアメリカ最大の石油パイプラインが操業再開
[Gitlab RunnerとArgo CD使用]GitOpsスタイルなCI/CDパイプラインを構築したのでふりかえる