タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
(You can read this article in English.) Ruby の開発版にパイプライン演算子（pipeline operator）が試験的に導入されましたが、いろいろあってプチ炎上になっています（チケット）。 せっかくの機会なので、パイプライン演算子の歴史を調べてみました。付け焼き刃の調査なので、間違ってたら教えてください。 パイプライン演算子とは こんな感じのものです。 x |> f |> g |> h # h(g(f(x))) と同じ意味 h(g(f(x))) という関数適用の式は、関数が呼ばれる順序（f→g→h）と、プログラムの字面上の順序（h→g→f）が逆でわかりにくいとされます。この問題は、特に、関数が大きくなったときに顕著になります。 wonderful_process_h( marvelous_process_g( fantastic_process
パイプライン指向JSON処理プログラミング言語 jq - 檜山正幸のキマイラ飼育記 (はてなBlog)
jq（https://stedolan.github.io/jq/）の紹介では、「JSON処理のワンライナー〈一行野郎〉としてめちゃくちゃ便利！」とアピールするのが定番です。もちろんそれは本当で、「めちゃくちゃ便利！」です。が、実は jq は、ワンライナー記述にとどまらない、かなり本格的なプログラミング言語です。 JSON処理のためのDSL〈Domain Specific Language | 領域特化言語〉なので、汎用言語ではありません。しかし、汎用言語が備えている言語機能の一部（関数定義、モジュールシステムなど）を jq も持っています。また jq は、独特で楽しいプログラミング・パラダイム -- “パイプライン指向”に基づいて設計されています。 この記事では、ワンライナーを超えた jq の使い方と、プログラミング言語としての jq の特徴を紹介します。長い記事になってしまったので、一
AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに
AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに Amazon Web Services（AWS）は、クラウド上でアプリケーションの初期コード、インフラ設定、ソースコードのリポジトリ、コードエディタ、ビルド／テスト／デプロイを実行するCI/CDパイプライなど、アプリケーションの初期設定から開発、デプロイ、そしてチームコラボレーション機能の一式をまとめて提供するサービス「Amazon CodeCatalyst」の正式サービス化を発表しました。 参考：［速報］AWS上で開発環境一式、フレームワーク、初期コード、IDE、ビルド環境、CI/CDなど提供する「Amazon CodeCatalyst」発表。AWS re:Invent 2022 複雑で手間がかかるクラウド開発環境を
サウジの原油パイプラインに無人機が攻撃
サウジアラビアは14日、国内を東西に走る原油パイプラインが無人機による攻撃を受けたと発表しました。これについてイランの支援を受けるイエメンの反政府勢力が攻撃を認める声明を発表し、敵対するイランとの間で緊張がさらに高まることが懸念されています。 サウジアラビア政府は「われわれは、イランが支援するイエメンの反政府勢力フーシ派の攻撃に直面している」として攻撃の背後にイランが関与しているという見方を強く示唆しました。 その後、フーシ派は、無人機７機を使った攻撃が成功したと主張する声明を発表しました。 このパイプラインは、ペルシャ湾の近くにある油田から西の紅海沿岸の港まで原油を運ぶもので、これによってホルムズ海峡を通らずに輸出することができる重要な施設です。 サウジアラビア政府は２日前の12日には、ホルムズ海峡の近くの海域でサウジアラビアのタンカー２隻が何らかの妨害行為をうけ、船体に大きな損傷を受け
パイプライン処理とは GUIは非常に直感的です。はじめて使うアプリであっても、なんとなくそれなりに動かせてしまうという点で、優れたインターフェイスと言えます。しかし効率を突き詰めると、軍配が上がるのはGUIよりもCLIでしょう。本連載の読者であれば、UnixライクなOSのCLIが持つパワーについては当然ご存知かと思います。 とはいえ、古典的なUnixコマンドの多くは、単体ではそれほど強力なものではありません。というのも、ひとつひとつのコマンドはシンプルに、特定の用途においてのみ上手く動作するよう設計されていることがほとんどだからです。こうしたコマンド群に無限のシナジーを与えるのが「パイプライン処理」です。標準入出力を通じて複数のコマンドを直列に繋げることで、複雑な処理をインスタントに組み立てることができるパイプラインは、まさにUnix哲学の体現であり、CLIの真髄はここにあると言ってもよい
ドイツのショルツ首相は22日、ロシアのプーチン大統領が、ウクライナ東部の親ロシア派が事実上、支配している地域の独立を一方的に承認したことを受けて、ロシア産の天然ガスをドイツに送る新たなパイプライン「ノルドストリーム2」の稼働に向けた手続きを停止する考えを示しました。 ショルツ首相は記者会見で、ウクライナ情勢について「状況は根本的に変わった」と指摘し、稼働に必要な手続きを停止するよう担当部局に指示したことでパイプラインは稼働できなくなると説明しました。 「ノルドストリーム2」をめぐってはウクライナ情勢が緊迫する中で、アメリカがロシアに対する制裁として稼働の停止を繰り返し強調し、ロシアとの経済的な結びつきの強いドイツの対応が問われていました。
ロシアとドイツを結ぶバルト海の天然ガスパイプラインで起きたガス漏れについて、ヨーロッパ側では、破壊工作が原因ではないかという見方が強まり、警戒感が広がっています。 バルト海の海底を経由してロシアとドイツを結ぶ天然ガスパイプライン、ノルドストリームについて、デンマーク軍は27日、3か所でガス漏れが確認されたと発表し、デンマークの外相は28日、「ガス漏れは爆発によるもので意図的な行為だ」と述べました。 また、EU＝ヨーロッパ連合の外相にあたるボレル上級代表も「意図的な行為」との見方を示し、ドイツのランブレヒト国防相も声明で「破壊工作の疑いがある」としてデンマーク側の調査に協力する姿勢を示すなど、破壊工作が原因ではないかという見方が強まっています。 さらに、ドイツの有力誌シュピーゲルは、アメリカのCIA＝中央情報局がパイプラインが攻撃されるおそれがあるとドイツ政府に事前に警告していたと伝えている
ウクライナのメディアは、27日午前1時半ごろ、ロシア軍が、北東部のハリコフのガスパイプラインを爆破したと伝えました。 ウクライナの政府機関がSNSに投稿した映像では、夜空に炎と煙が高く上り、大きく広がる様子が映っていて、大規模な爆発が起きた様子がうかがえます。 けが人の情報は明らかになっていません。 ロシア軍 ウクライナのインフラ施設に相次ぎ攻撃 また、首都キエフから南に30キロほど離れた都市では、27日未明、大規模な爆発がありました。 地元の州知事は、SNSを通して現地の石油貯蔵施設に対してロシア軍から攻撃があったと明らかにしました。 周辺には空軍の飛行場があり、そこでもロシア軍との戦闘が続いているということです。 また、ウクライナ政府の原子力関連機関によりますと、27日の未明、キエフ市内にある放射性廃棄物の貯蔵施設にロシア軍のミサイルが撃ち込まれたということです。 ウクライナのメディア
ナイジェリア・ラゴスで、宗教儀式に端を発した火災により、炎上した石油パイプラインで消火活動にあたる消防士ら（2019年12月5日撮影）。(c)PIUS UTOMI EKPEI / AFP 【12月8日 AFP】ナイジェリア・ラゴス北部の教会で5日、癒やしの儀式を執り行っていた牧師がガソリンを水と取り違え、男性に注いだところ、ろうそくの火が燃え移り、男性が焼死する事故があった。救急当局が明らかにした。 国家危機管理庁（NEMA）のイブラヒム・ファリンロイ（Ibrahim Farinloye）氏はAFPに対し、「牧師は水が入っていると思い込み、ガソリンで満杯となっているとは知らないまま、小さなたるを手に取った」と説明。「（たるの）中身を男性に注いで空にする際、近くのろうそくの火が燃え移り、2人は炎に包まれた」と述べた。 さらに、教会の火災は付近の石油パイプラインへと延焼し、パイプラインも炎上し
ロシアからドイツに天然ガスを送る主要なパイプライン「ノルドストリーム」は、11日から定期的な点検を理由に供給を停止しました。 ロシア側が経済制裁を科すドイツに揺さぶりをかけるため、点検終了後も供給を再開しないのではないかとの懸念が広がっています。 ノルドストリームはロシアからバルト海の海底を通ってドイツにつながる現在、ヨーロッパ最大規模の天然ガスパイプラインです。 このパイプラインを運営するロシアの国営ガス会社ガスプロムは、11日から定期的な点検を理由にロシアからドイツに向けた天然ガスの供給を停止しました。 点検は今月21日までの予定だとしています。 このパイプラインを巡っては、先月、ロシアからの供給量がおよそ60％削減されました。 ドイツ政府は暖房需要が増える冬に向けて十分な量を備蓄できないとして、国民や企業にガスの節約を求める異例の事態となっています。 こうしたことから、今回の定期点検
ノルドストリーム、3本のガスパイプラインが損傷 「前例ない」
９月２７日、ロシアと欧州を結ぶ天然ガスパイプラインを運営するノルドストリームは、３つのパイプラインが同じ日に損傷したと発表した。写真は「ノルドストリーム１」の関連施設。ドイツ・ルプミンで３月撮影（２０２２年 ロイター／Hannibal Hanschke） [モスクワ ２７日 ロイター] - ロシアと欧州を結ぶ天然ガスパイプラインを運営するノルドストリームは２７日、３つのパイプラインが同じ日に損傷したと発表した。こうした事例は「前例がない」としており、復旧の見通しは立っていない。
【ニューヨーク=後藤達也、中山修志】米石油パイプライン最大手のコロニアル・パイプラインは7日、サイバー攻撃を受けて全ての業務を停止したと発表した。メキシコ湾岸から米北東部までの大動脈で、東海岸の燃料消費の半分近くのシェアを占める。停止が長引けば国民生活や経済活動にも影響を及ぼす可能性がある。コロニアルは8日午後（日本時間9日未明）に声明を更新し、「（データ流出などと引き換えに金銭を要求する）ラ
工場自動化シム『shapez 2』正式発表。“圧倒的に好評”の前作から3Dグラフィックへと進化、多層的な工場建設やパイプライン輸送など新要素導入 - AUTOMATON
デベロッパーのtobspr Gamesは8月16日、工場自動化シミュレーションゲーム『shapez 2』を正式発表し、ゲームプレイ映像を公開した。本作の対応プラットフォームはPC（Steam）で、2024年に早期アクセス配信予定。 『shapez 2』は、2020年にリリースされSteamユーザーレビューにて「圧倒的に好評」ステータスを獲得するなど、非常に高い評価を受けた工場自動化シミュレーションゲーム『shapez』の続編だ。同ジャンルの作品のなかでも工場建設要素に特化し、比較的シンプルなシステムにて巨大工場を作れるゲームプレイはそのままに、本作では2Dから3Dグラフィックへと移行。これを活かした新たなメカニクスが導入されている。 本作では小惑星に工場を建設し、やがて複数の惑星にまたがる巨大な工場へと発展させていく。工場では、資源として抽出した幾何学図形を加工し、目的の図形を作成して、最
CI/CDパイプラインをポータブルにする「Dagger」をGo言語に対応させる「Go SDK」が発表されました。これによりGo言語でどこでも動くポータブルなCI/CDパイプラインの定義が可能になります。 Introducing the Dagger Go SDK: a new way to develop your CI/CD pipelines as code, and run them in containers anywhere. https://t.co/7riHAwUSMO pic.twitter.com/mEwrZySbLp — dagger (@dagger_io) October 25, 2022 CI/CDがローカルPCでもGitHubでもCircleCIでも実行可能 Daggerはソフトウェアのビルド、テスト、デプロイを行う一連のCI/CDパイプラインをポータブルにする
GitOps を使用したサーバーレス時代における最新の CI/CD パイプライン構築 | Amazon Web Services
Amazon Web Services ブログ GitOps を使用したサーバーレス時代における最新の CI/CD パイプライン構築 AWS コミュニティヒーローで、Datree.io の CTO 兼共同創設者、Shimon Tolts 氏によるゲスト投稿。彼は開発者向けのツールとインフラストラクチャが専門分野で、100％ サーバーレスの会社を運営しています。 近年、ソフトウェアの構築と配信の方法に大きな変化がありました。主にマイクロサービスに関するもので、コードを小さなコンポーネントに分割し、インフラストラクチャをコードとして使用し、Git を信頼できる唯一のソースとして利用することでこれらすべてを結び付けたのです。 この記事では、最新のソフトウェア開発の推移とさまざまな手段について説明しながら、サーバーレスの世界での選択可能なソリューションをご紹介します。さらに、現代にふさわしい便
はじめに ワークフローを作成、実行、監視するためのプラットフォーム「Airflow」が、近年人気を集めていて、多くの企業に利用されています。Airflow Summit 2022 のようなグローバルイベントも開催されるようになり、世界中から2000人以上のコントリビュータ（私もその1人）が貢献しているアツいプロジェクトです。 この記事で Airflow を使う意味と主要コンセプトを説明します。最後に、100行未満で実装できる本格的なデータパイプラインの実例をお見せしたいと思います。 Airflowとは 概要 Airflowは ワークフロー を作成、実行、監視するためのプラットフォームです。ここで言う「ワークフロー」は、依存関係にある複数の タスク を、下図のように繋いだ形で、パイプラインとして実行していくものと思ってください。 Airflowを使うと、より早く、よりロバストなワークフローが
皆さん，こんにちは！MLエンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編，パイプライン構築の話になります． tech.connehito.com はじめに 再掲になりますが，我々は以下の構成で今回の検索基盤を構築しています． 検索エンジン：Amazon OpenSearch Service データベース：Amazon Aurora データ同期（ETL）：AWS Glue ワークフロー・パイプライン：AWS Step Functions・Lambda・EventBridge 後編は，検索エンジンに定期的に安定してデータを同期するために構築しているワークフロー・パイプラインに関する内容になります（下図の全量データ同期パイプラインの部分）． 検索基盤全体のアーキテクチャー概略図 もう少し具体的には，OpenSearchのindexの管理方法について説明した後に
AWS知見共有会でTerraformのCI/CDパイプラインのセキュリティ等について発表してきました + GitHub新機能Push rulesについて - LayerX エンジニアブログ
先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表してきています。 イベントの動画もあります。 私の発表は 1:43 ぐらいからです。 この発表については資料と動画を見ていただければ！という感じで特に付け加えることもなかったのですが、イベントの開催後にGitHubから発表された新機能Push rulesがとても便利で、新たなベストプラクティスとなるインパクトがあると思ったので、この記事で紹介します。 Push rulesとは つい昨日発表された機能で、現在はpublic betaという状態です。なので、仕様変更と
MLOps: 機械学習における継続的デリバリーと自動化のパイプライン | Cloud アーキテクチャ センター | Google Cloud
デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
技術部セキュリティグループの水谷（@m_mizutani）です。最近はPCゲーム熱が再燃しており、今はCities: Skylinesに時間を溶かされ続けています。 クックパッドでは レシピサービス の継続的なサービス改善の他にも、生鮮食品販売プラットフォームの クックパッドマート やキッチンから探せる不動産情報サイト たのしいキッチン不動産 をはじめとする新しいサービス開発にも取り組んでいます。さらに内部的なシステムも多数あり、動かしているアプリケーションの数は300以上に及びます。これらのアプリケーションには多くのOSSパッケージが利用されており開発を加速させますが、同時にOSSパッケージのアップデート、とりわけ脆弱性の修正にも向き合う必要があります。 これまでクックパッドでは（重大な脆弱性が見つかった場合を除いて）各サービスを担当するエンジニアが事業や開発の状況にあわせてパッケージの
表1(翻訳者により追加) MLOpsにおいて、DevOpsから追加された項目 以下では，予測サービスとして機能するMLモデルのトレーニングと評価の代表的な手順を説明します． MLのためのデータサイエンスの手順 どのMLプロジェクトでも、ビジネスユースケースを定義して成功基準を確立した後、 MLモデルを本番環境にデリバリする過程には次の手順が含まれます。 これらの手順は手動で完了することも、自動パイプラインで完了することもできます。 データ抽出： MLタスクのさまざまなデータソースから関連データを選択して統合します。 データ分析： 探索的データ分析 （EDA） を 実行して、MLモデルの構築に使用可能なデータを把握します。 このプロセスにより、次のことが起こります。 モデルが期待するデータスキーマと特性を理解します。 モデルに必要なデータの準備と特徴量エンジニアリングを特定します。 データの
1230kmのパイプラインも作ったが…ロシア依存だったドイツが超強気に急変した本当の理由 ウクライナ戦争は｢エネルギー政策の大転換｣の言い訳に
エネルギー部門の高騰は石油だけではない。現在、ドイツの平均的な家庭のエネルギー代は、前年比でなんと5割も増えている。特に天然ガスの市場価格は、前年比でほぼ2倍。ドイツでは地域暖房に天然ガスを使っている自治体も多く、平均家庭のガス代の負担は、日本円にすると年間で約10万円の増加になるだろうという。 さらに石炭も需要の急増で、価格は現在、前年比でほぼ3倍に達し、それら石炭やガス価格の影響をもろに受けた電気代が暴騰中である。ドイツでは通常、多くの電力会社が1月から新料金に切り替えるが、今年の電気代はすでに平均6割も上がっている（特に新電力が、天井知らずの値上げになっている）。しかし、それでも間に合わず、例外的に4月に再値上げを計画している会社もあるという。 「極度のロシア依存」のツケがきている ドイツではたいてい、電気代は前年の実績から弾き出された金額を12等分して毎月支払い、翌年に、実費との差
SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog
こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに
はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事だった。 Reverse ETL — A Primer. Data infrastructure has gone through an… | by Astasia Myers | Memory Leak | Medium 彼女はどんなものをリバース ETL と呼んでいるかというと Now teams are adopting yet another new approach, called “reverse ETL,” the process of moving dat
AWS Lambdaのアプリケーション作成を使ってCI/CDパイプラインを一気に構築 - Qiita
AWS Lambdaのアプリケーション作成とは AWS Lambdaのアプリケーション作成機能を利用してLambda関数を作成すると、Lambda関数自体の他に Lambda関数のソースコード等を管理するGitリポジトリとしてCodeCommit CodeCommitのmasterブランチの更新を契機にLambda関数へのデプロイを行うCodePipeline 等々、CI/CDパイプライン実現のためのAWSリソースが同時に作成されます。 Lambda関数自体は手軽に作ったものの、次のステップとしてCI/CD環境を構築するのは腰が重く、ソースの更新はマネジメントコンソール上で実施している・・・といったケースを改善するアプローチとして、このようなCI/CD環境をセットで構築する機能がリリースされたそうです。 Lambdaのマネジメントコンソール画面では、これらAWSリソースをアプリケーションと
データ分析コンペで役に立つ特徴量管理方法と学習・推論パイプライン【コネヒトマルシェLT書き起こし】 - コネヒト開発者ブログ
こんにちは！MLエンジニアの野澤（@takapy0210）です！ 気づけば2019年の営業日も残り20日強ですね。年始に立てた個人的な目標が1/5しか達成できていないことに先日気付いたので、残りの期間で1つくらいは達成できると良いですね、という他人行儀な振る舞いをしたくなっている今日この頃です。 さて今回は、11月5日に開催した(コネヒトマルシェ)でLTした内容の全文書き起こしです。参考資料とあわせてご紹介できればと思います。 全文書き起こしは初の試みなので「ふ〜ん。なるほど〜」ぐらいのお気持ちで見ていただければと思います。 発表資料はこちらです。 Kaggleとは Kaggleと書いて「カグル」と読みます。日本でも最近は定着してきましたが、Kaggleに参加している方を「カグラー（Kaggler）」とも呼びます。 「The Home of Data Science & Machine L
CI/CD パイプラインを最速で組み立てるための 4 つのポイント / Four points to assemble the CI CD pipeline fastest
CI/CD Test Night #4 の登壇資料です。 #cicd_test_night
事業会社においてBIやレポート用の分析を担当しているが以下のような状況に該当する人に向けたデータパイプライン構築の入門のための資料です 🧑🏻🦱「BigQuery等のView機能を活用しているが、データの流れを追うのが困難な状態になってしまっている、クエリの実行に時間がかかりBIツールが使いづらい」 👩🏻「専任のデータエンジニアがおらず、前処理をpython等で処理したりするのがリソース調整的に大変」 👱🏻♂️「ロードされたデータに重複があったり、過不足があったりしてデータの品質が担保できていない」 🧑🏻🦰「Digdagやluigiといったデータ変換ツールの独自の仕様を理解しきれておらず使いこなせていない」 ※現時点ではBigQueryを中心に記事を構成してあります、SnowflakeやAmazon Redshift等の様々な分析基盤でもdbtは対応可能です
ECS用のCDパイプラインに対する考察
それでは、1パターンずつ構成を確認していきます。 1. 全部GitHub Actionsでやる GitHub Actionsでパイプライン全体を構築する場合は、以下の図のような構成になります。 ちなみに、GitHubのDeploymentsを使用することで、Slackと組み合わせてのChatOpsや、任意のコミットのデプロイを実行などいろいろと便利になります。 ですが、Deployments APIをパイプラインで利用するには、Actionsのトリガーの条件を変えたり、ECSへのデプロイの成否に応じてAPIを使ってDeploymentのステータスを更新したりする処理が必要になり、少々パイプラインが複雑化してしまいます。 なので、今回の趣旨とちょっとずれているため、各パターンには記載していません。 では、以下で処理を順に説明していきます。 Image Build 図中の Build Imag
AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO TECH BLOG
ZOZOテクノロジーズ推薦基盤チームの寺崎（@f6wbl6）です。ZOZOでは現在、米Yale大学の経営大学院マーケティング学科准教授である上武康亮氏と「顧客コミュニケーションの最適化」をテーマに共同研究を進めています。 推薦基盤チームでは上武氏のチームで構築した最適化アルゴリズムを本番環境で運用していくための機械学習基盤（以下、ML基盤）の設計と実装を行っています。本記事ではML基盤の足掛かりとして用いたAI Platform Pipelines (Kubeflow Pipelines) の概要とAI Platform Pipelinesの本番導入に際して検討したことをご紹介し、これからKubeflow Pipelinesを導入しようと考えている方のお役に立てればと思います。記事の最後には、推薦基盤チームで目指すMLプロダクト管理基盤の全体像について簡単にご紹介します。 上武氏との共同研
2021年5月7日、米国の石油パイプライン企業Colonial Pipelineはランサムウエアによる影響をうけ業務全体を一時停止する措置を講じたことを発表しました。停止された輸送サービスは12日に再開され、15日までに供給網全体が復旧されました。ここでは関連する情報をまとめます。 予防的措置でパイプライン全停止（2021/5/7） 被害に遭ったのはメキシコ湾岸の精製業者から米国南東から北東(NY港、NY空港まで)にかけ約8,850㎞のパイプラインを運用する会社。ガソリン、ディーゼル、ジェット燃料など1日に250万バレル（米東海岸で消費される半分近くのシェア 約45%）を輸送している。 サイバー攻撃は米国時間で5月6日に始まり、ランサムウエアによりColonial Pipeline社内の一部のITシステムが影響を受けた。同社が攻撃事実に気づいたのは7日。わずか2時間で100GB近いデータ窃
メキシコ湾に「炎の目」が出現 海中パイプライン火災
（ＣＮＮ） メキシコ湾の石油掘削施設付近で火災が起き、海上に巨大な炎の輪が出現した。メキシコの国営石油企業ペメックスによると、約５時間半後に鎮火した。 巨大な輪はＳＮＳ上で「炎の目」と呼ばれ、オレンジ色の溶岩にも似た画像が拡散した。 現場は同国南東部カンペチェ沖にあるペメックスの海上掘削施設付近。同社によると、海中パイプラインからのガス漏れが原因で、２日午前５時１５分ごろに出火した。施設から避難した人や負傷者はいなかったという。 ロイター通信によれば、メキシコの安全規制当局は「石油漏れは起きなかった」とツイートしたが、海上で何が燃えたのかは説明していない。 ロイター通信によれば、ペメックスは直径約３０センチのパイプラインの栓を閉めたと述べ、原因を調査すると表明した。同社の施設では過去に何回も大規模な事故が起きている。
AWS Githubからソースを取得し、ECS(Fargate or EC2)にデプロイするパイプラインを作成する②（デプロイまで） - Qiita
version: 0.2 phases: pre_build: commands: - echo Logging in to Amazon ECR... - echo $AWS_DEFAULT_REGION - $(aws ecr get-login --no-include-email --region $AWS_DEFAULT_REGION) build: commands: - echo Build started on `date` - echo Building the Docker image... - docker build --no-cache -t $IMAGE_REPO_NAME:$IMAGE_TAG . - docker tag $IMAGE_REPO_NAME:$IMAGE_TAG $AWS_ACCOUNT_ID.dkr.ecr.$AWS_DEFAULT_REGI
JenkinsとAWS CodeBuildおよびAWS CodeDeployとの連携によるCI/CDパイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ JenkinsとAWS CodeBuildおよびAWS CodeDeployとの連携によるCI/CDパイプラインの構築 この記事は、オープンソースの自動化サーバーである Jenkins を用いて、AWS CodeBuild のビルド成果物を AWS CodeDeploy でデプロイし、機能的なCI/CDパイプラインを構築する方法を説明します。適切な設定を行うことで、GitHubリポジトリにプッシュされたソースコードの変更を元にCI/CDパイプラインが起動され、自動的にCodeBuildに送られ、その出力がCodeDeployによってデプロイされることを実現できます。 ソリューションの概観 このパイプラインは、ソースコードをコンパイルするフルマネージドなビルドサービスを作成します。また、このパイプラインはCodeDeployが本番環境に自動的に
GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する | Amazon Web Services
Amazon Web Services ブログ GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する Amazon Elastic Container Service (Amazon ECS) は、フルマネージド型のコンテナオーケストレーションサービスであり、コンテナ化されたワークロードを大規模かつ簡単に運用できます。 また、Amazon Route 53、AWS Identity and Access Management (IAM)、Amazon CloudWatch などの他の主要な AWS のサービスと統合します。 コンテナの管理に使用しているプラットフォームに関係なく、コンテナ化されたアプリケーションにとって効果的かつ効率的な CI/CD パイプラインを確立することは重要です。 この投
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回は社内でPyTerrierを採用して文書検索BatchをPythonで実装したので、PyTerrierの紹介とPyTerrierで日本語検索を実装する方法を紹介します(日本語でPyTerrierを扱う記事は多分初?)。 PyTerrierとは 弊社でのPyTerrier利用 PyTerrierで日本語検索 Phrase Queryの注意点 まとめ We're hiring !!! PyTerrierとは Terrierのロゴ PyTerrierは、Pythonでの情報検索実験のためのプラットフォームです。 JavaベースのTerrierを内部的に使用して、インデックス作成と検索操作を行うことができます。基本的なQuery RewritingやBM
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（前編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し，新しく検閲システムを開発したお話になります． こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります． ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい． tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので，前編と後編の2つに分けて紹介することにします． 前編：SageMaker TrainingJobを用いたモデル学習を行い，SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak
日本語におけるOCR Hwalsuk Lee氏：ここまでテキスト検出のお話をしてまいりました。これからは日本語におけるテキスト認識についてお話ししようと思います。 先ほど言いましたように、日本語というのはテキスト認識において、英語に比べると何百倍ものたくさんの文字を扱う必要があります。 そのため、たくさんのテキスト認識の論文を検証いたしました。 Scene Text Recognition（STR）とは何でしょうか？ STRというのは、文字列を画像パッチ入力から認識するタスクです。 この場合は「UNITED」という文字列を認識するということになります。 STRについてはこれまでいろいろな研究がされてきました。ですが我々がその評価内容を見たとき、たくさんの問題を発見しました。STR手法の比較においてどんな問題があるのでしょうか。 こちらは先行研究の手法のリストです。このリストをご覧いただくと
こんにちは、ミラティブUnityエンジニアの牧野です。 ミラティブアプリの3Dアバター（エモモ）の描画にはUnityを利用しており、その描画パイプラインをURPに移行した内容を紹介していきます。 はじめに URP (Universal Render Pipeline) とは以下のような特徴を持った、描画パイプラインの公式テンプレートです。 モバイル端末や家庭用ゲーム機、PCなど幅広いプラットフォームに最適化されている ShaderGraphやPost-processingなど、アーティスト向けのワークフローを提供している learning.unity3d.jp 移行前はビルトインレンダーパイプラインでしたが、以下のような理由でURPに移行ことにしました。 Unity本体のバージョンと独立して管理できるため、本体更新によって見た目が影響を受けるのを抑えられる 内部実装が確認でき、必要に応じて
「Kubernetes Native」なCI/CDとは何か――クラウドネイティブ時代に至る歴史、主要ツール、パイプラインとフローの在り方
「Kubernetes Native」なCI/CDとは何か――クラウドネイティブ時代に至る歴史、主要ツール、パイプラインとフローの在り方：Cloud Nativeチートシート（5） Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する連載。今回は、Kubernetesの利用を前提とした「Kubernetes Native」なCI/CDについて踏み込んで説明します。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
パイプライン演算子の歴史 - まめめも
第723回 複雑なコマンドパイプラインを簡単に組み立てる方法 | gihyo.jp
独首相 ロシア産天然ガス パイプライン稼働手続き停止する考え | NHK
ロシア ドイツ結ぶパイプラインガス漏れ 破壊工作の見方強まる | NHK
ロシア軍 “ハリコフのガスパイプライン爆破” 現地メディア | NHK
聖水と間違えガソリン注がれた男性焼死、パイプラインに引火も ナイジェリア
ロシア ドイツに天然ガスを送る主要パイプラインの供給を停止 | NHK
米最大の石油パイプライン停止 サイバー攻撃で - 日本経済新聞
Go言語でポータブルなCI/CDパイプラインが定義可能に。「Dagger」がGo SDKを発表
Airflowはすごいぞ！100行未満で本格的なデータパイプライン - Qiita
ニアリアルタイムで同期される検索基盤 ~パイプライン構築編~ - コネヒト開発者ブログ
Trivy + AWSによるコンテナイメージ脆弱性検査パイプラインの構築 - クックパッド開発者ブログ
MLOps: 機械学習における継続的デリバリとパイプラインの自動化 を翻訳してみた - Qiita
リバースETLはデータパイプラインの何を変えるのか - satoshihirose.log
dbtで始めるデータパイプライン構築〜入門から実践〜
米石油パイプライン企業へのサイバー攻撃についてまとめてみた - piyolog
検索エンジンPyTerrierを使った日本語検索パイプラインの実装 - エムスリーテックブログ
精度の高い日本語OCRを実現する技術 LINE BRAIN OCRのパイプラインを解説
Unityの描画パイプラインをURPに移行しました - Mirrativ Tech Blog
typescriptbook.jp
www.tv-asahi.co.jp
mainichi.jp
cinemandrake.com
note.com/ananda123
www.nicovideo.jp