パイプラインサイバー攻撃、身代金の大半奪還 米司法省 - 日本経済新聞
【ニューヨーク=中山修志】米司法省は7日、米東海岸の燃料パイプラインがランサムウエア（身代金ウイルス）による攻撃を受けて停止した問題で、犯行グループに支払われた身代金の大半を奪還したと発表した。会見したモナコ司法副長官は「ランサムウエア攻撃は規模と巧妙さを増している」と指摘し、企業や組織にセキュリティー強化を求めた。米コロニアル・パイプラインが運営する燃料パイプラインは5月初旬に犯罪集団「ダー
【ニューヨーク=中山修志】米司法省は7日、米東海岸の燃料パイプラインがランサムウエア（身代金ウイルス）による攻撃を受けて停止した問題で、犯行グループに支払われた身代金の大半を奪還したと発表した。会見したモナコ司法副長官は「ランサムウエア攻撃は規模と巧妙さを増している」と指摘し、企業や組織にセキュリティー強化を求めた。米コロニアル・パイプラインが運営する燃料パイプラインは5月初旬に犯罪集団「ダー
組み込みアルゴリズムと推論パイプライン Amazon SageMaker では組み込みアルゴリズムが提供されており、解きたい問題にフィットするものがあれば、MLアルゴリズムに関するコードを書かずに手軽にMLモデルを作れるようになっています 組み込みアルゴリズムに引き渡す入力形式はアルゴリズムごとに決まっており、基本的には、保有するデータを整形する前処理が必要です こうした 前処理は学習／推論で同じ処理なため、共通化されていることが望ましい ということで、SageMaker では前処理アルゴリズムをコンテナ化して学習／推論時に実行させる仕組みが提供されています 前処理コンテナでは SageMaker でのコンテナの挙動を踏襲し、fit でインスタンス上に前処理コンテナを展開してデータ整形／S3バケットへ出力したり、deploy でインスタンス上に前処理コンテナを展開してリクエストデータ整形／
こんにちは、@tenjinです。 本日12月3日は、待ちに待った映画「THE FIRST SLAM DUNK」の公開日ですね！ 僕は初日の座席指定券を予約してあったので、この後日比谷の映画館まで観に行ってきます！ ちなみに最近のお気に入りスーパーは、長野県のツルヤです。 道民なので、そもそも長野県は空気が肌に馴染む
【シリコンバレー=白石武志】米最大規模の石油パイプラインがサイバー攻撃によって停止した事件で、「DarkSide（ダークサイド）」と呼ばれるハッカー集団が犯行声明を出した。「ランサムウエア」を使ってデータを盗み、金銭を要求する犯罪集団でありながら、被害者向けの電話窓口を備えるなど企業のような振る舞いをすることで知られる。背景に浮かび上がるのは、サイバー攻撃がある種の産業となりつつある実態だ。
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
続・ムダな仕事を増やしてませんか？ ~ MLの実行パイプラインでworker間の重複作業をなくす ~ - エムスリーテックブログ
DALL-E作成の「worker間で重複タスクを確認しながら作業を進める」イメージ図です こんにちは。AI・機械学習チーム（以下AIチーム）の池嶋(@mski_iksm)です。 仕事で、誰か一人がやればいい作業を、気がついたら同僚と同じタイミングでやっていた、という経験はありませんか？ せっかく頑張って作った機能が実は被っていてムダになってしまった。。。というのは誰もが悲しいものです。 そうならないように作業チケットを切るなどしてタスクを中央管理する方法もありますが、もっとゆるくやりたいこともあるかと思います。 そういうときは一言「この作業私がやりますね！」と声掛けをすれば済みますね。 以前のブログで、私たちはgokartを使ったMLパイプラインの効率化について掘り下げました。 具体的には、「すでに完了したタスクをスキップする」と「タスクの実行順序をできるだけランダムにする」という2つの戦
リリース戦略を支えるCI/CDパイプライン | ドクセル
スライド概要 マイクロサービスアーキテクチャを採用したプロジェクトにおいて、複数のチームが協力してリリーストレインを進める際に、自律的かつ効率的なリリース調整を行う方法を紹介します。 リリース戦略においてマイクロサービスアーキテクチャの特性を考慮し、チーム間のコミュニケーションを最小限に抑えつつ、効率的なプロセスを実現するためのアプローチおよびそれを支えCI/CDのワークフローに触れます。 イベントページはこちら https://testnight.connpass.com/event/311263/
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
Kedro を用いた分析コンペ向けのデータパイプライン構築
Kaggle Advent Calendar 2019 の9日目の記事です。 一応自己紹介を書いておくと、 Kaggle は mhiro2 という名前でここ1年くらい趣味としてやっています。 本業では、 MLOps の一環として、 GKE や BigQuery, Cloud Composer, MLflow などを活用した自社向けの機械学習基盤開発をやっています。 ML やデータ分析の理論や技術そのものよりは、 ML のサイクルを円滑に回すためのシステムデザインやアーキテクチャなどの仕組み化に関心があります。 はじめにKaggle をはじめとした分析コンペに取り組んでいる方の中には、自前のパイプラインを構築されている方も多くいらっしゃるかと思います。そもそもパイプラインとは何ぞや、という話ですが、EDA や特徴量のエンコードなどの前処理はもちろん、複数のモデルやパラメータでの学習やアンサン
パイプライン爆破、関与を否定 ゼレンスキー氏
モルドバ・ブルボアカで開かれた欧州政治共同体（EPC）の会合に到着したウクライナのウォロディミル・ゼレンスキー大統領（2023年6月1日撮影）。(c)Ludovic MARIN / AFP 【6月8日 AFP】天然ガスをロシアからドイツに輸送するパイプライン「ノルドストリーム（Nord Stream）」で昨年起きた爆発について、欧州の情報機関がウクライナ特殊部隊による爆破計画を事前に察知していたと報じられたのを受け、ウォロディミル・ゼレンスキー（Volodymyr Zelensky）同国大統領は7日、そうした計画は関知していなかったと述べた。 米紙ワシントン・ポスト（Washington Post）は6日、パイプライン爆発の3か月前に欧州の情報機関が動きを察知し、米中央情報局（CIA）と情報を共有していたと報じた。 ゼレンスキー氏は独紙ビルト（Bild）のインタビューに通訳を介して応じ、大
サイバー攻撃で停止のパイプライン、一部で操業再開 米
サイバー攻撃が発覚し操業を停止したコロニアル・パイプライン社のパイプラインの一部で操業が再開した/Colonial Pipeline （ＣＮＮ） 米石油パイプライン大手コロニアル・パイプラインは９日、サイバー攻撃を受けて操業を停止ししていたパイプラインについて、一部の操業を再開したと発表した。 コロニアル・パイプラインによれば、主要なパイプラインは依然として操業していないが、ターミナルと配達地点など一部のより小規模なパイプラインについては操業できる状態となっている。すべてのパイプラインを操業状態に戻すのはそうしても安全だと考えられるときに限られるとしたほか、連邦当局によるすべての承認に全面的に従うとしている。 エネルギー省が連邦政府の対応を主導しているほか、連邦捜査局（ＦＢＩ）と国土安全保障省とも連携している。 ホワイトハウス当局者は９日、供給への影響を緩和するために必要となる追加的な取り
オンプレミスからクラウドへの移行をはじめ、ハイブリッドクラウド環境をシームレスに保護しながら、クラウドの利点を実現します。 詳しくはこちら
パイプライン損傷は破壊工作 スウェーデン検察が断定
バルト海で「ノルドストリーム」からのガス漏れの様子。デンマーク国防省提供（2022年9月29日撮影、同30日公開）。(c)AFP PHOTO / DANISH DEFENCE 【11月18日 AFP】スウェーデン当局は18日、天然ガスをロシアからドイツに輸送するパイプライン「ノルドストリーム（Nord Stream）」が9月に爆発で損傷したのは、破壊工作が原因だったと発表した。 予備調査を率いるスウェーデン検察のマッツ・ヤングビスト（Mats Ljungqvist）検事は声明で、バルト海（Baltic Sea）の爆発現場で見つかった「複数の異物に爆薬の痕跡があることが分析で分かった」と明かした。 検事によると、「より信頼性の高い結論を出す」ために技術的な分析が続けられているという。 デンマーク領ボーンホルム（Bornholm）沖で9月末、ノルドストリーム1と2の計4か所でガス漏れが見つかっ
【ワイ的経済遅報】「ロシア」と「ドイツ」の「ガスパイプライン」が再稼働しないかもらしいね・・・｜アルプス投資ブログ
・現在点検中のドイツとロシアを繋ぐガスパイプライン「ノルドストリーム1」が再稼働されない可能性があるらしい・・・ ・これによって更なる「物価上昇」「ガス配給性の導入」が考えられるらしい。 ・ちな点検は7月11日〜21日までらしい。 ・これによって物価上昇率は3倍になるかもなんだって・・・ なんだそうな。 本当にそんな事があったら、ヨーロッパだけではなく色んな国に影響与えそうじゃないですか！？ 同氏は公共放送ＡＲＤとのインタビューで「寒さが非常に厳しい冬になれば、またガスを無駄遣いすれば、状況は容易ではなくなる」と述べた。 ブルームバーグ 物価が3倍になってしまったら、それこそ経済に与えるダメージは凄まじいものがありますね・・・ でもロシアの現状考えたら、再稼働しないことは十分な考えられますね。 冬場までには落ち着かないと、大変なことになってしまうなぁ。
GitHub モノレポを AWS CodePipeline と統合して、プロジェクト固有の CI/CD パイプラインを実行する | Amazon Web Services
Amazon Web Services ブログ GitHub モノレポを AWS CodePipeline と統合して、プロジェクト固有の CI/CD パイプラインを実行する (この記事は、Integrate GitHub monorepo with AWS CodePipeline to run project-specific CI/CD pipelines を翻訳したものです。) AWS CodePipeline は、ソフトウェアのリリースに必要なステップをモデル化、可視化、自動化できる継続的デリバリーサービスです。AWS CodePipeline を使用して、コードを構築し、稼働前の環境にデプロイし、アプリケーションをテストし、実稼働環境にリリースするまでの完全なリリースプロセスをモデル化できます。AWS CodePipeline は、コードが変更されるたびに定義されるワークフロー
パイプライン破損調査で中国船が焦点に、中国は客観的調査求める
中国外務省は２３日、海底ガスパイプライン破損の原因を調査しているフィンランドに「客観的、公正かつ専門的」な調査を求めた。破損状況の調査、フィンランド海軍の提供写真。（2023年 ロイター） ［北京 ２３日 ロイター］ - 中国外務省は２３日、海底ガスパイプライン破損の原因を調査しているフィンランドに「客観的、公正かつ専門的」な調査を求めた。
機械学習パイプラインの要件と Vertex Pipelines / Kubeflow Pipelines V2 による実装
サンプルパイプライン : https://github.com/reproio/lab_sample_pipelines/tree/main/kfp 解説記事 : https://tech.repro.io/entry/2021/06/22/125113 ハンズオン資料 : https://gist.github.com/AseiSugiyama/d189a43f656a3313837e820bc54f873b
バイデン夫妻に扮して気候変動とパイプライン計画に抗議、米LA
米ロサンゼルスの連邦政府庁舎前で、気候変動と原油パイプライン計画「ライン3」に抗議する活動家ら（2021年8月13日撮影）。(c)Patrick T. FALLON / AFP 【8月14日 AFP】米ロサンゼルスの連邦政府庁舎前で13日、気候変動の危機を訴える団体「絶滅への反逆（Extinction Rebellion）」のグループ「XRユース・ロサンゼルス（XR Youth Los Angeles）」の活動家らが気候変動と原油パイプライン計画「ライン3（Line 3）」に抗議するデモを行った。 ジョー・バイデン（Joe Biden）大統領や妻のジル（Jill Biden）氏に扮（ふん）して、石油に見立てた生物分解性の液体を他の参加者にかけるパフォーマンスも行われた。(c)AFP
これらを毎回手動で行うのは、現実的ではありません。そこで、これらの作業を自動化するために、CD環境が必要になります。 今回のプロジェクトではCI/CDツールとして「Concourse CI」を選択しました。選定した理由、他ツールとの比較に関しては連載第1回で解説しています。 Concourse CI Concourse CIはPivotal社によるオープンソースソフトウェア（OSS）のCI/CDツールです。yamlを使ってパイプラインを記述し、コンテナベースで各タスクが実行されます。 基本的な機能に関しては、こちらのチュートリアルにまとまっているため、本連載では割愛します。ここでは、Kubernetes（コンテナ環境）で利用する上で最低限必要なCI/CDのフローと、連載第2回の「パイプラインの高速化」の項で解説したパイプラインを組むための具体的な方法を紹介します。 パイプラインの具体例 g
「Amazon CodeCatalyst」が正式サービスに AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI／CDパイプラインまでを丸ごと提供
この記事は新野淳一氏のブログ「Publickey」に掲載された「「AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに」（2023年4月26日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、クラウド上でアプリケーションの初期コード、インフラ設定、ソースコードのリポジトリ、コードエディタ、ビルド／テスト／デプロイを実行するCI／CDパイプラインなど、アプリケーションの初期設定から開発、デプロイ、そしてチームコラボレーション機能の一式をまとめて提供するサービス「Amazon CodeCatalyst」の正式サービス化を発表しました。 参考：［速報］AWS上で開発環境一式、フレームワーク、初期コード
本記事は、データパイプラインを簡単に構築できるツールAirbyteでロードジョブを試していきます。 本アドベントカレンダーでは、日本でも海外でもマイナー寄りな製品を取り扱ってきてますが、多分一番知名度があるのがこのAirbyteになるかなと思います。 Airbyteについて Airbyteは2020年にサンフランシスコで創業されたテックカンパニーです。創業からわずか1年でシリーズAに到達し、$26Mの資金調達に成功しているスタートアップで、急激な成長速度で業界から注目を集めています。 Airbyte announces $26M Series A for open-source data connector platform | TechCrunch その最大の特徴は製品をOSSで公開しているという点でしょう。自身のAWSにデプロイすればAirbyteの機能をそのまま使えてしまう導入障壁が
石油パイプラインを停止させた「ダークサイド」のパワー 身代金目当てに大企業を揺さぶる二重三重の脅し：この頃、セキュリティ界隈で（1/2 ページ） 米石油移送パイプライン大手のColonial Pipeline Companyがランサムウェア攻撃を受けて一時操業停止に追い込まれた事件では、消費者のパニック買いを誘発して在庫切れのガソリンスタンドが続出し、価格急騰を招くなどの深刻な影響が広がった。この攻撃に関与したとされる「DarkSide」は、大企業を狙って二重三重の脅しをかけ、巨額の身代金を支払わせているハッカー集団。その手口は、増長する「サービスとしてのランサムウェア」（RaaS）ビジネスの実態を見せつけている。 ランサムウェア攻撃を受けたColonial、500万ドルの身代金を支払ったとの報道 セキュリティ情報サイトのKrebs on Securityによると、DarkSideが初めて
本記事ではデータパイプラインにおいてべき等性（Idempotent）を保つための方法について、パターン分けして整理してみたいと思います。 1. はじめに データパイプラインでは べき等性（Idempotent）と言われる「ある操作を何度実施しても同じ結果になる」という条件を満たすことが好ましいと言われています。 ただし、べき等性を満たすためには具体的にどうすれば良いかというのは結構難しいので、自分の頭の整理も兼ねてパターンに分けて考えてみたいと思います。 単純化のために操作を1回実行した結果と2回実行した場合を考えたいと思います。 同じ状態（上図の「初期状態」）から操作を1回実行した場合と2回実行した場合の結果の状態（それぞれ「状態X」「状態Y」）が同じであれば、べき等性を実現できていると本記事では考えます。 1回実行時の操作 (A) と2回実行した場合の2回目の操作 (C) は、正しい入
ノルドストリーム２からのガスの気泡が海面に上がる＝２７日、デンマーク・ボーンホルム島付近/Danish Defence Command/Reuters （ＣＮＮ） ロシアからドイツにのびる天然ガス供給パイプライン「ノルドストリーム１」の運営会社は、バルト海の海底パイプラインシステムに「前例のない」損傷が生じたと明らかにした。ロイター通信が伝えた。 スウェーデン海事局はＣＮＮに、デンマークのボーンホルム島付近でノルドストリーム１と２のパイプラインからのガス漏れが３件確認されたと語った。 当局は船舶に対し、漏えい箇所から約８キロ離れるよう警告し、航空機に対しては１０００メートルの高度を保つよう警告を出した。広報担当者によると、最初のガス漏れの報告は２６日午後で、同日夜にもう２つの漏れが確認された。 デンマーク軍が公開したノルドストリームからのガス漏れとする映像には、気泡と荒れた海面が映っている
パイプラインガス漏れ、数百キロの爆発物で発生か
バルト海のスウェーデンの排他的経済水域（EEZ）で確認された「ノルドストリーム2」でのガス漏れの様子（2022年9月29日撮影）。(c)AFP PHOTO / AIRBUS DS 2022 【9月30日 AFP】デンマーク、スウェーデン両国は30日、ロシアからバルト海（Baltic Sea）海底を経由してドイツに天然ガスを輸送するパイプライン「ノルドストリーム（Nord Stream）」で発生した4か所のガス漏れは、数百キロの爆薬に相当する水中爆発によって引き起こされたとの見解を示した。 両国は国連安全保障理事会（UN Security Council）への共同報告で、「爆発の規模はそれぞれマグニチュード（M）2.3と2.1と測定され、恐らく数百キロの爆発物に相当する」と説明した。安保理はロシアの要請で、30日にガス漏れに関する緊急会合を開く予定。(c)AFP
Spotify の Klio でメディア用データ パイプラインを簡単に作成 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 12 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 音楽ストリーミング サービスの Spotify は連日、オーディオ ファイルをさまざまな方法で処理しています。たとえば、曲のリズムやテンポの判別、ビートへのタイムスタンプ追加、音量の測定といった基本的な処理から、言語の検出や、ボーカルと楽器演奏の分離といった高度な処理まで、その方法は 100 種類以上に及ぶこともあります。こうした処理によって得られた情報は、新機能の開発のほか、再生リストやおすすめの拡充、純粋なリサーチなど、さまざまな目的に利用されます。 こうした処理を 1 つのオーディオ ファイルに対して行うだけでも一仕事ですが、Spotify の音楽ライブラリは 6000 万曲以上におよび、1 日 4 万曲のペースで増え続けています。それに加えて、ポッドキャストのカ
DVC を活用した機械学習パイプライン開発の高速化 / Using DVC to accelerate machine learning pipeline development
第8回 MLOps 勉強会 Tokyo (Online) https://mlops.connpass.com/event/211953/
SpeakerDeck：https://speakerdeck.com/dena_tech/techcon2021autumn-07概要：ヘルスケア事業におけるリアルワールドデータの疫学研究・薬剤の臨床開発への利活用は世界的に見てもより加速しています。データの絶対的なボリュームを増やしながら、データ調達、データベ...
御多分に漏れず、担当するチームもエンジニアを募集している。いくつかの転職サイトや人材紹介サービスやリファラルなどを使う。体感的にリファラル採用が最強ではあるが、それぞれ次の印象を持っている。 転職サイト 転職ドラフトなどのエンジニアのキャリアや保有スキルとチームの仕事のスキルセットのどこの部分をカバーできそうか期待できるとコンタクトする。こちらから、直接エンジニアにお声がけできるのでその辺のオペレーションは良い。転ドラは期間があるので業務多忙時は忙しなくてどうにもという感じ。転ドラに書かれるエンジニアさんは、業務の経験は書かれるとして、その業務を介してどのようなスキルとスキルのレベルを身につけられた（そのスキルはいつでも発揮できるよ）かをアピールされるといいと思う。特にスキルレベルはロールとひもづけたくなるので、採用側もこのポジションで来て欲しいと妄想するので。 人材紹介サービス 間にエー
MongoDB 互換の新しい Amazon DocumentDB 集計パイプライン演算子: $objectToArray、$arrayToObject、$slice、$mod、$range | Amazon Web Services
Amazon Web Services ブログ MongoDB 互換の新しい Amazon DocumentDB 集計パイプライン演算子: $objectToArray、$arrayToObject、$slice、$mod、$range Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージド型のドキュメント データベース サービスです。お客様は、基盤となるインフラストラクチャの管理を気にすることなく、現在ご使用のものと同じ MongoDB 向けのアプリケーションコード、ドライバー、ツールを、そのまま Amazon DocumentDB 上で実行や管理をしたり、処理負荷を調整したりするのに使えます。 今日、Amazon DocumentDB は、 5 つの集計パイプライン機能を新た
社内データパイプラインツールを Mercari Dataflow Template としてOSS化しました | メルカリエンジニアリング
Merpay Advent Calendar 2020 の10日目の記事です。 こんにちは。Merpay Solutions Teamの @orfeon です。 ３ヶ月ほど前のブログ記事でメルペイでのFlexTemplateの活用例を紹介しましたが、ここで使われていたソフトウェアを先日、OSSとして公開しました。 この記事ではこのOSSとして公開したMercari Dataflow Templateについて紹介します。 BigQueryから取得したデータを別のDatabaseサービスに保存したり、異なるデータソースからのデータをSQLで結合・加工したり、AWSのS3にデータを出力したりなどなど、GCP上での何らかのデータの処理に関わられている方は役立つケースがあるかもしれないのでぜひご一読頂ければ幸いです。 Mercari Dataflow Templateとは何か Mercari Dat
こんにちは！たかぱい（@takapy0210）です。 本記事はKaggle Advent Calendar 2019の14日目の記事です。 昨日はkaggle masterのアライさんのKaggleコード遺産の記事でした！ とても参考になり、いくつか自分の遺産にも取り入れさせていただきました。 さて本日は、以前から何回かLTさせていただいていたオレオレパイプラインを公開しましたので、簡単にご紹介できればと思います。 はじめに パイプラインについて 実行方法 補足 config.yamlについて 15_show_all_features.pyについて 作成される画像ファイルについて 終わりに はじめに 元々、パイプラインが良い感じにできたら公開したいな〜と思っていたのですが、何回かLTする中で、ありがたいことに以下のようなお声をいただき、あっ、Kaggleのアドベントカレンダーで公開すれば丁
バルト海のスウェーデンの排他的経済水域（EEZ）で確認された「ノルドストリーム1」のガス漏れの様子。同国沿岸警備隊提供（2022年9月28日撮影、資料写真）。(c)AFP PHOTO / SWEDISH COAST GUARD 【6月14日 AFP】ロシアからドイツに天然ガスを輸送するパイプライン「ノルドストリーム（Nord Stream）」で昨年9月に起きた爆発に関連し、3か月前にウクライナによる爆破計画を察知し、米中央情報局（CIA）と情報を共有したのはオランダ軍情報保安局（MIVD）であることが分かった。メディアが13日、報じた。 オランダの公共テレビNOSのほか、ドイツの公共放送ARDと週刊紙ツァイト（Die Zeit）の共同取材によれば、CIAはMIVDからの警告を受け、ウクライナ政府に爆破中止を要請した。MIVDは爆破計画の情報を「ウクライナの情報源」から入手したとされる。 米
9月新刊情報『入門 機械学習パイプライン』
『入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化』 Hannes Hapke, Catherine Nelson 著、中山 光樹 訳 2021年9月24日発売予定 384ページ（予定） ISBN978-4-87311-951-9 定価4,180円（税込） 機械学習を用いた本番システムの構築には、データの前処理やモデルの学習、デプロイなどのステップが必要です。しかし、これらのステップは手動で実行されることが多く、エラーの原因となっています。そこで本書では、TensorFlowのエコシステムを使用した機械学習パイプラインの構築方法について学びます。パイプラインを用いて各ステップを自動化することで、レガシーなシステムの保守から解放され、新しいモデルの開発に集中できるようになります。 本書の表紙の動物は、マッドパピー（Necturus maculosus）です。北米東
リトアニアでガスパイプライン爆発 けが人なし
ガスパイプラインが爆発したリトアニア北部パスバリスの位置を示した図。(c)AFP / Simon MALFATTO 【1月14日 AFP】リトアニア北部で13日、ガスパイプラインが爆発した。けが人が出たとの情報はない。運営会社のアンバー・グリッド（Amber Grid）が発表した。 同社によると、爆発は午後5時ごろ、パスバリス（Pasvalys）で発生。消防隊が出動した。現場には2本のパイプラインが併設されており、うち1本が爆発で損傷して供給に支障が出たものの、もう1本は問題なく稼働しており、消費者への供給は続いているという。 リトアニアは昨年6月、ロシアのウクライナ侵攻を受け、ロシア産ガスの輸入を禁止した。(c)AFP
バルト海（フィンランド湾）ガスパイプライン破断 露怪船の影、再び
Thord Are Iversen @The_Lookout_N Norwegian independent seismic monitoring foundation NORSAR: "NORSAR have detected a probable explosion along the Finnish coast of the Baltic Sea at 01:20 (local time in Finland) on 8th October 2023. This explosion was detected using stations in Finland." pic.twitter.com/OzvjVkYV1k 2023-10-11 01:39:28
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部でソフトウェアエンジニアをしている鈴木です。ヤフー全社で利用されているユーザコンテンツ判定プラットフォーム（以下UGC判定PF）のプロダクトオーナー兼テックリードをしていました。 本記事では2021年4月から実施した機械学習モデル作成の効率化の取り組みを紹介します。以前はAPIとして提供するまで6週間かかっていたものが、最終的に学習データさえあれば1日（実質数時間）で個別チューニングされたモデルが作成され、ボタンクリックでAPIとして利用可能になるところまできました。 UGC判定PFの紹介 UGC判定PFの概要 UGC判定PFはNGワードやURLなどの登録データや、事前に作成された機械学習モデルによりユ
[レポート] dbtとAirflowとGreat Expectationsで堅牢なデータパイプラインを構築する #dbtcoalesce | DevelopersIO
大阪オフィスの玉井です。 12月7日〜11日の間、Fishtown Analytics社がcoalesceというオンラインイベントを開催していました（SQLを触っている方はピンとくるイベント名ではないでしょうか）。 「Fishtown Analytics社って何やってる会社？」という感じですが、dbtというツールを開発しているベンダーです。dbtについては、下記をご覧ください。 今回は、その中からBuilding a robust data pipeline with dbt, Airflow, and Great Expectationsというセッションを受講したので、レポートを記します。 イベント概要 公式 Coalesce 2020 online - December 7-11, 2020 Building a robust data pipeline with dbt, Airfl
![[レポート] dbtとAirflowとGreat Expectationsで堅牢なデータパイプラインを構築する #dbtcoalesce | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/85281d1589a19c5d28bff75bb55314b9cd7de5f4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F12%2FCoalesce_2020_online_-_December_7-11__2020.png)
米パイプライン攻撃、身代金の大半回収 司法省発表
米テキサス州ヒューストン近郊にあるコロニアル・パイプラインの施設（2021年5月10日撮影）。(c)Francois PICARD / AFP 【6月8日 AFP】（更新）米国最大の石油パイプラインがランサムウエア（身代金要求型ウイルス）攻撃により停止を強いられた事件で、米司法省は7日、石油会社コロニアル・パイプライン（Colonial Pipeline）がロシアを拠点とするハッカー集団「ダークサイド（Darkside）」に対して支払った身代金440万ドル（約4億8000万円）の大半を回収したと発表した。 リサ・モナコ（Lisa Monaco）司法副長官は「われわれはきょう、デジタル通貨の形での犯罪収益を含め、ランサムウエアやデジタル恐喝攻撃の動力源となっているエコシステム全体を摘発することで、ダークサイドに反撃した」と述べた。 事件では、コロニアル・パイプラインがダークサイドに対し、暗号
GA → Airbyte → Snowflake(Snowpark for Python) のELT(EL)パイプラインを作ってみた - ABEJA Tech Blog
この記事はABEJA Advent Calender20日目、及びSnowflake Advent Calender23日目の記事になります。 はじめに 各々の技術について大雑把に紹介 Snowflake Snowpark Airbyte 環境構築 Airbyte Google Analytics Google Search Console Snowflake Connection Snowpark 今回の処理 結局Snowparkが使えると何がいいか 最後に はじめに こんにちは@Takayoshi_maです。今日はGoogle Analytics(UA) → Airbyte → Snowflake (Snowpark for Python)という流れでデータの抽出、加工を行います。 各々の技術について大雑把に紹介 Snowflake Snowflake社（ティッカーコード: SNOW）
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon SageMaker の推論パイプラインで、独自コンテナを組み合わせる方法 - Qiita
元アナリストがdbtでプロダクトのデータパイプライン構築できるようになった話
パイプライン攻撃のダークサイド 企業のような犯罪集団 - 日本経済新聞
ミャンマーで中国向けパイプライン襲撃 警備員3人死亡：朝日新聞デジタル
パイプライン破壊、ウクライナ軍の計画を米国が事前把握か 米紙報道：朝日新聞デジタル
ランサムウェア「DARKSIDE」および米国のパイプラインへの攻撃に関する解説
Kubernetesを前提としたCI/CDパイプラインの具体例と、本番運用に必要なもの
自前でデータパイプラインをサクッと構築できる「Airbyte」を試してみた | DevelopersIO
石油パイプラインを停止させた「ダークサイド」のパワー 身代金目当てに大企業を揺さぶる二重三重の脅し
データパイプラインにおいてべき等性を保つために - Qiita
ロシアからドイツへの海底ガスパイプラインに「前例ない」損傷 運営会社
ヘルスビッグデータ分析基盤のデータパイプラインの効率化
エンジニアの中途採用のパイプラインあれこれ - 室長のひとりごち
データ分析コンペで使っているワイの学習・推論パイプラインを晒します - ギークなエンジニアを目指す男
パイプライン爆破計画、CIAに警告したのはオランダ軍情報保安局 報道
MLOpsとBERTによる機械学習パイプラインの自動化とその効果