米マサチューセッツ州にある天然ガスのパイプライン。同様のパイプラインが米国内に張り巡らされている。新たな研究によって、パイプラインが社会的に脆弱な地域に集中していることがわかった。（PHOTOGRAPH BY JESSICA RINALDI, THE BOSTON GLOBE/GETTY IMAGES） 米南東部ノースカロライナ州に「アトランティック・コースト・パイプライン」の敷設計画があると聞いたときのことをライアン・エマニュエル氏はよく覚えている。建設予定地は、氏が属するネイティブアメリカンのラムビー族が多く住む地域だった。 この地域には、天然ガスの圧縮ステーションや他の大型パイプラインなど、化石燃料のインフラがすでに数多く存在していた。それなのに、なぜこれ以上の設備が建設されようとしているのかと、エマニュエル氏はいぶかった。この地に暮らす3万人の先住民にとって公平でも安全でもないので
こんにちは。Python謹製のshellを使って早3年、エムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 この記事はエムスリー Advent Calendar 2019 の21日目の記事です。 エムスリー AIチームでは、機械学習パイプラインとして「luigi」及び、そのwrapperである「gokart」を利用した開発、運用を行なっています。 本記事は、エムスリーとluigiの繋がりと、私が作成したluigiのshell補完をサポートするmodule「luigi-completion」の概要、その使い方について示すものです。 luigi.readthedocs.ioより luigiロゴ はじめに luigi_completion 処理の中身 おわりに We are hiring ! はじめに 前述の通り、エムスリーAIチームでは、機械学習プロジェクトにおけるパイ
FirestoreによるPush型の情報パイプライン設計と運用 in 食べログオーダー - Tabelog Tech Blog
はじめに 食べログオーダーチームの大内です。 食べログオーダーではリアルタイムアップデート基盤としてFirestoreを採用し、システム上を流れる来店や注文といった情報をリアルタイムで店舗オペレーションへと繋げています。 本記事では私たちがFirestoreを使ってどのようにモバイルオーダーシステムを設計・運用しているかについてご紹介いたします。 背景: モバイルオーダーに求められるリアルタイム要件 食べログオーダーは食べログが取り組むモバイルオーダーサービスです。 モバイルオーダーの典型的なサービスフローは以下の通りです。 (https://order.tabelog.com) 来店: 座席確保・QRコード発行印刷・QRコードを読み込んでセッション開始 注文: メニューから注文をリクエスト・注文伝票を印刷 会計: お客様がスマホから会計依頼・会計伝票を印刷・退店処理 従来の飲食サービスで
『Hi-Fi RUSH』のトゥーン表現には、60FPS厳守の制約が課されていた。見栄えと軽さを両立した描画パイプライン改造の中身を、本作のエンジニアが語る 【UNREAL FEST 2023 TOKYO】
『Hi-Fi RUSH』のトゥーン表現には、60FPS厳守の制約が課されていた。見栄えと軽さを両立した描画パイプライン改造の中身を、本作のエンジニアが語る 【UNREAL FEST 2023 TOKYO】 エピック ゲームズ ジャパンが主催するアンリアルエンジンの大型勉強会「UNREAL FEST 2023 TOKYO」が、2023年6月2日（金）、3日（土）の2日にわたりベルサール秋葉原で開催されました。 初日には「『Hi-Fi RUSH』開発事例 グラフィックスと最適化紹介」と題する講演がありました。登壇したのは『Hi-Fi RUSH』の開発者であるTango Gameworks（ゼニマックス・アジア）のプログラマー、田中 康介氏と駒田 喬氏。 「リズムアクションゲーム」というジャンルゆえグラフィックスによる遅延が許されない状況で、いかにトゥーン表現を実現する描画パイプラインを構築した
パイプラインガス漏れ、ロシア非難は「愚か」 大統領府
バルト海に浮かぶデンマーク領ボーンホルム島沖で、天然ガスパイプライン「ノルドストリーム2」から漏れ出るガスをF16戦闘機から撮影した写真。デンマーク軍提供（2022年9月27日公開）。(c)AFP PHOTO / DANISH DEFENCE 【9月28日 AFP】バルト海（Baltic Sea）を経由しロシアから欧州へ天然ガスを供給するパイプライン「ノルドストリーム（Nord Stream）」でのガス漏れについて、ロシア大統領府は28日、同国の関与が疑われていることは「愚かでばかげている」と一蹴した。欧州連合（EU）はこのガス漏れについて、「意図的な行為」で起きたと批判している。 大統領府のドミトリー・ペスコフ（Dmitry Peskov）報道官は「案の定出てきた主張であり、こうした言説を取り沙汰することはやはり愚かなことだ」と述べた。 ペスコフ氏は、ガス漏れはロシアにとっても「大きな問
米パイプライン運営会社、ハッカーに身代金払う 情報筋
ワシントン（ＣＮＮ） 米石油パイプライン大手コロニアル・パイプラインがランサムウェア（身代金ウイルス）によるサイバー攻撃を受けた事件で、同社が攻撃を仕掛けてきた集団に支払いを行ったことがわかった。事情に詳しい人物２人がＣＮＮに明かした。 別の情報筋２人によると、ハッカー集団「ダークサイド」は５００万ドル近い身代金を要求していた。同社が支払った金額は不明だという。 身代金の支払いはブルームバーグ通信が最初に報じた。 サイバー・インフラ安全局（ＣＩＳＡ）のウェールズ長官代行は１３日、「身代金が支払われたかどうか、また仮に支払われたとしてその金額、時期について何も知らない」と述べた。バイデン大統領も身代金の支払いに関する問いかけにコメントしなかった。 同社は身代金の支払いについて繰り返しコメントを避けてきた。 同社の対応に詳しい人物によると、同社は民間のサイバーセキュリティー専門家や政府当局者の
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
爆発で稼働を停止していたイラクとトルコを結ぶ原油パイプラインが復旧した。 爆発は18日に発生していた。エネルギー市場がさらにひっ迫するとの懸念からアジア時間19日午前の取引では原油先物相場が急騰する場面もあったが、パイプライン再開が近いとの報道を受けて上げ幅は縮小した。 トルコ政府高官によると、パイプラインの稼働状況は通常の水準を回復した。爆発があった場所には２本のパイプラインが通っており、同国国営パイプライン会社ボタスはそのうち１本を利用し、もう１つの修理に当たっているという。 同パイプラインはイラク北部で生産された原油をトルコの地中海沿岸港ジェイハンを経由して欧州に運ぶ重要なルートであり、昨年の送油量は日量45万バレル強だった。
ロシアとドイツを結ぶパイプライン「ノルドストリーム」の破裂によって、欧州はこれから迎える冬に危機感を抱いている。損傷の程度を把握してから修理に取りかかることになるが、前例のない損傷だけにいずれの方法も困難が伴う。 by Chris Stokel-Walker2022.10.12 4 2 ロシアのウクライナ侵攻まで、ガス・パイプラインのノルドストリーム1と2は、欧州の重要なエネルギー・インフラだった。2021年第4四半期、ノルドストリームは欧州全体のガス輸入量の18％を担っていた。ロシアが欧州に輸出するガスの半分がノルドストリーム1で提供されており、これは過去最高だった（ノルドストリーム2は完成しているが、ウクライナ侵攻後にドイツが認証を留保したため未稼働）。 その後、ノルドストリームは、侵攻後に科された経済制裁に報復するロシアの地政学的な駒となった。7月、ロシアは定期メンテナンスのためにパ
ロシア産天然ガスを欧州に輸出する海底パイプライン「ノルドストリーム」の運営会社は27日、パイプラインに「前例のない」損傷が生じ、復旧の見通しが立たないと明らかにした。デンマーク当局は、ガス漏れの発生した海域の航行を禁止する措置を講じた。運営会社はロシア国営ガスプロムの子会社。損傷はノルドストリーム「1」と「2」の両方で見つかった。ロシアのペスコフ大統領報道官は27日、調査結果はまだ出ていない
東京都は二酸化炭素（CO2）を排出しない「ゼロエミッション」の実現のため、2020年の東京五輪・パラリンピックをきっかけに水素利用の普及を目指す。五輪後に選手村を改装して中央区晴海に民間住宅を整備する際、水素を利用した電力や熱を生むエネルギーを活用する。臨海部での燃料電池バスの走行も大幅に増やす予定だ。「Tokyo declares that it will become a Zero Emi
マルチモーダルなヘルスデータのためのスケーラブルな機械学習パイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ マルチモーダルなヘルスデータのためのスケーラブルな機械学習パイプラインの構築 この記事は、”Building Scalable Machine Learning Pipelines for Multimodal Health Data on AWS” を翻訳したものです。 ヘルスケアおよびライフサイエンスの組織においては、機械学習（ML）を使用することで、プレシジョンメディシンの実現、患者嗜好の予測、疾患検出、ケアの質の改善などに取り組んでいます。ヘルスケアにおけるITの急速な成長により、ますます多様なデータモダリティから患者レベルのデータが利用可能になりました。さらに、複数のデータドメインからのデータを組み込むことで、MLモデルの有用性と精度を向上させることが研究によって示されています[1]。これは個人のより完全なビューをモデルに与える事に
はじめに 本記事はエムスリー Advent Calendar 2020の12日目の記事です。 エンジニアリンググループの西名(@mikesorae)です。 私のチームでは医療に関する様々なデータを集計して分析レポートの作成を行っています。 クライアントの要望に応じて条件や分析軸を変更するために、これまではRubyで動的にSQLを組み立てて集計を行っていましたが、条件が複雑なため出力されるSQLが3000行近くになり、デバッグやテストも困難なためメンテナンス工数が多くかかっていました。 また、データ数の増加に伴ってSQLの実行時間も次第に長くなり、このまま行くと継続的なサービス提供ができなくなるリスクがあったため、BigQuery + Google Cloud Dataflow + Scioによる作り直しを決断しました。 Google Cloud Dataflowの導入にあたって公式ドキュメ
自己紹介と後半のアジェンダ 尾野健氏：ここからはスピーカーが代わります。尾野健と言います。Data Engineering1 teamに所属していて、LINEには2019年に入社しました。現在はインジェスチョンパイプラインを開発中です。 後半のアジェンダです。現在のログパイプラインの概要、そのログパイプラインが抱える問題、その問題がIceberg導入によってどのように解決されるか。そしてFlink Iceberg applicationの詳細、最後にプロジェクトの今後の進め方を説明します。 ログパイプラインの概要 それでは現在のログパイプラインの概要です。（スライドを指して）この図は、現在のログパイプラインの最初の段階を示しています。もともとはシンプルなアーキテクチャでした。Kafka、Flink、HDFS上のHive tableという構成で、テーブルはAppend Onlyです。 ユーザ
はじめに はじめまして。有限会社シーリスの有山圭二と申します。Androidアプリ開発者で、趣味で機械学習をやっています。 この度「さくらのナレッジ」さんに、9月22日に開催される技術書オンリーイベント「技術書典」でぼくが頒布する本の宣伝させて欲しいと言ったところ快諾をいただき、こうして筆をとることになりました。 9月22日（日曜日）池袋サンシャインシティ 展示ホールC/D（文化会館ビル2/3F）で開催される技術書オンリーイベント「技術書典7」に、個人サークル「めがねをかけるんだ」として参加します。く24D「めがねをかけるんだ」では、同人誌「わたしは機械学習プロジェクトで技術的負債を抱えました（仮題）」を頒布する予定です。 （はじめに より） 筆者は、2015年にTensorFlowが公開されてから今まで、趣味の機械学習システムの開発に取り組んできました。さくらインターネット社は取り組み初
最近話題になっている？Daggerを使用して typescriptをトランスパイルしS3へdeployするパイプラインを作成してみました。 Daggerとは Daggerは、CICD向けのポータブルなdevkitです。 DaggerはDocker互換のランタイムでパイプラインが実行されるため、Docker互換のランタイムが動く環境であれば Daggerをそのまま実行し、同一の結果を得ることができます。 Daggerではパイプラインの記述を一般的な yaml などではなくcuelangを使用して記述します。 module/packageや型定義などの強力な構文を使用することができます。 チュートリアルなども用意されています。 メリット 上記のことからDaggerを使用することで 開発環境とCI環境の統一 CIロックインをなくすことができる といったメリットを受けることができます。 Dagge
ロシア国営天然ガス独占企業ガスプロムは14日、海底パイプライン「ノルドストリーム」経由でドイツに供給するロシア産ガスを日量1億6700万立方メートルから1億立方メートルに約40％削減すると発表した。 【図解】日本のLNG輸入の国別シェア 修理に時間がかかっていることなどが供給減の理由という。 ガスプロムは、独総合電機大手シーメンス製のパイプライン関連設備が修理から返ってこないと主張している。
ロシア産ガスパイプライン、欧州向け一時再開も停止 価格上昇
２月２日、ドイツのパイプライン管理会社ガスケードのデータによると、ロシア産天然ガスを欧州に輸送するパイプライン「ヤマル・ヨーロッパ」の流れが同日午前、わずかながら通常の西向きに変わった。写真は「ガスプロム」のロゴの前に置かれたパイプラインの３D模型。１月３１日に撮影（２０２２年 ロイター/Dado Ruvic） ［モスクワ ２日 ロイター］ - ドイツのパイプライン管理会社ガスケードのデータによると、ロシア産天然ガスを欧州に輸送するパイプライン「ヤマル・ヨーロッパ」の流れが２日午前、わずかながら通常の西向きに変わったが、１時間後には流れが止まった。
パイプラインを止めたサイバー攻撃 先日、米国最大の石油パイプラインがサイバー攻撃を受けて、操業停止に追い込まれました。 このサイバー攻撃がプロのサイバー犯罪集団である「ダークサイド」の仕業である事が、彼らの犯行声明で明らかになりました。 このパイプラインは東海岸で必要な石油の45％を供給している正に米国のバックボーンともいえる重要インフラです。 それほど重要なインフラがいとも簡単に停止に追い込まれた事は、米国の安全保障上のアキレス腱を露呈したとも言えます。 しかし、この事件は氷山の一角だと思われます。 「ダークサイド」などプロのサイバー犯罪集団は、重要なデータを盗んだ後、身代金を要求するのが手口で、被害者が身代金を払えば、事件は公にならないからです。 多くの企業や公共団体が攻撃を受けて泣き寝入りしているものと思われます。 この問題に関して英誌Economistが「New technolog
自作フレームワークにMesh Shaderを組み込み、従来の頂点シェーダーと比較してどのくらいパフォーマンスが変化するか検証しました。 CADデータをポリゴン化したモデル、3DスキャンやZBrushでスカルプトしたような超ハイポリゴンモデルの場合 Mesh Shaderが圧倒的優位である。 しかし低ポリゴン数のモデルが配置されたシーンではVertex Shaderの方が優位になる。 低ポリゴン数のモデルをAmplification Shaderと併用して描画するとMesh Shaderのみの場合と比べて速度が低下する。 超ハイポリゴンモデルの場合、Amplification Shaderを併用するとより高速になる。 自作フレームワーク せっかくなので今回検証に使用した自作フレームワークをちょっとだけ紹介させてください。 API 開発環境 CPU RAM GPU
カフェチームの山本です。 エッジデバイスでプログラムを動かしていると、ハードウェアの性能があまり高くないこともあり、所望の処理速度を得られないことが多いです。 今回は、こうした状況に対して、処理をパイプライン化することによって、全体の処理速度を高速化することを目指します。自分の実装したプログラムを例に、考え方・手順・実装方法（Python）について記載します。 ステップ０．スクリプトを用意する・状況を把握する ステップ０－１．処理概要 今回は以下のようなスクリプトを利用します。処理の概要は以下のとおりです。よくあるような、学習モデルを利用して物体を検出するスクリプトです。今回のスクリプトでは、カメラを複数接続し、同時に複数の画像を撮影して処理をしています。 前処理ではカメラとモデルをセットアップしています。ループ中の処理の流れとしては以下のとおりです。 画像取得：RealSenseというカ
フィードバックを送信 ストリーミング パイプライン コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 制限なし PCollection、または制限なしコレクションにより、ストリーミング パイプラインにおけるデータが表現されます。制限なしコレクションには、Pub/Sub など、継続的に更新されるデータソースのデータが含まれます。 鍵のみを使用して、制限なしコレクション内の要素をグループ化することはできません。データソースには常に新しい要素が追加されるため、ストリーミング データのキーは無限に多くなる可能性があります。ウィンドウ、ウォーターマーク、トリガーを使用して制限なしコレクションの要素を集約できます。 ウィンドウの概念は、バッチ パイプライン内のデータを表す制限付き PCollection にも適用されます。バッチ パイプラインでのウィンドウ処理について詳
Amazon Kinesis Video Streams を用いた機械学習のためのパイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Video Streams を用いた機械学習のためのパイプラインの構築 この記事は Building machine learning pipelines with Amazon Kinesis Video Streams を翻訳したものです。 はじめに Amazon Kinesis Video Streams (KVS) は、コネクテッドデバイスから AWS にビデオを安全にストリーミングし、分析、機械学習 (ML) 、再生、その他の処理を簡単に行うことができるようにします。KVS は、数百万台のデバイスからストリーミングビデオデータを取り込むために必要なすべてのインフラを自動的に準備し、柔軟にスケールします。KVS は、ストリームのビデオデータを耐久性をもって保存、暗号化、インデックス化し、使いやすい API
バイデンの「ヤバい破壊工作」が暴露された…ロシアの「パイプライン」を爆破した可能性（現代ビジネス） - Yahoo!ニュース
米国の著名な調査報道記者、シーモア・ハーシュ氏が北極海の天然ガス・パイプライン、ノルドストリーム爆破事件について「米国の仕業だった」という暴露記事を発表した。事実なら、米国はウクライナ戦争の舞台裏で大胆な軍事作戦を実行していたことになる。いったい、何があったのか。 【写真】実は日本が「世界最高の国ランキング3位」になっていた…！ ノルドストリームはロシアとドイツを海底で結んだパイプラインだ。延長は約1200キロ。ノルドストリーム1と2が、それぞれ2本ずつあり、1は2011年に開通、2は21年9月に完成した。ただし、ロシアのウクライナ東部2州の独立承認を受けて、ドイツは2の稼働を認めなかった。 1と2を合わせれば、ロシアから欧州に輸出する天然ガス輸出の約半分を供給する予定だった。ドイツにとっても、2だけで年間国内消費の半分以上が賄える量になる。 ノルドストリーム計画をめぐっては、当初から欧米
ロシア、パイプライン経由の石油供給停止＝ポーランドＰＫＮ
２月２５日、ポーランド国営製油会社・ＰＫＮオルレンのダニエル・オバジテック最高経営責任者（ＣＥＯ）は、ロシアが同国産石油を欧州へ運ぶ「ドルジバ・パイプライン」を通じたポーランドへの供給を停止したとし、不足分を補うために他の供給源を活用する方針を表明した。ポーランドの Adamowoの給油施設で２０１１年６月撮影（２０２３年 ロイター/Jedrzej Wojnar/Agencja Wyborcza.pl） [ワルシャワ ２５日 ロイター] - ポーランド国営製油会社・ＰＫＮオルレンのダニエル・オバジテック最高経営責任者（ＣＥＯ）は２５日、ロシアが同国産石油を欧州へ運ぶ「ドルジバ・パイプライン」を通じたポーランドへの供給を停止したとし、不足分を補うために他の供給源を活用する方針を表明した。
自己紹介 はじめまして、京都大学大学院エネルギー科学研究科に所属していますM1の下野祐太です。普段は、深層強化学習を利用したタンパク質の高効率サンプリング手法の開発というテーマで研究をしたり、別の長期インターンシップにおいて時系列データの解析などをしています。 今回、様々なプロダクトを展開し大規模なデータを保有しているリクルートに興味をもち、アルバイトに応募しました。そこで10/6〜11/15という約1か月の間、リクルートのアルバイト生として取り組んだ内容について紹介します。 背景 『Airインボイス』について 私は今回のアルバイトにおいて、 『Airインボイス』 というSaaSを開発するチームでお世話になりました。まずは『Airインボイス』というサービスについて説明します。『Airインボイス』は、請求書をスマホで撮影するとアプリが振込に必要な情報を自動でデータ化し、そのまま支払いまで行う
D4エンタープライズは4月11日、同社が運営するレトロゲーム配信サービス「プロジェクトEGG」にて、コンパイルが1991年にリリースした落ちモノ系アクションパズル『ゴルビーのパイプライン大作戦（コンシューマー版）』を配信開始した。価格は330円（キャンペーン終了後は550円）。 パイプブロックを組み合わせてラインを作る落ちモノ系アクションパズル 10都市を舞台に壮大なパイプラインを構築しよう！ 日本のすぐ隣にあるのに、ぼくたち日本人にとって遠い存在だった、ソビエトという国。でも、ゴルバチョフ大統領（ゴルビー）の登場によって日本とソビエトは、ぐーんと友好を深めつつある。 そして、さらに友好を深めるために計画されたのが、東京とモスクワを結ぶパイプラインの建設なのだ。シベリア鉄道に沿ってパイプラインを造るという壮大な計画、その成功はキミの手にかかっている。 日ソ交流新時代は、キミ自身が作り上げる
【ソフトウェアテスト自動化カンファレンス2020】CI パイプラインでのテスト戦略とその実現方法
【CICD2021】デプロイメントパイプラインの原理原則を再確認する / Confirm Deployment Pipeline Principle
ChatGPTに、ETLパイプラインの仕様変更がテーブルに格納されるデータに与える影響の調査をお願いしてみた | DevelopersIO
ChatGPTに、ETLパイプラインの仕様変更がテーブルに格納されるデータに与える影響の調査をお願いしてみた データアナリティクス事業本部の鈴木です。 今回はかなり実験的な内容ですが、日頃関わりの強いデータ分析基盤の業務でChatGPTを使って業務効率化できないかと思い、考えたことを検証をしてみたのでご共有します。 背景 データ分析基盤の保守業務の悩みについて データ分析基盤では、同じようなETLパイプラインを数多く作成していくケースが多いです。例えば、データソースのテーブルからデータを抽出し、必要な前処理をした後に、データウェアハウスのテーブルに入れるといったものです。 このような場合に、ETLツールに仕様変更が発生すると、多くのリソースに影響が発生します。特にテーブル定義とパイプラインの仕様が合わなくなり、データが取得できない・格納できない、という悩みは遭遇したことがある方もいるのでは
こんにちは。 食べログで2008年からコードを書いているおおいしつかさです。 プログラムは中学一年生の頃からMSX2で書いていました。ぼくも同じだ! という人はお友達になってください。1画面プログラムの話題で盛り上がりましょう。 (CDがいっぱい) Photo by Lucía Garó on Unsplash CI/CDについては「LeanとDevOpsの科学」などで言及されている通り、サービスの価値をユーザーへ届け続けるという部分で重要であり、組織全体のパフォーマンスとも相関があることが示されています。みなさんのサービスでもCI/CDが導入されていることかと思います。 食べログではインフラ基盤のKubernetes化を進めています。(このことについては去年のAdventCalendarで弊社の@tkyowaが記事にしています)。 Kubernetes化にともない、食べログのCI/CDパ
リポジトリの管理にGitLabを使用しています。 GitLabの機能としてCI/CDパイプラインの実行が可能で、テストや静的解析を開発フローに組み込むことができるのですが、モノレポ構成の場合のCI/CDの組み方で悩んだ点があったので調べたことをまとめます。 モノレポとは 詳細は省きますが、以下のような特性を持つリポジトリ管理の手法です。 複数のプロジェクトが、同一リポジトリ内にある プロジェクトは相互依存可能で、コードも共有できる 変更を行う場合、モノレポでは全てのプロジェクトで再ビルドや再テストをしない。その代わり、変更の影響を受ける可能性のあるプロジェクトだけを再ビルドと再テストする モノレポについての誤解 - Misconceptions about Monorepos: Monorepo != Monolith を翻訳しました 複数のプロジェクトが同一リポジトリ内に存在し、それぞれ
はじめに 機械学習の成果を運用する際には、データの処理や学習、モデルのデプロイなどといった一連の作業をワークフロー化することが多くなっています。これを実現するために、多くのワークフローツールが公開、利用されています。 今回はGoogle Cloud Platformで機械学習ワークフローを実行するためのサービスであるVertex Pipelinesを用いて、機械学習パイプラインを構築、実行するまでを紹介します。サンプル実装では以下のようにデータの前処理、モデルの学習、評価、デプロイまでを行います。 コードは以下に配置しました。 Vertex Pipelinesとは 前述したように、Vertex Pipelinesは機械学習パイプラインを実行するためのGCPのサービスです。サーバーレスで稼働するため、費用は実行時に使用した分だけに抑えることができます。他に、実行時のパラメータやパイプラインに
中国とロシアをつなぐ天然ガスパイプライン ウクライナ戦争で「漁夫の利」はあるのか 次世代中国 | NEC wisdom | ビジネス・テクノロジーの最先端情報メディア
ロシアのウクライナ侵攻で、ロシアとヨーロッパをつなぐ天然ガスパイプラインの存在が注目されている。バルト海経由でロシアとドイツを結ぶ新たな天然ガスパイプライン網「ノルドストリーム2」が凍結されたことは世界に衝撃を与えた。 一方、地理的にユーラシア大陸の反対側に位置する中国は、世界一の天然ガス輸入国である。ロシアの東シベリアとは天然ガスパイプラインでつながり、天然ガスの輸入量は着実に増大している。従来、ヨーロッパに送られていた天然ガスを中国が代わりに輸入し、「漁夫の利」を得るのではないかとの見方もある。 現実のところはどうなのか。中国の天然ガス確保の構図はどのような状況になっているのか。今回はそのあたりの事情を考えてみたい。 目次 埋蔵地が広く分布する天然ガス 中国は3ルートが稼働中、2ルートが計画段階 中央アジアからのパイプラインが中国の主力 増大するロシアからの天然ガス輸入量 欧州市場と中
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
EC2 Image Builderとは AMI作成を自動化してくれるツール（パッケージインストール等をやってくれる）。 Developers.IO:EC2のイメージ作成を劇的に効率化するEC2 Image Builderが発表されました！ #reinvent Qiita:EC2 Image Builder を触ってみました。 パイプラインのアップデートできない 早速使ってみたのだが、 AMI作成用のパイプライン（Image pipelines）を作った後、コンソールを見てもパッケージ（ビルドコンポーネント）の追加方法が分からなかった。 後で追加したいパッケージが増えたらどうすんの？ 正確に言うと、レシピのNew Versionは作れるのだが、パイプラインに反映できない（なんじゃこりゃ）。 パイプラインのアップデートできた コンソールだけだとできなくて、AWS CLIだとできる事が判明1。
JAWS DAYS 2022でのハンズオン資料のUpdate Verです
![[JAWS DAYS 2022] ハンズオン～コンテナサービスをCI/CDパイプラインでデプロイしよう～](https://cdn-ak-scissors.b.st-hatena.com/image/square/879d651c4dd541e5b0aaa1d6448fcdd76b462f33/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--KNh__url--%2Fg_center%252Ch_280%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYm9va19jb3Zlci82MjJhMjE0NWJjLnBuZw%3D%3D%252Cw_200%2Fv1627283836%2Fdefault%2Fog-base-book_yz4z02.jpg)
Dataform を活用してデータ変換パイプラインを構築する - バイセル Tech Blog
はじめに テクノロジー戦略本部データサイエンス部データアナリストの森山です。 バイセルでは事業部組織（以下、Biz メンバー）が自立してデータに基づいた意思決定を行うことを目的に、データ基盤を整備しグループの全社員に公開しています。 Biz メンバーは自分自身で SQL を書きデータ基盤から必要なデータを抽出しますが、そのためには基盤に蓄積したデータを必要な形式に変換・加工（以下、データ変換パイプライン）する必要があります。 今回は、データ変換パイプラインの構築のために導入した Google Cloud が提供する Dataform の利用事例をご紹介します。 Dataform をこれから活用しようと思っている方、実例が見つからず悩んでいる方の参考になれば幸いです。 ※なぜ Biz メンバーが SQL を書く環境を整備しているかは、以下の記事をご確認ください。 tech.buysell-t
2023-01-25 DS集会@VRChat
2022年9月30日、韓国の首都ソウル市から高速鉄道KTXで約2時間南下した位置にある光州市で、ある新工場の起工式が催された（図1）。固体高分子型燃料電池（PEFC）の世界的なリーダー企業である、英Intelligent Energy（インテリジェント・エナジー、IE）が、地元のスタートアップに自社製品「IE-DRIVE」の製造権をライセンスし、英国外で初となる生産を開始するのである。PEFCは、トヨタ自動車の燃料電池車（FCV）「MIRAI（ミライ）」に搭載されているのと同じ方式の高出力密度・低作動温度が特徴の燃料電池である。 朝鮮半島南西部の行政区である全羅南道の中心が光州広域市である。人口は約147万人。1980年に軍事独裁政権に抵抗する「光州事件」が起きた地として知られる。現在では、韓国において水素社会の取り組みに熱心な地域の1つ。既にFCバスが市内に導入されているが、今後すべてを
【パイプライン紹介】S-812217（zuranolone）は次世代抗うつ薬となりえるか？【塩野義】｜るなの株と医療ニュースメモ
先日、Akili社のデジタル治療アプリの件でも少し触れましたが、塩野義さんはSage社というバイオベンチャーとも組んで、新規大うつ病治療薬の開発も行っています。 前に少しだけ解説したこともあるのですが、今回塩野義特集ということで、もう少し踏み込んでみてみたいと思います。 大うつ病の概要 国内の大うつ病患者は500万人と言われています。 「うつは心の風邪」なんて言われて久しいですが、ストレスの多い現代社会において、増えてきている疾患であることは間違いありません。 国内の抗うつ薬市場は1600億円にものぼるといわれ、有望な市場と言えるかと思います。 大うつ病は薬だけでどうこうなるものではありません。 抗うつ薬の一種であるSSRIでの初回治療での寛解率が約37%、抗うつ薬を3回まで切り替えた際の累積寛解率は約67％しかありません。 簡単に言えば、薬の効果が低い疾患ということです。 そして効果発現
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
高リスクのパイプライン、弱者の多い地域に偏って分布、米国研究
機械学習パイプラインライブラリluigiのshell補完ツールを作った - エムスリーテックブログ
SmartNewsを支えるデータパイプラインとその運用
イラクとトルコ結ぶパイプラインが復旧、爆発で稼働停止後
「前例ない」パイプライン損傷、復旧に立ちはだかるこれだけの壁
ロシアからのガスパイプライン損傷、「破壊工作」か - 日本経済新聞
選手村に巨大水素タウン パイプライン1キロ整備 - 日本経済新聞
DataflowのFlexテンプレートとScioで動的なパイプラインを実現する - エムスリーテックブログ
ログパイプラインの4つの問題にLINEはどう立ち向かうか シンプルかつ拡張性のあるアーキテクチャを叶える、Icebergという選択肢
CoroutinesによるTensorFlow Liteの推論パイプライン構築 | さくらのナレッジ
Daggerを使用してCIパイプラインを作成する - Qiita
ロシア、ドイツ向けガス削減 海底パイプラインで40％（時事通信） - Yahoo!ニュース
米国パイプラインへのサイバー攻撃は氷山の一角 - MIYOSHIN海外ニュース
【DirectX12】Mesh Shaderを使用した次世代頂点パイプラインの検証 - Qiita
【処理高速化】パイプライン化による並列処理の考え方・手順・実装方法 | DevelopersIO
ストリーミング パイプライン | Cloud Dataflow | Google Cloud
VertexAIを利用した機械学習モデルにおける評価・分析パイプラインの構築
『ゴルビーのパイプライン大作戦（コンシューマー版）』が「プロジェクトEGG」で本日リリース！ - 週刊アスキー
食べログのCloud NativeなCI/CDパイプラインのお話 - Qiita
モノレポでのCI/CDパイプラインの定義方法を考える(GitLab)
Vertex Pipelinesによる機械学習パイプラインの実行
ロシアとドイツのパイプライン建設、米国が容認に転じる：朝日新聞デジタル
EC2 Image Builderのパイプラインをアップデートする方法 - Qiita
[JAWS DAYS 2022] ハンズオン～コンテナサービスをCI/CDパイプラインでデプロイしよう～
データパイプラインを作って改良する はじめてのデータ/アナリティクスエンジニアリング
日本を尻目に水素社会へ韓国まい進、50kmのパイプライン計画も