［GDC 2024］CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用
［GDC 2024］CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用 ライター：西川善司 セッションタイトルを訳すなら，「ようこそ，未来のGPUプログラミングモデル『GPU Work Graph』へ」 米国時間2024年3月18日に行われたGDC 2024の技術セッション「Advanced Graphics Summit: GPU Work Graphs: Welcome to the Future of GPU Programming」において，AMDとMicrosoftは共同で，DirectX 12の新機能「Work Graph」を発表した（関連リンク）。本稿では，Work Graphとは何で，どのような利点をもたらすのかを解説したい。 セッションを担当したMicrosoftのShawn Hargreaves氏（Dev Man
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く
TechBrew in 東京 〜CI/CDパイプライン改善の取り組み〜 ( https://findy.connpass.com/event/309537/) 登壇資料
GitHub Actions の self-hosted runners を AWS ECS で動かして、CI / CD パイプラインを作る - エクサウィザーズ Engineer Blog
DevOps エンジニアの 根本 征 です。 7月からエクサウィザーズ にジョインし、CI / CD パイプラインの改善や自動テストの布教などを行っています。 今回は GitHub Actions の self-hosted runners を AWS ECS 上に構築し運用してみたので、その試行錯誤について紹介したいと思います。 GitHub Actions と self-hosted runners self-hosted runners を Docker で動かす self-hosted runners を AWS ECS で動かす アプリケーションを AWS ECS へデプロイする Workflow を作る おわりに GitHub Actions と self-hosted runners GitHub Actions は GitHub ユーザーであれば現在多くの方がご存知・ご活用
バルト海のデンマーク領ボーンホルム島沖で確認されたパイプライン「ノルドストリーム2」でのガス漏れの様子。デンマーク軍提供（2022年9月27日提供、資料写真）。(c)AFP PHOTO / DANISH DEFENCE 【6月7日 AFP】米紙ワシントン・ポスト（Washington Post）は6日、天然ガスをロシアからドイツに輸送するパイプライン「ノルドストリーム（Nord Stream）」で昨年起きた爆発について、欧州の情報機関が3か月前にウクライナの特殊部隊による爆破計画を察知し米中央情報局（CIA）と情報共有していたと報じた。 同紙は、今年流出した米機密文書を分析。その結果、欧州のある情報機関が昨年6月、CIAに対し、ウクライナ軍の総司令官直属の潜水部隊がパイプラインの爆破を計画していると伝えていたとしている。どの国の情報機関かは特定されていない。 昨年9月16日に発生したノルド
AWS AmplifyでのフルスタックアプリケーションのCI/CDパイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ AWS AmplifyでのフルスタックアプリケーションのCI/CDパイプラインの構築 この記事は、Complete guide to full-stack CI/CD workflows with AWS Amplifyを翻訳したものです。 AWS Amplify は、1) 条件付きバックエンドデプロイ、2) ビルド時のaws-exports.js の自動生成、3) 異なるAmplify アプリケーション間でのバックエンドの共有といった３つの新しい機能をAmplify のCI/CD ワークフローに追加しました。これらの機能を使用することで、より柔軟にフルスタックアプリケーションをデプロイすることが可能です。 AWS Amplify は、フルマネージドな CI/CD およびホスティングサービスを提供し、開発者は Git リポジトリを接続するだけ
We organized Japanese financial reports to encourage applying NLP techniques to financial analytics. You can download… Part4からずいぶん間が空きましたが、その間にはデータ公開にまつわるもろもろの調整などがあったという。 Airflowを採用しなかった理由最終的にAirflowを採用しなかった理由は2つあります。 運用コスト開発コスト運用コスト Part3でも触れましたが、Airflowのホスティングは結構高くつきます。ホスティングサービスを提供しているのはGCPのCloud ComposerとAstronomerの2つが主です。Astronomerの場合は月額$100まで抑えることが可能ですが、固定で毎月かかるとなるとそこそこの金額です。 スケジューラーは、スケジュー
JenkinsとKubernetesを連携させてCIパイプラインを構築する時に、一番悩むの点は、いろいろな方法があるために、何を選択して良いか解らない。そして、実際に実装を進めると、様々な問題が発覚して、時間がかかってしまうことがある。 Jenkinsのプラグインで、Dockerに関するものだけでも約20種類、Kubernetesの関係するもので 約17種類もある。しかも、これらが問題なく動作するという保証も無い。筆者が経験したケースでは、資料が作られた時期から時間が経過すると共にプラグインが更新され、新たな問題が生じてしまい、動作しなくなっているなどがあった。そして、ドキュメントは、Jenkinsに詳しいエンジニア向けに書かれているために、普段触り慣れないJenkins初心者には難解な内容となっていることもある。 そして、Kubernetes上でJenkinsを動作させる場合にも問題が多
Kubeflow Pipelines の GCP マネージド版である AI Platform Pipelines を使って、機械学習パイプラインを動かした話です。どんなメリットがあるのか、どのような全体像になっているのかをまとめました。
はじめにこんにちは、Finatextでエンジニアをしている石橋（@bashi0501）です。 Finatextではコードに近いところでの小さいサイズのtestや静的解析にCircleCI, GitHub Actionsを利用し、クラウド環境へのリリースパイプラインにはより大きいサイズのテストを実環境と同じネットワークで実行したい、デプロイに使うクレデンシャルをむやみに他のサービスに置きたくないという理由からAWS CodeBuild, AWS CodePipelineを使用しています。 これまではCodePipelineによるリリースパイプラインをマネジメントコンソールから丹精込めてお手製で作っていました。が、以前の田島の記事でもあったように50個近くのAWSアカウントがある中でこれまでの方針で継続・展開していくのは厳しくなってきました。 そこでパイプラインは一つのAWSアカウントに集約し
資料中で出てくるサンプルには次の URL からアクセスできます GitHub: https://github.com/reproio/lab_sample_pipelines/tree/main/kfp 解説ブログ: https://tech.repro.io/entry/2021/06/22/125113 Colab : https://gist.github.com/AseiSugiyama/d189a43f656a3313837e820bc54f873b
昨年12月に Dataform の Google Cloud 加入が発表 されて以来, 関心を持って調べています. Dataform は BigQuery などのデータウェアハウス上で SQL を中心としたデータ変換パイプラインを構築するための仕組みです. 先日は Dataform で Google Analytics 4 の BigQuery Export データ を変換するパイプラインを作ってみたりもしました（GitHub: terashim/dataform-google-analytics-4-example）. Dataform は非常に強力なツールで, 簡単な SELECT 文を書けば CREATE TABLE 文や MERGE 文などデータ更新用のクエリを自動生成してくれます. しかし詳しく調べていくにつれて, より本格的なパイプラインを構築するにはやはり BigQuery
HBaseとKafkaによるデータパイプライン構築。LINE Messaging Platformにおける活用法
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「 DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話についてインタビューします。今回の対象セッションは「LINE Messaging Platform におけるHBaseとKafkaのデータパイプラインと活用例」です。 LINEでは、Messaging Platformのストレージミドルウェアの1つとしてApache HBase（以下、HBase）を使用しています。HBaseのレプリケーショ
CodePipeline で簡単 Terraform CI/CD パイプラインの実装 | DevelopersIO
今回は、CodeCommit への push をトリガーに CodeBuild で terraform apply する CodePipeline を作成してみたいと思います。ざっくり環境は以下のとおりです。 環境 Terraform Backend S3 DynamoDB CodeCommit CodeBuild CodePipeline Terraform Backend の作成 今回は CI/CD パイプラインを使って Terraform を管理しますので、tfstate ファイルは共有可能な場所に保存する必要があります。また、このパイプラインは複数人が利用することが想定されるため、git push のタイミングによっては、同時に terraform apply が動作し tfstate に競合が発生してしまう可能性があります。 これらの課題は Terraform の Backend
概要 はじめに Qlibの試用 動作条件 使用したrequirements.txt データの取得 予測の実施 出力 図示 ソースコード バックテストでのポートフォリオ分析 リスク分析、分析モデル おわりに 概要 本記事では、Qlibを使用して、機械学習パイプライン環境を構築する第一歩について述べる。 はじめに このブログの趣旨としては、当初は「戦略作成」→「戦略検証」→「戦略稼働」→「成果の評価」→「戦略へフィードバック」といったサイクルを管理できるような自動トレーディングシステムを作ることを考えていた。 最近、すこし株取引から離れていたのだが、最近になってまたやり始めようかなと思い、色々と現在の状況を調べはじめた。 その中で、MicrosoftのリポジトリにQlibというものがあるのを見つけた。これが2020年の8月から作られたもので、現在でもメンテされており、もしかするとこれがやりたい
実践的な「Trivy」利用方法～「VSCode」によるスキャンからCI/CDパイプライン、「Trivy Operator」による継続的なスキャン～
実践的な「Trivy」利用方法～「VSCode」によるスキャンからCI/CDパイプライン、「Trivy Operator」による継続的なスキャン～：Cloud Nativeチートシート（18） Kubernetesやクラウドネイティブをより便利に利用する技術やツールの概要、使い方を凝縮して紹介する連載。今回は、Trivyの代表的な利用シーンを取り上げながら、実践的に利用するための検討ポイントを解説する。
その昔、初めてのサーバーレスアプリケーション開発というブログを書きました。 このシリーズを通して出来上がるものは、AWSのコードシリーズを用いてAWSリソースをデプロイするためのパイプラインです。 時は流れ、2020年。同じような仕組みを作るのであればCDKとGithub Actions使いたいという思いに駆られたので、こんな感じのパイプラインを作成してみました。 今回作成したコードは以下のリポジトリにあげています。 cdk-github-actions 目次 CDKとGithub Actions 今回構築するアプリケーションの全体構成はこちら。 CDKで「クライアントからリクエストを受けて文字列を返却する」簡単なアプリケーションを作成します。 AWSにデプロイされるまでの流れは以下のようになります。 ローカルでCDKを使ったアプリケーションを作成 featureブランチを作成しmaste
オープンワールド工場建設ゲーム『Satisfactory』パイプラインと液体資源を追加する大型アプデ配信。Steam版の発売も決定 - AUTOMATON
ホーム ニュース オープンワールド工場建設ゲーム『Satisfactory』パイプラインと液体資源を追加する大型アプデ配信。Steam版の発売も決定 デベロッパーのCoffee Stain Studiosは2月11日、『Satisfactory』の大型アップデート第3弾を配信したと発表した。また、本作は現在Epic Gamesストアにて早期アクセス販売中だが、近日中にSteamで販売開始することも明らかにしている。ちなみに時限独占期間は1年で、Epic Gamesストアで発売されたのは2019年3月19日である。 本作は、未知の惑星を舞台にした一人称視点の工場建設ゲームだ。FICSIT社の従業員となったプレイヤーは、天然資源豊富なオープンワールド世界を探索し、独自の工場を建設。自動化を進め効率性を高めるなどカスタマイズをおこないながら工場を拡大・発展させていく。マルチプレイに対応し、野生生
scikit-learnで機械学習パイプラインをインタラクティブに描画、HTML保存する方法 - Qiita
本記事では、scikit-learnのv0.23から搭載された、インタラクティブなパイプライン確認の実装、そしてそれをHTML化して保存、活用する方法を解説します。 環境 scikit-learn==0.23.2 Google Colaboratory 本記事の実装コードはこちらに置いています https://github.com/YutaroOgawa/Qiita/tree/master/sklearn 実装 [1] バージョン更新 まず、Google Colaboratoryのscikit-learnのバージョンが2020年9月ではv0.22なので、v0.23へと更新します。 !pip install scikit-learn==0.23.2 pipで更新したあとは、Google Colaboratoryの「ランタイム」→「ランタイムを再起動」を実行し、 ランタイムを再起動します。 （
たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込めるようにする スケーラビリティの確保 DataRobotについて スコアリングコード機能 実装上のポイント 工夫点 はまったポイント 所感 あとがき TL;DR 機械学習基盤をKubernates上で構成することで、機械学習にかかわる一連の処理の再現性を担保できるようになった。 AutoML製品（DataRobot)の機能をKubernates（以下k8s)上で実行させることで、バッチ予測を並行実行し、大幅に高速化することができた。 データサイエンティストが自分自身で容易に機械学習パイプラインの定義・デプロイができるようになった。 自己
ロシアのパイプライン損傷、爆発も ガス漏れ、破壊工作の可能性 2022年09月27日23時29分 ２７日、デンマークのボーンホルム島沖で撮影されたパイプライン「ノルドストリーム２」からのガス漏れ（ロイター時事） 【ベルリン時事】ロシアからバルト海経由でドイツに天然ガスを運ぶパイプライン「ノルドストリーム１」と「２」の圧力が大幅に低下していることが分かった。運営会社が２６日、発表した。破壊工作により、パイプラインが損傷したとの見方が強まっている。 バルト海沖、フェリーで火災 ３００人乗り、積載車が炎上か デンマークとスウェーデンは、両国の排他的経済水域（ＥＥＺ）内でガスの流出を確認。「１」で２カ所、「２」で１カ所のガス漏れがあった。ロイター通信によると、スウェーデンの当局は２７日、周辺で爆発を観測したと明らかにした。デンマークは、ガス漏れ地点とみられるボーンホルム島沖から５カイリ内の船舶航行
gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ
初めまして！2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音！)をゼロから実装し、OSSとして公開しました。 github.com この記事ではkannonの技術的な解説、インターンに参加した感想をお伝えします！ gokartの概要 gokartの抱えていた課題 シングルスレッドでの逐次実行により実行時間が長くなってしまう GKEのリソースを効率的に使えない kannonの概要 kannonの使い方 gokart kannon gokart kannon 補足 kannonのアーキテクチャ kannonの実装 1. Task Que
ゼロから始める Kubeflow での 機械学習パイプライン構築
第一引数版パイプライン演算子 - Qiita
You can read this article in English. Ruby の trunk にパイプライン演算子が入ったと話題になっていますね。 現在は意見募集中みたいな期間らしいので、思うところがある人は意見を上げると良いのではないでしょうか。 （※ Matz は「余計な混乱を生むから、名前は『チェーン演算子』とかにして記号も変更するよ（ >>> とか？）」って言ってますね。 参照） ところでこの「パイプライン演算子」そのものについて、これを期に色々と語られているようですね。 @mame さんの記事がよくまとまっていてとてもわかりやすく読みやすいです。 雑に今回お話する内容に関係ある要点を抽出します。 Isabelle/ML が発祥で F# が広めた 本来は「演算子の前の式の結果を、後ろの式の結果に関数適用するもの」 なのだけど Elixir はこれを「前の式の結果を後ろの関数
パイプライン損傷、中国船が関与か フィンランド
フィンランドとエストニアをつなぐ天然ガスパイプライン「バルチックコネクター」が敷設されている海域を航行するフィンランドの巡視船。国境警備隊提供（2023年10月11日撮影）。(c)AFP PHOTO /Finnish Border Guard 【10月21日 AFP】フィンランド警察は20日、同国とエストニアをつなぐ天然ガスの海底パイプラインが損傷した問題で破壊工作が行われた疑いがあるとして、中国船に捜査対象を絞っていると明らかにした。 今月8日、「バルチックコネクター（Balticconnector）」と呼ばれるパイプラインの漏えいが確認されたため、運転が停止された。当局は「外的」活動の可能性があるとして捜査を行ってきた。 フィンランド警察は、「香港の旗を掲げた船舶『ニューニュー・ポーラーベア（Newnew Polar Bear）』の動きが、パイプラインが損傷した時刻と場所と一致している
ロシアとドイツを結ぶ海底の天然ガスパイプライン、ノルドストリームでガス漏れが起き、原因をめぐって、海底で爆発が観測されたという情報や意図的に壊されたという見方も伝えられ、何が起きたのか、関心を集めています。 ロシアからドイツ向けの天然ガスパイプラインをめぐって27日、デンマーク軍がバルト海にあるボーンホルム島沖の3か所でガス漏れが確認されたと明らかにしました。 それによりますと、ガス漏れは2つあるパイプラインのうち、ノルドストリーム1の2か所、ノルドストリーム2の1か所で起き、軍はガス漏れが原因とみられる泡が海面に発生している映像を公開したほか、デンマーク当局は海上交通に危険があるとして、島の沖から5海里以内の航行を禁止しました。 このパイプラインをめぐっては、ロシア側がウクライナへの軍事侵攻後に供給量を大幅に減らし、先月末から完全に停止していて、残っていたガスが漏れたとみられます。 ガス
こんばんは@manoです。もう今年も12月ですね。 12月ということで、今年もNewsPicksではアドベントカレンダーをやります！(って、僕は初参加なんだけども。) 実はここで話すのは初めてですが、僕は(株)NewsPicksの社員で、この記事はNewsPicks Advent Calendar 2019の1日目の記事ということになります。 最近CDKばっかり触っているということもあり、当ブログとしてはここまで2記事連続でCDK関連の話をしてきましたが、今日もCDK関連の話をします。 NewsPicksでは現在、デプロイフローの見直しを進めています。 現状はAWSで、auto scaling groupで管理されたEC2インスタンスに、NewsPicksのアプリケーションはJAVAがメインであるため.warファイルを配置し、Nginx & Tomcatといったwebサーバー構成でアプリケ
Rust製パターンマッチングマシンDaachorseを使ってPythonパイプラインを高速化する話 - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回は文字列界隈を賑わせている高速なRust製パターンマッチングマシンDaachorseをPythonで呼び出して既存の文字列パターンマッチロジックを高速化したお話をします。 Daachorseとは なぜPythonから呼び出したいのか パターンマッチングのみのベンチマーク python-daachorseだけオートマトン構築込みのベンチマーク まとめ We are Hiring! その他 Daachorseとは DaachorseはLegalForceさんで開発運用されている文字列パターンマッチを行うRust製ライブラリです。 github.com 技術的なトピックに関してはLegalForceさんの記事が全て解説しているののでそちらを参照してくだ
アメリカ国内最大の石油パイプラインが先週末、サイバー攻撃を受けた問題で、サイバー犯罪集団「ダークサイド」が10日、関与を認める声明を発表した。
ロシア国防省のコナシェンコフ報道官は29日、ロシア産天然ガスをバルト海経由でドイツに送る海底パイプライン「ノルドストリーム」と「ノルドストリーム2」で9月末に起きた爆発によるとみられるガス漏れについて、ウクライナ軍を支援する英軍関係者が計画と実行に関与したテロ行為だと発表した。コナシェンコフ氏は具体的な根拠は示さなかった。ロシアが公然と英軍の関与を指摘したことで英国側の反発は必至。ウクライナ侵
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
Kubernetes Meetup Tokyo#24で「ZealsでのCI/CDパイプライン構築事例」について登壇しました！ - Zeals TECH BLOG
こんにちは！ 普段はGolangでMicroservicesを開発しているぱんでぃーです！ 今回のエントリーでは『Kubernetes Meetup Tokyo #24』でLT枠として登壇してきたレポートをお届けします！ k8sjp.connpass.com LTに登壇しようと思った経緯 『Kubernetes Meetup Tokyo』はKubernetesはもちろん、そのエコシステムの一部として利用されるCloud Nativeなテクノロジーについて情報交換や交流を行うミートアップです。イベントは毎月開催されているのですが、CNCF（Cloud Native Computing Foundation）まわりのテクノロジーは急成長しているため、毎回新しい発見があります！！（ついていくのも大変ですが・・・笑） k8sjp.connpass.com 私自身も過去10回ほど、一般参加者としてミ
「入門機械学習パイプライン」にSagemaker Studio Labで入門する | Amazon Web Services
前半の章では、これらの各ステージの意義とTFXを用いた実装を主として取り扱っています。 第３章ではExampleGenを用いた構造化・非構造化データの取り込み方法とベストプラクティスが紹介されています。 それに加えて、取り込んだデータをトレーニング、評価、テスト用に分割する方法や、データセットのバージョン管理についても解説があります。 第４章ではTensorFlow Data Validation (TFDV)を用いてデータセットの検証を行っています。 TFDVを用いてデータから要約統計量を計算し、データセットを表現するスキーマを生成しています。また、スキーマを元に同じ種類の２つのデータセット間（学習データセットと検証データセットや別日に収集された学習データセット）の差が許容されるものであるかをチェックしたり、TFDVを用いてデータセットを選択した特徴量でスライスし、データセットのバイアス
Colonial Pipeline Hackers, DarkSide, Apologize, Say Goal 'Is to Make Money' ＜アメリカ最大手の燃料パイプラインにサイバー攻撃をしかけたサイバー犯罪集団が、社会に迷惑をかけるつもりはなかったと声明を出した＞ アメリカの燃料送油管会社コロニアル・パイプラインがサイバー攻撃を受け、5月7日にパイプラインの稼働を停止した事件に関して、ランサムウエア（身代金ウイルス）攻撃を行ったハッカー集団が関与を認めた。そして異例の謝罪を行なった。犯行の目的は「金儲け」であって、「社会で問題を起こすこと」ではなかったと。 一時的な操業停止に追い込まれたパイプラインは、全長約8800キロあまりで、アメリカ東海岸で諸費されるディーゼル、ガソリン、ジェット燃料の45%を供給している。バイデン政権は９日に緊急声明を出さざるをえなくなった。 コロニ
ウクライナ将校関与か 昨年のパイプライン爆破事件 2023年11月12日09時57分 海底パイプライン「ノルドストリーム」から流出し、海面に噴出する天然ガス＝２０２２年９月、バルト海（ＡＦＰ時事） 【ベルリン時事】米紙ワシントン・ポスト（電子版）と独誌シュピーゲル（同）は１１日、ロシア産天然ガスを欧州に送る海底パイプライン「ノルドストリーム」が昨年９月に爆破された事件について、ウクライナ軍将校が調整役として深く関わっていた疑いが浮上していると報じた。西側当局者らの話を基に伝えた。 パイプライン爆破、３カ月前に察知か ウクライナ軍が計画―米紙 この将校は、ロマン・チェルビンスキー大佐。報道によると、ウクライナ上層部の命令を受け、特殊部隊所属のチェルビンスキー氏が、偽造パスポートなどを用いパイプラインに爆発物を仕掛けた潜水士ら実行役６人の後方支援を担った。ウクライナ軍のザルジニー総司令官は一連
MessagePack for C#のVersion 2を本日リリースしました。出る出る詐欺で、一年がかりでリリースまで漕ぎ着けました！とにかくめっちゃ時間かかった、死ぬほど私のリソースが取られていた、ので本当にリリースまで持ってこれてよかった……。めでたし。 今回はとてもOSSっぽく開発していて、メインの開発はMicrosoftのVisual StudioチームのPrincipal Software EngineerであるAndrew Arnottさんが書いています。私はそれに対してひたすら、APIデザインが好きじゃないだの、パフォーマンスが私の基準に満たしてないだの、文句つけまくる仕事をしていました。しかしコードのクオリティはさすがに非常に高くて、私だけだったらここには至れなかっただろうことを考えると、いい感じの共同開発ができたんじゃないかなあと思います。その結果として、一年前に掲示さ
ランサムウェア攻撃を受けて操業を停止していたアメリカ最大の石油パイプライン企業・Colonial Pipelineが、身代金として500万ドル(約5億4800万円)以上を支払ったことがわかりました。 Colonial Pipeline Paid Hackers Nearly $5 Million in Ransom - Bloomberg https://www.bloomberg.com/news/articles/2021-05-13/colonial-pipeline-paid-hackers-nearly-5-million-in-ransom Colonial Pipeline paid $5 million ransom to hackers https://www.cnbc.com/2021/05/13/colonial-pipeline-paid-ransom-to-hac
はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…？と思ったので、今回は機械学習パイプラインライブラリを個人で開発してみている話をします。なお、本記事では機械学習パイプラインを「データの加工・モデルの学習・推論を一連のワークフローとして実行出来るツール」とし、データ収集やデプロイ、分布シフトの監視などの工程については言及しないものとします。また、比較的小規模なプロジェクトの検証段階で利用することを前提とします。 開発したパイプラインのライブラリは以下のリポジトリでバージョン0.0.1として公開しましたので、実装の詳細はリポジトリをご参照ください。ドキュメントとかも
ロシアとドイツを結ぶ天然ガスパイプライン「ノルドストリーム」で起きた大規模なガス漏れについて捜査しているスウェーデンの治安当局は、パイプラインが壊れた現場の近くから爆発物の一部が見つかったとして、何者かによる破壊工作と断定したと発表しました。 バルト海を経由してロシアとドイツを結ぶガスパイプライン「ノルドストリーム」では、ことし9月下旬、2本のパイプラインの合わせて4か所で大規模なガス漏れが確認され、何者かによる破壊工作との見方が強まっていました。 自国の排他的経済水域で2か所のガス漏れが確認されたスウェーデンの治安当局は18日、現場の押収物を分析した結果、爆発物の一部が見つかったとして「重大な破壊工作にあたると結論づけた」と発表しました。 「ノルドストリーム」のガス漏れをめぐって、スウェーデンの治安当局は先月、爆発が原因だと発表していましたが、破壊工作と断定されたことで、今後、関係国と協
機械学習パイプライン構築を楽にするgokart-pipelinerを作った - Stimulator
- はじめに - luigi、gokartで作ったtaskのパイプライン構築をちょっと楽にする（かもしれない）管理するためのツールを作った。 github.com 近年、MLOpsの一部である機械学習のためのパイプラインを構築するためのツールは飽和状態にあるけどそれらと比較してどうなのという話も書く。 - はじめに - gokart-pipelinerを使ってみる gokartの良さ gokart-pipelinerの意義 パラメータとパイプラインが密結合しすぎ パイプラインライブラリなのにやればやるほどrequiresメソッドが複雑になる jupyter notebookと行き来するのがダルい future work おわりに gokart-pipelinerを使ってみる gokartはエムスリー株式会社が開発している機械学習パイプラインOSSである。gokart自体、使った事がないし興
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAG評価ツールの "RAGAS" を使って、RAGパイプラインの性能を測定する - Qiita
AWSで構築するCDパイプラインとその改善
パイプライン爆破 ウクライナ軍が計画、CIAも事前に把握か 米紙
Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part5 (End)
JenkinsとKubernetesでCIパイプラインを構築 - Qiita
AI Platform Pipelines を使って機械学習パイプラインを動かす話
CI/CDパイプラインを構築するにあたってaws-cdkにcontributeした話
Vertex Pipelines ではじめるサーバーレス機械学習パイプライン
BigQuery 上でデータ変換パイプラインを構築するための SQL の書き方 | terashim.com
Qlibを使った機械学習パイプライン環境の構築 投資の取引戦略最適化と機械学習モデル作成の省力化を目指して - 株のシステムトレードをしよう - 1から始める株自動取引システムの作り方
CDKとGithub ActionsによるCI/CDパイプライン | DevelopersIO
ロシアのパイプライン損傷、爆発も ガス漏れ、破壊工作の可能性：時事ドットコム
ゼロから始める Kubeflow での機械学習パイプライン構築
ロシアとドイツ結ぶパイプラインでガス漏れ 原因に関心高まる | NHK
CDKでEC2のBlue/Greenデプロイをするパイプラインを作る - mano’s diary
米石油パイプラインのハッカーが声明 「問題起こすつもりなかった」 - BBCニュース
ロシア国防省、パイプライン爆発に「英国関係者が関与」 - 日本経済新聞
パイプライン攻撃のダークサイド、「次は標的を選ぶ」と謝罪
ウクライナ将校関与か 昨年のパイプライン爆破事件：時事ドットコム
neue cc - MessagePack for C# v2によるC#における最新のI/Oパイプライン最適化
5億円以上の身代金をランサムウェア攻撃を受けたパイプライン会社が支払ったことが判明
実験を高速化する機械学習パイプライン開発の挑戦 - ABEJA Tech Blog
パイプラインのガス漏れ 破壊工作と断定 スウェーデン治安当局 | NHK