本記事ではデータパイプラインにおいてべき等性（Idempotent）を保つための方法について、パターン分けして整理してみたいと思います。 1. はじめに データパイプラインでは べき等性（Idempotent）と言われる「ある操作を何度実施しても同じ結果になる」という条件を満たすことが好ましいと言われています。 ただし、べき等性を満たすためには具体的にどうすれば良いかというのは結構難しいので、自分の頭の整理も兼ねてパターンに分けて考えてみたいと思います。 単純化のために操作を1回実行した結果と2回実行した場合を考えたいと思います。 同じ状態（上図の「初期状態」）から操作を1回実行した場合と2回実行した場合の結果の状態（それぞれ「状態X」「状態Y」）が同じであれば、べき等性を実現できていると本記事では考えます。 1回実行時の操作 (A) と2回実行した場合の2回目の操作 (C) は、正しい入
CI/CDパイプラインをコード化することで継続的な構築・メンテナンスを可能にするPipeline as Codeという取り組みが注目を集めている。システム開発で当たり前になったコードのバージョン管理や自動テスト・実行環境のメンテナンスがCI/CDパイプラインにも及んでいるのだ。 本セッションでは、NTTコミュニケーションズの杉野博徳氏が、自分たちのチームで取り組んできたPipeline as Codeについて解説した。杉野氏は、NTTコミュニケーションズの社内向けSREという立場で、3年にわたって自分たちと複数のアプリケーション開発チームのCI/CDパイプラインを構築・メンテナンスしてきた。開発チームなどで継続的デリバリーの環境構築・メンテナンスに取り組むエンジニアにとって役立つ事例となるだろう。 CI/CDパイプラインで考慮すべき3つのポイント NTTコミュニケーションズ株式会社 イノベ
AWS知見共有会でTerraformのCI/CDパイプラインのセキュリティ等について発表してきました + GitHub新機能Push rulesについて - LayerX エンジニアブログ
先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表してきています。 イベントの動画もあります。 私の発表は 1:43 ぐらいからです。 この発表については資料と動画を見ていただければ！という感じで特に付け加えることもなかったのですが、イベントの開催後にGitHubから発表された新機能Push rulesがとても便利で、新たなベストプラクティスとなるインパクトがあると思ったので、この記事で紹介します。 Push rulesとは つい昨日発表された機能で、現在はpublic betaという状態です。なので、仕様変更と
続・ムダな仕事を増やしてませんか？ ~ MLの実行パイプラインでworker間の重複作業をなくす ~ - エムスリーテックブログ
DALL-E作成の「worker間で重複タスクを確認しながら作業を進める」イメージ図です こんにちは。AI・機械学習チーム（以下AIチーム）の池嶋(@mski_iksm)です。 仕事で、誰か一人がやればいい作業を、気がついたら同僚と同じタイミングでやっていた、という経験はありませんか？ せっかく頑張って作った機能が実は被っていてムダになってしまった。。。というのは誰もが悲しいものです。 そうならないように作業チケットを切るなどしてタスクを中央管理する方法もありますが、もっとゆるくやりたいこともあるかと思います。 そういうときは一言「この作業私がやりますね！」と声掛けをすれば済みますね。 以前のブログで、私たちはgokartを使ったMLパイプラインの効率化について掘り下げました。 具体的には、「すでに完了したタスクをスキップする」と「タスクの実行順序をできるだけランダムにする」という2つの戦
リリース戦略を支えるCI/CDパイプライン | ドクセル
スライド概要 マイクロサービスアーキテクチャを採用したプロジェクトにおいて、複数のチームが協力してリリーストレインを進める際に、自律的かつ効率的なリリース調整を行う方法を紹介します。 リリース戦略においてマイクロサービスアーキテクチャの特性を考慮し、チーム間のコミュニケーションを最小限に抑えつつ、効率的なプロセスを実現するためのアプローチおよびそれを支えCI/CDのワークフローに触れます。 イベントページはこちら https://testnight.connpass.com/event/311263/
© 2024 DATUM STUDIO Co. Ltd. データパイプラインの処理⽅法 データ処理にはバッチ処理とストリーミング処理の⼆つがある 源泉システム ストリーミング DWH Data Lake バッチ ü s3などにファイルを置いてもらう/ingestツールを使う ü 源泉システムの断⾯を保持するため扱いやすい ü Kafkaなどのメッセージングキューから連携 ü データの到着順が⼊れ替わることがあるので、ログ系のデータ向き ü バッチでのLoadが間に合わない場合にも採⽤される バッチ バッチ ストリーミング ü ⼀括ですべてのデータを処理 ü マシンパワーの強い近年のDWH製品と相性が良い ü viewやlambda viewによる実装 ü 分析に即時性が求められる場合に採⽤ される ü 複雑な処理設計が必要になる （個⼈的にはなるべく避けたい） （同左） ① ② ※ほんとは
［GDC 2024］CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用
［GDC 2024］CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用 ライター：西川善司 セッションタイトルを訳すなら，「ようこそ，未来のGPUプログラミングモデル『GPU Work Graph』へ」 米国時間2024年3月18日に行われたGDC 2024の技術セッション「Advanced Graphics Summit: GPU Work Graphs: Welcome to the Future of GPU Programming」において，AMDとMicrosoftは共同で，DirectX 12の新機能「Work Graph」を発表した（関連リンク）。本稿では，Work Graphとは何で，どのような利点をもたらすのかを解説したい。 セッションを担当したMicrosoftのShawn Hargreaves氏（Dev Man
AWS 上の CI/CD パイプラインにおける Terraform State ファイル管理のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS 上の CI/CD パイプラインにおける Terraform State ファイル管理のベストプラクティス はじめに 昨今、多くのお客様はインフラストラクチャのデプロイとメンテナンスに関する手動運用を減らしたいと考えています。 AWS でインフラストラクチャをデプロイしたり運用したりするためには、 AWS CloudFormation、AWS Cloud Development Kit (AWS CDK)、 Terraform のようなツールを利用した Infrastructure-As-Code (IaC) モデルを採用することが推奨されます。 Terraform を利用する上では、インフラストラクチャの設定やリソースを追跡するための State ファイルの管理がとても重要な要素となります。 AWS 上の CI/CD パイプラインで
TechBrew in 東京 〜CI/CDパイプライン改善の取り組み〜 ( https://findy.connpass.com/event/309537/) 登壇資料
2023-01-25 DS集会@VRChat
AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築 AWS Step Functions は、完全マネージドのビジュアルワークフローサービスで、AWS Glue、Amazon EMR、Amazon Redshift などのさまざまな抽出・変換・読み込み (Extract, Transform, Load; ETL) テクノロジーを含む複雑なデータ処理パイプラインを構築できます。個々のデータパイプラインタスクを繋ぎ、ペイロード、リトライ、エラー処理を最小限のコードで構成することで、ワークフローを視覚的に構築できます。 Step Functions は、データパイプライン内のタスクが一時的なエラーで失敗した場合、自動リトライとエラー処理をサポートしていますが、アクセ
ソースからのデータ入力、機械学習モデルへのデータ出力、学習パターンの調整といった一連の処理構造「パイプライン」をリアルタイム画像生成のために最適化した「StreamDiffusion」が登場しました。 [2312.12491] StreamDiffusion: A Pipeline-level Solution for Real-time Interactive Generation https://arxiv.org/abs/2312.12491 GitHub - cumulo-autumn/StreamDiffusion: StreamDiffusion: A Pipeline-Level Solution for Real-Time Interactive Generation https://github.com/cumulo-autumn/StreamDiffusion/tree
[速報] 拡張イメージスキャンが CI/CD パイプラインに組み込めるようになりました！#AWSreInvent | DevelopersIO
こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 re:Invent 2023 でラスベガスにきています。最終日のキーノートにて、 拡張イメージスキャンが CI/CD パイプラインに組み込めるようになりました！ 今までどんな状態だったか まず初めに、AWS で提供されているコンテナイメージスキャンをおさらいしてみます。 AWS では、 ECR ベーシックスキャンと、Inspector v2 を利用した拡張スキャンの2種類が提供されています。 オンデマンドスキャン 使っている DB 等、いくつか違いがあるのですが、「CI に組み込めるか？」と言った目線だと、 ベーシックスキャンはオンデマンドスキャンが可能なため、 CI に組み込めて、拡張スキャンは対応していなかったため、組み込めませんでした。 以下は BuildSpec でベーシックスキャンを CI
![[速報] 拡張イメージスキャンが CI/CD パイプラインに組み込めるようになりました！#AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0831131249568b6a5c4b12b46a8249f87f5faf99/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F12%2Fimage-1.png)
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く
参考：私にはどのタイプのパイプラインが適していますか? - AWS CodePipeline なお以下の設定画面の通り、CodePipelineのパイプラインタイプは、パイプライン作成後でも切り替える事が可能なようです。 本記事ではパイプラインレベル変数について試してみます。 V1タイプでもアクションレベル変数は使用可能ですが、以下の通り使用できる変数は決まっています。 参考：可変 - AWS CodePipeline これらの変数以外で、自身でカスタマイズした変数を使用したい場合、今回のアップデートで追加されたパイプラインレベル変数が使用できます。 ただし、ビルドアクションで良く利用されるCodeBuildでは、以下のブログの通り既に様々な手法で変数を指定する事ができます。 そのため今回のアップデートで追加されたパイプラインレベル変数は、主に承認アクションやデプロイアクションで使用する機
【お知らせ】マネージドサービスのログの扱いとマルチアカウント構成でのCI/CDパイプラインの仕組み～NRIネットコム TECH AND DESIGN STUDY #17～ - NRIネットコムBlog
こんにちは！ブログ運営担当の小嶋です。 次回の当社主催の勉強会「NRIネットコム TECH & DESIGN STUDY」についてのお知らせです! 11/21（火）19:00~20:00「マネージドサービスのログの扱いとマルチアカウント構成でのCI/CDパイプラインの仕組み～NRIネットコム TECH AND DESIGN STUDY #17～」が開催されます!! 【1本目】マネージドサービスのログ扱いのグッドプラクティス！～コスパよい安全な保管方法から分析まで ▼登壇者 ▼こんな方におすすめ 【2本目】マルチアカウント構成でのCI/CDパイプラインの仕組みを理解しよう ▼登壇者 ▼こんな方におすすめ 【日程・タイムスケジュール】 お申し込みはこちらから 今回のTECH & DESIGN STUDYは、当社クラウドエンジニアからマネージドサービスのログ扱いのグッドプラクティスとマルチアカウ
本記事は 【コンテナウィーク】 1日目の記事です。 💻 告知記事 ▶▶ 本記事 ▶▶ 2日目 📱 こんにちは。梅原です。 皆さんはCI/CDパイプラインやってますか。昨今はパイプラインファーストという考え方もあり、ソースコードの変更反映をトリガーにテストやビルド、デプロイまで自動でやることは多いのではないでしょうか。 今回はAWSでCI/CDパイプラインを実現するためのサービスであるCodeシリーズ（CodeCommit、CodeBuild、CodeDeploy、CodePipeline）を使ってECSへ自動デプロイする流れを見ていきます。 AWSでCI/CDパイプラインを実現するために そもそもCI/CDパイプラインは、継続的インテグレーション/継続的デリバリーの略で、これまで手動でしていたテストやビルド、デプロイ作業を自動化･高速化するために使われるものです。 CI/CDパイプライ
ウクライナ将校関与か 昨年のパイプライン爆破事件 2023年11月12日09時57分 海底パイプライン「ノルドストリーム」から流出し、海面に噴出する天然ガス＝２０２２年９月、バルト海（ＡＦＰ時事） 【ベルリン時事】米紙ワシントン・ポスト（電子版）と独誌シュピーゲル（同）は１１日、ロシア産天然ガスを欧州に送る海底パイプライン「ノルドストリーム」が昨年９月に爆破された事件について、ウクライナ軍将校が調整役として深く関わっていた疑いが浮上していると報じた。西側当局者らの話を基に伝えた。 パイプライン爆破、３カ月前に察知か ウクライナ軍が計画―米紙 この将校は、ロマン・チェルビンスキー大佐。報道によると、ウクライナ上層部の命令を受け、特殊部隊所属のチェルビンスキー氏が、偽造パスポートなどを用いパイプラインに爆発物を仕掛けた潜水士ら実行役６人の後方支援を担った。ウクライナ軍のザルジニー総司令官は一連
香港船舶が原因か ガスパイプライン破損―フィンランド警察 2023年10月25日07時40分配信 フィンランドとエストニアを結ぶ海底ガスパイプライン損傷による稼働停止、現場近くを巡航するフィンランドの海洋巡視船＝１１日（ＡＦＰ時事） 【ロンドン時事】フィンランドとバルト３国のエストニアを結ぶ海底ガスパイプラインが損傷により稼働を停止した問題で、フィンランド警察は２４日、中国の海運会社が保有する香港船籍の船舶が原因とみられるとの見解を発表した。警察はパイプラインが故意に傷つけられた可能性もあるとして、中国当局と協力して捜査を進めている。 海底パイプラインでガス漏れ 破壊工作の可能性―フィンランド 警察はこの日、損傷地点から数メートル離れた場所で損傷を引き起こしたとみられるいかりを引き揚げた。パイプラインと接触した痕跡があるほか、海底には引きずられた跡もあったという。 国際 コメントをする 最
パイプライン破損調査で中国船が焦点に、中国は客観的調査求める
中国外務省は２３日、海底ガスパイプライン破損の原因を調査しているフィンランドに「客観的、公正かつ専門的」な調査を求めた。破損状況の調査、フィンランド海軍の提供写真。（2023年 ロイター） ［北京 ２３日 ロイター］ - 中国外務省は２３日、海底ガスパイプライン破損の原因を調査しているフィンランドに「客観的、公正かつ専門的」な調査を求めた。
パイプライン損傷、中国船が関与か フィンランド
フィンランドとエストニアをつなぐ天然ガスパイプライン「バルチックコネクター」が敷設されている海域を航行するフィンランドの巡視船。国境警備隊提供（2023年10月11日撮影）。(c)AFP PHOTO /Finnish Border Guard 【10月21日 AFP】フィンランド警察は20日、同国とエストニアをつなぐ天然ガスの海底パイプラインが損傷した問題で破壊工作が行われた疑いがあるとして、中国船に捜査対象を絞っていると明らかにした。 今月8日、「バルチックコネクター（Balticconnector）」と呼ばれるパイプラインの漏えいが確認されたため、運転が停止された。当局は「外的」活動の可能性があるとして捜査を行ってきた。 フィンランド警察は、「香港の旗を掲げた船舶『ニューニュー・ポーラーベア（Newnew Polar Bear）』の動きが、パイプラインが損傷した時刻と場所と一致している
フィンランド湾の海底ガスパイプライン損傷 破壊工作か
フィンランドとエストニアをつなぐ天然ガスパイプライン「バルチックコネクター」が敷設されている海域を航行するフィンランドの巡視船。国境警備隊提供（2023年10月11日撮影）。(c)Handout / various sources / AFP 【10月11日 AFP】フィンランドとエストニアをつなぐ天然ガスの海底パイプラインが8日、圧力の低下が確認されたため運転が停止された。フィンランドのサウリ・ニーニスト（Sauli Niinisto）大統領は10日、原因について、外的活動の可能性があるとの認識を示した。 パイプラインは「バルチックコネクター（Balticconnector）」と呼ばれ、フィンランド湾の海底に敷設。ロシアによるウクライナ侵攻を受けて昨年5月にロシア産天然ガスの輸入が停止されて以降、フィンランドにとって、液化天然ガス（LNG）を除けば唯一のガスの輸入手段となっている。 ノル
バルト海の天然ガスパイプラインが損傷 フィンランド | NHK
北欧のフィンランドは、バルト海の海底を通ってヨーロッパの天然ガス供給網をつなぐパイプラインが損傷し、稼働を停止したと発表しました。何らかの外部活動が原因とみて捜査を進めています。 10日、フィンランド政府の発表によりますと、フィンランドとバルト三国のエストニアとを結ぶ天然ガスの海底パイプライン「バルチックコネクター」が損傷し、稼働を停止したということです。 あわせて通信ケーブルも損傷が確認されました。 このパイプラインを通じてフィンランドはヨーロッパの天然ガス供給網につながっています。 フィンランドのオルポ首相は10日の会見で、「損傷は外部活動の結果とみられる」と述べ、捜査を進めていることを明らかにしました。 天然ガスのパイプラインの修理には数か月間かかるということですが、LNG＝液化天然ガスの貯蔵施設があるため、エネルギー供給への影響は小さいとしています。 フィンランドはロシアのウクライ
バルト海（フィンランド湾）ガスパイプライン破断 露怪船の影、再び
Thord Are Iversen @The_Lookout_N Norwegian independent seismic monitoring foundation NORSAR: "NORSAR have detected a probable explosion along the Finnish coast of the Baltic Sea at 01:20 (local time in Finland) on 8th October 2023. This explosion was detected using stations in Finland." pic.twitter.com/OzvjVkYV1k 2023-10-11 01:39:28
Looker System Activity を低コストなサーバレスイベント駆動パイプラインで BigQuery へ取り込む - LegalOn Technologies Engineering Blog
はじめに 株式会社LegalOn Technologies でデータエンジニアリングをしている 田中 晶 です。 LegalOn Technologies では、データドリブンな意思決定をするために、データ分析基盤や BI ツールの整備を行い、プロダクトに関わる多くの社員がデータを活用できる状態を維持し、さらなる活用を目指しています。 過去の啓蒙活動や整備の甲斐もあり、現在弊社で利用しているBIツールである Looker のライセンスは多くの社員に付与されており、またその活用も専門職だけでなく、営業部門の活用率も高いという利用率の計測結果も出ているほどです。 このように活用されているデータ分析基盤ですが、より高いデータの利活用水準を目指すためには、利用者や用途に関して、長期的に柔軟な利用状況の分析を行う必要がでてきました。 そこで幅広く Looker の活用度を測定するために使用状況やパフ
はじめに こんにちは、ZOZOMO部OMOバックエンドブロックの杉田です。普段はFulfillment by ZOZO（以下、FBZ）が提供するAPIシステムを開発・運用しています。 FBZでは、昨年からビルドの高速化や自動デプロイをはじめとしたCI/CDパイプラインの最適化に取り組んできました。本記事では、それらの取り組みの詳細とその効果についてご紹介します。 目次 はじめに 目次 FBZにおけるCI/CDと構成管理の現状 リリースサイクルの見直し リリースまでの流れ 顕在化した課題 長時間のデプロイ ビルド環境のメンテナンス性の低さ 手動デプロイが抱える人為的なリスク CI/CDパイプラインの改善に向けて デプロイフローの見直し CodeBuildのバッチビルド タスク定義の実装例 個々のタスクを高速化 Direct deploymentsの有効化 devDependenciesの依存
トレモログリッサンドなし ♯パイプライン ♯エレキインスト - rising_spiritのブログ
いらっしゃいまっせ～。ようこそ当ブログへ。 Welcome to my blog. さあ、9月がはじまりました。 まだ先週のエレキバンド演奏の余韻を引きずっておりますので（笑）ネタはソレ系でいきますかね。 自分が昔衝撃を受けた出来事。。。というと大げさですが、自分がいかに「固定観念に凝り固まっていたか」に気づかされた一曲があります。 それはご存じ（聞き飽きている方もだいぶ多い：笑）「パイプライン」です。 そう。テケテケテケ。。。（地方によってはデンデケデケデケというらしい）がエレキギターの代名詞にもなったあの曲です。 「ふ～ん。何をイマサラ、、、なにが衝撃なの？」というお話ですが。。。 まず、この「テケテケ。。。」バンドによって微妙に全然違います。 ■シャンティーズ 「本家」 www.youtube.com なんかこう。。。プチプチ感がするというか（笑 ■アストロノウツ www.youtu
工場自動化シム『shapez 2』正式発表。“圧倒的に好評”の前作から3Dグラフィックへと進化、多層的な工場建設やパイプライン輸送など新要素導入 - AUTOMATON
デベロッパーのtobspr Gamesは8月16日、工場自動化シミュレーションゲーム『shapez 2』を正式発表し、ゲームプレイ映像を公開した。本作の対応プラットフォームはPC（Steam）で、2024年に早期アクセス配信予定。 『shapez 2』は、2020年にリリースされSteamユーザーレビューにて「圧倒的に好評」ステータスを獲得するなど、非常に高い評価を受けた工場自動化シミュレーションゲーム『shapez』の続編だ。同ジャンルの作品のなかでも工場建設要素に特化し、比較的シンプルなシステムにて巨大工場を作れるゲームプレイはそのままに、本作では2Dから3Dグラフィックへと移行。これを活かした新たなメカニクスが導入されている。 本作では小惑星に工場を建設し、やがて複数の惑星にまたがる巨大な工場へと発展させていく。工場では、資源として抽出した幾何学図形を加工し、目的の図形を作成して、最
dbtからSnowflake Dynamic Tablesを作成してリアルタイムデータパイプラインを構築してみる
これは何？ こんにちは。 dely株式会社でデータエンジニアをしておりますharry(@gappy50)です。 この記事は、昨年書いた以下の記事の続きの記事になります。 SnowflakeではDynamic TablesのPuPrが開始されており、宣言的なデータパイプラインの全貌徐々に見え隠れしております。 また、これに追従する形でdbt1.6でもMaterialized View（SnowflakeではDynamic Table）をサポートしはじめました。 このDynamic Tablesのメリットとして一番わかりやすいのは、ニアリアルタイムなストリーミングパイプラインをクエリを書くだけで実現が可能になる面だと思います。 これまではモデルを作成したあとのワークロードの実行は dbt build を実行するタイミングとなってしまうため、リアルタイムなデータパイプラインの構築が難しい側面があ
背景 現在開発にかかわっているプロダクトの機能開発において、マイグレーション処理が必要なPRのマージをするときにステージング環境へのマイグレーション作業を自動でおこないたかった アサインされた当時の計画 指定フォルダにマイグレーション用のファイルが追加されたことを検知する gcloudコマンドでsecret Managerからデータベースにパスワードを取得 ステージング環境のCloudSQLに接続するためにcloudsql-proxyを起動（このときはdocker runで最新のコンテナイメージを取得し、軌道までを行っていた） sql-proxyのコンテナを通じてcloud sqlに接続を試みるが失敗 詰まったところ1：CircleCI上でcloudsql-proxyの起動がうまく行かなった。 公式ドキュメントを参考に以下のコマンドを実行するJobを作成しても Unable to load
『Hi-Fi RUSH』のトゥーン表現には、60FPS厳守の制約が課されていた。見栄えと軽さを両立した描画パイプライン改造の中身を、本作のエンジニアが語る 【UNREAL FEST 2023 TOKYO】
『Hi-Fi RUSH』のトゥーン表現には、60FPS厳守の制約が課されていた。見栄えと軽さを両立した描画パイプライン改造の中身を、本作のエンジニアが語る 【UNREAL FEST 2023 TOKYO】 エピック ゲームズ ジャパンが主催するアンリアルエンジンの大型勉強会「UNREAL FEST 2023 TOKYO」が、2023年6月2日（金）、3日（土）の2日にわたりベルサール秋葉原で開催されました。 初日には「『Hi-Fi RUSH』開発事例 グラフィックスと最適化紹介」と題する講演がありました。登壇したのは『Hi-Fi RUSH』の開発者であるTango Gameworks（ゼニマックス・アジア）のプログラマー、田中 康介氏と駒田 喬氏。 「リズムアクションゲーム」というジャンルゆえグラフィックスによる遅延が許されない状況で、いかにトゥーン表現を実現する描画パイプラインを構築した
Dataform を活用してデータ変換パイプラインを構築する - バイセル Tech Blog
はじめに テクノロジー戦略本部データサイエンス部データアナリストの森山です。 バイセルでは事業部組織（以下、Biz メンバー）が自立してデータに基づいた意思決定を行うことを目的に、データ基盤を整備しグループの全社員に公開しています。 Biz メンバーは自分自身で SQL を書きデータ基盤から必要なデータを抽出しますが、そのためには基盤に蓄積したデータを必要な形式に変換・加工（以下、データ変換パイプライン）する必要があります。 今回は、データ変換パイプラインの構築のために導入した Google Cloud が提供する Dataform の利用事例をご紹介します。 Dataform をこれから活用しようと思っている方、実例が見つからず悩んでいる方の参考になれば幸いです。 ※なぜ Biz メンバーが SQL を書く環境を整備しているかは、以下の記事をご確認ください。 tech.buysell-t
はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…？と思ったので、今回は機械学習パイプラインライブラリを個人で開発してみている話をします。なお、本記事では機械学習パイプラインを「データの加工・モデルの学習・推論を一連のワークフローとして実行出来るツール」とし、データ収集やデプロイ、分布シフトの監視などの工程については言及しないものとします。また、比較的小規模なプロジェクトの検証段階で利用することを前提とします。 開発したパイプラインのライブラリは以下のリポジトリでバージョン0.0.1として公開しましたので、実装の詳細はリポジトリをご参照ください。ドキュメントとかも
なお上記の「大量配信」とは、「1～3月分の四季版を4月15日から配信開始し、1週間で全家族に配信完了する」などのように、「新しい期間の1秒動画をはじめて配信してから、その時点で条件を満たす全家族への配信が完了するまで」の期間を指します。1秒動画の生成・配信の大部分はこの大量配信期間に行っていることから、これを「大量配信」と呼んでいます。 生成・配信の流れ 1秒動画の生成・配信は、図1のとおり(1)対象家族抽出、(2)素材選択、(3)動画エンコード、(4)配信、の4段階で実現しています。以下ではその詳細を説明します。 図1 1秒動画の生成・配信の流れ (1)対象家族抽出 1秒動画の生成・配信処理は、基本的にはバッチ処理として毎日実行しています。そのはじめに行うのは、「その日、どの家族に、どのバージョン・どの期間の1秒動画を生成・配信するか」を取り出す対象家族抽出です。この処理は四季版
CodePipeline (Github version 2接続) とCodeDeployを利用したパイプラインをCloudFromationで作成してみた | DevelopersIO
CodePipeline (Github version 2接続) とCodeDeployを利用したパイプラインをCloudFromationで作成してみた データアナリティクス事業本部のueharaです。 今回は、CodePipeline (Github version 2接続) とCodeDeployを利用したパイプラインをCloudFromationで作成してみたいと思います。 はじめに 今回作成するパイプラインは以下の通り、SourceとなるGithubへのコミットをトリガーに、EC2へのデプロイを行うようなパイプラインを想定します。 前提 本記事では、デプロイ対象のEC2が既に準備されていることを前提としています。 簡単に概要だけ説明すると、以下の作業が必要になります。 IAMロールの設定（AWSCodeDeployRoleポリシーのアタッチ） CodeDeploy Agentの
クラスメソッドの最新開発ノウハウを学ぶ勉強会で「AWS CDK on CI/CD パイプライン」というタイトルで登壇しました #クラスメソッド勉強会 | DevelopersIO
こんにちは、CX事業本部 Delivery部の若槻です。 本日、クラスメソッド開催のこちらのイベントに「AWS CDK on CI/CD パイプライン」というタイトル登壇させていただきました。 AWS CDK でシステムをデプロイできるようになったら、次にやりたいのは各環境へのデプロイ処理の自動化です。 今回は GitHub Actions を使って AWS CDK の CI/CD パイプラインを構築する際のポイント（CI および CD の実行タイミング、権限の最小化、環境変数の設定など）についてお話します。 AWS CDK という技術特化のイベントでしたが、多くの方に参加いただき、懇親会でも参加者と弊社社員とで AWS CDK についての密度の濃い意見交換を交わすことができました。 登壇資料 私の登壇資料はこちらです。 AWS CDK による CI/CD パイプラインを GitHub A
バルト海のスウェーデンの排他的経済水域（EEZ）で確認された「ノルドストリーム1」のガス漏れの様子。同国沿岸警備隊提供（2022年9月28日撮影、資料写真）。(c)AFP PHOTO / SWEDISH COAST GUARD 【6月14日 AFP】ロシアからドイツに天然ガスを輸送するパイプライン「ノルドストリーム（Nord Stream）」で昨年9月に起きた爆発に関連し、3か月前にウクライナによる爆破計画を察知し、米中央情報局（CIA）と情報を共有したのはオランダ軍情報保安局（MIVD）であることが分かった。メディアが13日、報じた。 オランダの公共テレビNOSのほか、ドイツの公共放送ARDと週刊紙ツァイト（Die Zeit）の共同取材によれば、CIAはMIVDからの警告を受け、ウクライナ政府に爆破中止を要請した。MIVDは爆破計画の情報を「ウクライナの情報源」から入手したとされる。 米
パイプライン爆破、関与を否定 ゼレンスキー氏
モルドバ・ブルボアカで開かれた欧州政治共同体（EPC）の会合に到着したウクライナのウォロディミル・ゼレンスキー大統領（2023年6月1日撮影）。(c)Ludovic MARIN / AFP 【6月8日 AFP】天然ガスをロシアからドイツに輸送するパイプライン「ノルドストリーム（Nord Stream）」で昨年起きた爆発について、欧州の情報機関がウクライナ特殊部隊による爆破計画を事前に察知していたと報じられたのを受け、ウォロディミル・ゼレンスキー（Volodymyr Zelensky）同国大統領は7日、そうした計画は関知していなかったと述べた。 米紙ワシントン・ポスト（Washington Post）は6日、パイプライン爆発の3か月前に欧州の情報機関が動きを察知し、米中央情報局（CIA）と情報を共有していたと報じた。 ゼレンスキー氏は独紙ビルト（Bild）のインタビューに通訳を介して応じ、大
バルト海のデンマーク領ボーンホルム島沖で確認されたパイプライン「ノルドストリーム2」でのガス漏れの様子。デンマーク軍提供（2022年9月27日提供、資料写真）。(c)AFP PHOTO / DANISH DEFENCE 【6月7日 AFP】米紙ワシントン・ポスト（Washington Post）は6日、天然ガスをロシアからドイツに輸送するパイプライン「ノルドストリーム（Nord Stream）」で昨年起きた爆発について、欧州の情報機関が3か月前にウクライナの特殊部隊による爆破計画を察知し米中央情報局（CIA）と情報共有していたと報じた。 同紙は、今年流出した米機密文書を分析。その結果、欧州のある情報機関が昨年6月、CIAに対し、ウクライナ軍の総司令官直属の潜水部隊がパイプラインの爆破を計画していると伝えていたとしている。どの国の情報機関かは特定されていない。 昨年9月16日に発生したノルド
パイプライン爆破、３カ月前に察知か ウクライナ軍が計画―米紙 2023年06月07日06時51分配信 破壊された海底パイプライン「ノルドストリーム」から海面に噴出する天然ガス＝２０２２年９月、バルト海（スウェーデン沿岸警備隊提供）（ＡＦＰ時事） 【ワシントン時事】米紙ワシントン・ポスト（電子版）は６日、ロシア産天然ガスを欧州に送る海底パイプライン「ノルドストリーム」で昨年９月に起きた爆発に関し、欧州の情報機関が事件の３カ月前にウクライナ軍による秘密攻撃計画を察知し、米中央情報局（ＣＩＡ）と情報を共有していたと報じた。 ウクライナ、関与否定 捜査当局が船舶捜索―ガス輸送管爆発 同紙は、米空軍州兵（４月に逮捕・起訴）が通信アプリ「ディスコード」のグループ内で共有していた機密文書のコピーを入手。それによると、昨年６月にウクライナ特殊部隊のメンバー６人が潜水艇でバルト海に潜り、パイプラインを破壊す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データパイプラインにおいてべき等性を保つために - Qiita
CI/CDパイプラインをコード化する「Pipeline as Code」とは？ 構築・メンテナンスを実現する5ステップ
データパイプラインバッチ設計で私が考えること
AWSで構築するCDパイプラインとその改善
データパイプラインを作って改良する はじめてのデータ/アナリティクスエンジニアリング
秒間100枚以上の画像を生成できる爆速画像生成パイプライン「StreamDiffusion」が登場
RAG評価ツールの "RAGAS" を使って、RAGパイプラインの性能を測定する - Qiita
CodePipelineのパイプラインタイプ(V1/V2)を比較してみた | DevelopersIO
改めてCI/CDパイプラインを使ったECS自動デプロイの流れを整理する - NRIネットコムBlog
ウクライナ将校関与か 昨年のパイプライン爆破事件：時事ドットコム
香港船舶が原因か ガスパイプライン破損―フィンランド警察：時事ドットコム
FBZにおけるCI/CDパイプライン改善の取り組み - ZOZO TECH BLOG
CircleCIでのパイプライン構築ではまったところと原因を共有 - Qiita
実験を高速化する機械学習パイプライン開発の挑戦 - ABEJA Tech Blog
1秒動画のつくり方 ― 「家族アルバム みてね」における動画エンコードパイプラインとその最適化事例 | gihyo.jp
パイプライン爆破計画、CIAに警告したのはオランダ軍情報保安局 報道
パイプライン爆破 ウクライナ軍が計画、CIAも事前に把握か 米紙
パイプライン爆破、３カ月前に察知か ウクライナ軍が計画―米紙：時事ドットコム