You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - pchunduri6/rag-demystified: An LLM-powered advanced RAG pipeline built from scratch
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
New Amazon DocumentDB (with MongoDB compatibility) aggregation pipeline operators: $objectToArray, $arrayToObject, $slice, $mod, and $range | Amazon Web Services
AWS Database Blog New Amazon DocumentDB (with MongoDB compatibility) aggregation pipeline operators: $objectToArray, $arrayToObject, $slice, $mod, and $range Amazon DocumentDB (with MongoDB compatibility) is a fast, scalable, highly available, and fully managed document database service that supports MongoDB workloads. You can use the same MongoDB application code, drivers, and tools as you do tod
スケーラブルな負荷テスト環境をPipelineで必要なときに必要な量だけ作る！ - JMeter / ACI / Terraform / Azure Pipeline - #Azure リレー | cloud.config Tech Blog
スケーラブルな負荷テスト環境をPipelineで必要なときに必要な量だけ作る！ - JMeter / ACI / Terraform / Azure Pipeline - #Azure リレー 先週の三上さんの アプリケーション設定と接続文字列がなぜあるのか #Azure リレー に引き続き、 毎週水曜日にAzure関連の記事を挙げる Azure リレー第5回を担当します。 今回はパイプラインを利用した負荷試験の環境構築、実行の自動化の紹介です。 元ネタはマイクロソフト社が提供しているAzure -Samplesの中にあります。 Scalable cloud load/stress testing pipeline solution with Apache JMeter and Terraform to dynamically provision and destroy the requi
I want to take some time to share everything I know about the pipeline operator proposal that is currently in stage 2, to the best of my ability. This will, of course, be a somewhat biased account — it's my article, haha — but I'll do my best to present both sides while presenting my case. Also, keep in mind, that as thorough as I'll try to be, I'm completely sure I'm missing things. If you spot s
Azure DevOps Advent Calendar 2018 の 6日目です。 DevOps とは DevOps - Wikipedia Wikipedia に書いてあるとちょっと難しいですね。 簡単に言うとソフトを開発する方法（文化）だと思います。 個人的には少人数でリリースまでもっていく 或いは個人でソフト作る際には最適な手法です。 もの（app ソフト output)をリリースして、改善手法をどんどん繰り返して行く 日本人には向いていると個人的には思っているんですけど そのための仕組みが azure pipelinesです Azure Pipelines とは Azure DevOps のサービスの一部に組み込まれています。 Azure DevOps Services | Microsoft Azure 価格は5人までレベルで無料です。 Pipelines だけ使うこともできま
GitHub - tadashi0713/circleci_flutter_demo: Demo for CI/CD pipeline for Flutter app using CircleCI.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
A complete solution for engineering teams of all sizes.Pull requestsCompare revisionsBrowse codeQuality GatesWebhooksProtected branchesNotifications and alerts
Developers.IO 2022 〜技術で心を揺さぶる3日間〜 でTerrformのCI/CDについて発表させていただきました こんにちは！AWS事業本部コンサルティング部のたかくに（@takakuni_）です。 Developers.IO 2022 〜技術で心を揺さぶる3日間〜 にて、「俺のTerraform Pipeline」というテーマでお話しさせていただきました。 TerraformでCI/CDパイプラインを組むならどのような構成が取れるのか、構成例の1つとしてご紹介させていただきました。 動画 スライド 想定する視聴者 そろそろCI/CDパイプラインでTerraformを使いこなしてみようかなと言う人 Terraformのコードスキャン(動画だとtfsec)に興味がある人 発表ネタにしたブログ 今回は以下のブログについて、情報を掻い摘んで動画にしました。もしよければ重ねてご覧
Through the pipeline: An exploration of front-end bundlers
This last week I spent a lot of time buried deep in the documentation of parcel, rollup, and esbuild. I've been on a quest. Mainly one that starts from a place of being fed up with webpack being slow and unwieldy to configure and manage. And I've been hearing and even playing around with these other bundlers a bit, well enough to know a happier path should exist. My bundling needs Let me lay out m
Off-policy evaluation (OPE) aims to estimate the performance of hypothetical policies using data generated by a different policy. Because of its huge potential impact in practice, there has been growing research interest in this field. There is, however, no real-world public dataset that enables the evaluation of OPE, making its experimental studies unrealistic and irreproducible. With the goal of
Continuous Verification: The Missing Link to Fully Automate Your Pipeline
Join our community of software engineering leaders and aspirational developers. Always stay in-the-know by getting the most important news and exclusive content delivered fresh to your inbox to learn more about at-scale software development.
Azure DevOps Pipeline をYAML で定義しよう - tech.guitarrapc.cóm
何度か挙げている Azure DevOps Pipeline ですが、ずっとYAML で紹介してきたかと思います。 実際に私はAzure DevOps にYAML がPreview で来てからずっとYAML にしています。 これはほかのCIサービスも複数触っていたことからもYAML でかけることに大きなメリットを見出していたからですが、改めてAzure DevOps でPipeline をYAML で定義するのをなぜススメるのか一部を書いておきます。 目次 目次 TL;DR YAML 定義のメリット YAMLでパイプラインを組みたいときの流れ YAML で困ること Multi Stage Pipeline と失敗ジョブの再開 Reference variable などの未サポート機能 リリースとYAML定義 Display Name のうざさ キャッシュ機能 おわりに TL;DR ビルドは
Testing in Airflow Part 2 — Integration Tests and End-To-End Pipeline Tests
Written by Sarang Shinde and Chandu Kavar — Nov 28, 2019 In part 1 of this blog, I explained DAG validation tests, DAG definition tests, and Unit tests. These tests help to verify the syntax and cyclicity in the DAG, upstream and downstream of each task, the logic of the custom operator and sensor, etc. I would recommend reading the first part of this post. In this part, we will cover the integrat
GitHub - digitalocean/firebolt: Golang framework for streaming ETL, observability data pipeline, and event processing apps
Firebolt has a simple model intended to make it easier to write reliable pipeline applications that process a stream of data. It can be used to build systems such as: logging/observability pipelines streaming ETL event processing pipelines Every application's pipeline starts with a single source, the component that receives events from some external system. Sources must implement the node.Source i
A scalable pipeline for designing reconfigurable organisms | PNAS
View ORCID ProfileSam Kriegman, Douglas Blackiston, Michael Levin, and Josh Bongard aDepartment of Computer Science, University of Vermont, Burlington, VT 05405;bDepartment of Biology, Tufts University, Medford, MA 02153;cAllen Discovery Center, Tufts University, Medford, MA 02153;dWyss Institute for Biologically Inspired Engineering, Harvard University, Boston, MA 02115
通信経路閉域化された Azure App Service Web App へ Pipeline から Web アプリをデプロイする - Qiita
通信経路閉域化された Azure App Service Web App へ Pipeline から Web アプリをデプロイするAzureAppServiceAzureDevOps はじめに ここで紹介している App Service はこちらの資料で示された手順に沿って構築されたプライベートなアプリです。本記事の情報は2020年5月末現在の情報です。 パブリックに公開された App Service の場合、以下の画像のように Azure ポータルから CI/CD のパイプラインを GUI で構築することが可能です。 しかしながら、こちらの資料で示された構成の App Service でそのまま Pipeline を構築すると、 Error: Error Code: ERROR_COULD_NOT_CONNECT_TO_REMOTESVC More Information: Could
この記事は、Flutter Advent Calendar 2022の4日目になります。 Flutter界隈のみなさまいかがお過ごしでしょうか、mjhdです。 師走もこれからいよいよ寒さが増す今日この頃ですが、私はVRゴーグルを付け流行りのメタバースというやつに入り浸りVRイベントとVR睡眠を繰り返す日々を送っております。VRの世界には常夏や常冬がありふれているため季節感も何もなく現実世界では電熱線に巻かれヌクヌクしながら電脳世界で雪山を登ったり飛び降りたり。この記事もVR空間内で執筆しています。部屋はヌクヌクで寒くはないのですがVR空間内でふと現実の年齢を思い出すと身体がブルブルッと震えます。VR内では永遠の18歳のはず。何かがおかしい。どうしてこうなった。 すみません、Flutterの話をしますね… 以前、Flutterレンダリングパイプライン入門 - CA Developers Bl
概要 Built-in Render PipelineからUniversal Render Pipeline（以下URP）への乗り換えでわかりにくかったところなどをまとめてみます 環境は、Unity2020.1.15f1 > Unity2020.2.3f1 + URP10.2.2です インストール とりあえずこちらのドキュメントに沿っていけばオッケーです Installing the Universal Render Pipeline into an existing Project ざっくり次のような感じです PostProcessing Stack v2を使ってたら削除 URPにほぼ同様の機能が内包されているので事前に消しておく PacakgeManagerでURPをインストール 設定ファイルを作成 Graphicsセッテイングで3.のファイルを指定 乗り換え Unity組み込みシェー
【Unity】Light Weight Render Pipeline(LWRP)をサクッと理解する - LIGHT11
UnityのLight Weight Render Pipelineを簡単に使って概要をまとめてみます。 Unity2019.3以降をお使いの方へ - URPの案内 Light Weight Render Pipeline? LWRPのプロジェクトを作る（プロジェクトを新規作成する場合） LWRPのプロジェクトを作る（既存のプロジェクトをLWRPに対応させる場合） SRPアセットで設定を変更できる 従来のパイプラインとの違い 参考 Unity2018.3.12 Unity2019.3以降をお使いの方へ - URPの案内 Lightweight Render Pipeline（LWRP）は、Unity2019.3のリリースに伴ってUniversal Render Pipeline（URP）に名称変更されました。 blogs.unity3d.com それに伴ってPackage名やメニュー名など
Building a CI/CD pipeline to update an AWS CloudFormation StackSets | Amazon Web Services
AWS DevOps Blog Building a CI/CD pipeline to update an AWS CloudFormation StackSets AWS CloudFormation StackSets can extend the functionality of CloudFormation Stacks by enabling you to create, update, or delete one or more stack across multiple accounts. As a developer working in a large enterprise or for a group that supports multiple AWS accounts, you may often find yourself challenged with upd
Building a CI/CD pipeline for multi-region deployment with AWS CodePipeline | Amazon Web Services
AWS DevOps Blog Building a CI/CD pipeline for multi-region deployment with AWS CodePipeline This post discusses the benefits of and how to build an AWS CI/CD pipeline in AWS CodePipeline for multi-region deployment. The CI/CD pipeline triggers on application code changes pushed to your AWS CodeCommit repository. This automatically feeds into AWS CodeBuild for static and security analysis of the Cl
AWS Data Pipelineってなんだろ？
AWS Data Pipelineについて調べてみました。 AWS Data Pipeline（データの移動や変換を簡単に自動化）| AWS 概要 データの移動や変換を簡単に自動化 指定された間隔で、AWS のサービスやオンプレミスのデータソース間で信頼性の高いデータ処理やデータ移動を行うことを支援するウェブサービス 保存場所にあるお客様のデータに定期的にアクセス 必要なスケールのリソースで変換と処理を行い、その結果を Amazon S3、Amazon RDS、Amazon DynamoDB、Amazon EMR のような AWS サービスに効率的に転送 耐障害性があり、繰り返し可能で、高可用性を備えた、複雑なデータ処理ワークロードを簡単に作成 3行でまとめると、 というかんじでしょうか。 メリット 信頼性 使いやすさ 柔軟性 スケーラブル 低コスト 透過的 イメージ AWS Data P
Setting up a secure CI/CD pipeline in a private Amazon Virtual Private Cloud with no public internet access | Amazon Web Services
AWS DevOps Blog Setting up a secure CI/CD pipeline in a private Amazon Virtual Private Cloud with no public internet access With the rise of the cloud and increased security awareness, the use of private Amazon VPCs with no public internet access also expanded rapidly. This setup is recommended to make sure of proper security through isolation. The isolation requirement also applies to code pipeli
Building a cross-account CI/CD pipeline for single-tenant SaaS solutions | Amazon Web Services
AWS DevOps Blog Building a cross-account CI/CD pipeline for single-tenant SaaS solutions With the increasing demand from enterprise customers for a pay-as-you-go consumption model, more and more independent software vendors (ISVs) are shifting their business model towards software as a service (SaaS). Usually this kind of solution is architected using a multi-tenant model. It means that the infras
Rebuilding Netflix Video Processing Pipeline with Microservices
Liwei Guo, Anush Moorthy, Li-Heng Chen, Vinicius Carvalho, Aditya Mavlankar, Agata Opalach, Adithya Prakash, Kyle Swanson, Jessica Tweneboah, Subbu Venkatrav, Lishan Zhu This is the first blog in a multi-part series on how Netflix rebuilt its video processing pipeline with microservices, so we can maintain our rapid pace of innovation and continuously improve the system for member streaming and st
Lightning Flash 0.3 — New Tasks, Visualization Tools, Data Pipeline, and Flash Registry API
Lightning Flash is a library from the creators of PyTorch Lightning to enable quick baselining and experimentation with state-of-the-art models for popular Deep Learning tasks. We are excited to announce the release of Flash v0.3 which has been primarily focused on the design of a modular API to make it easier for developers to contribute and expand tasks. In addition to that, we have included 8 n
Kpt を使って組み換え可能な Manifest Pipeline を作ろう！ #k8sjp / KubeFest Tokyo 2020
KubeFest Tokyo 2020 で使用したスライドです。 Kubernetes を運用する上で、大量の Manifest の複雑性をどう扱うかは避けられない課題です。テスト用と本番用のクラスタで設定が微妙に違っていたり、あるいは複数のチームが管理する Manifest に共通して必要な設定がある、といった現実的な状況下では、何らかの形で Manifest の共通化や環境差分の管理が必須です。実際、この問題を解決するために様々なツールが考案され、また広く使用されています。Helm や Kustomize はその代表格です。 一方、今回紹介する Kpt は、Helm や Kustomize とは一線を画したアプローチを採用しています。Kpt の大きな特徴は、入力と出力の間に「テンプレートとその代入結果」のような非対称性を導入せず、同じ形式の YAML を用いる点にあります。Kpt の各
The US has relaxed rules on fuel transport after a ransomware cyber-attack took the pipeline offline.
Bitbucket PipelineをGithub Actionsと比較しながら使ってみた - Qiita
Bitbucket PipelineとGithub Actionsの違い 仕事でBitbucketを使う機会がありましたのでPipeline使ってみました。 普段Github Actionsばかり使っているので、Bitbucket Pipelineと違うところを比較してみます。 CI用のファイル Github Bitbucket
Load test your applications in a CI/CD pipeline using CDK pipelines and AWS Distributed Load Testing Solution | Amazon Web Services
AWS DevOps Blog Load test your applications in a CI/CD pipeline using CDK pipelines and AWS Distributed Load Testing Solution Load testing is a foundational pillar of building resilient applications. Today, load testing practices across many organizations are often based on desktop tools, where someone must manually run the performance tests and validate the results before a software release can b
Accelerate CI/CD pipeline with AWS CodePipeline & AWS CodeBuild
How to move code from DEV/UAT to PROD fast using AWS CodePipeline and AWS CodeBuildJul 26, 2018 | Announcements, Migration, MSP Is your business focused on delivering new features faster? To do so, are you implementing a continuous integration and continuous delivery (CI/CD) pipeline? Would you like to accelerate the CI/CD process by moving code from development and user acceptance testing stages
Photo by T K on Unsplash※本記事は AWS CDK を知っている人が読む前提で書いているため、CDK の概念や用語についての説明は省略している。 English version is also available here. CDK Pipeline とは？CDK Pipeline は AWS CDK によりデプロイされるアプリケーションの CI/CD Pipeline を CDK により管理するためのもの。 2021 年 7 月に GA (一般リリース) されたかなり新しい機能。(ただ、Developer Preview としてすでに 1 年前から試せる状態にはなっていた) https://aws.amazon.com/about-aws/whats-new/2021/07/announcing-cdk-pipelines-ga-ci-cd-cdk-apps/?n
How to build a CI/CD pipeline with GitHub Actions in four simple steps
ProductHow to build a CI/CD pipeline with GitHub Actions in four simple stepsA quick guide on the advantages of using GitHub Actions as your preferred CI/CD tool—and how to build a CI/CD pipeline with it. Continuous Integration / Continuous Delivery (CI/CD) has long been—and continues to be—the domain of DevOps experts. But with the introduction of native CI/CD to GitHub in 2019 via GitHub Actions
GitHub - srevinsaju/togomak: A declarative pipeline orchestrator with the magic of HCL as a configuration language, inspired from Terraform's architecture.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
CircleCI は push と pull request 両方をトリガーにすることができない CircleCI は、デフォルトでは push をトリガーにしてビルドするようになっている。 push がトリガーのほうが良いこともあるのだが、GitHub であれば pull request の作成や更新をトリガーにしてほしいこともある。 pull request でのみビルドしたい場合は、 Only build pull requests というオプションを有効にすればいい。 ただ、これはデフォルトブランチへの pull request とデフォルトブランチへの push、タグがビルド対象になるようで、これだけでは不足することもある。 push、pull request の両方を対象にビルドできるようにしたい。 そんな場合は、GitHub Actions で pull request のイ
AWS sam pipelineを使うとLambdaをデプロイするCI/CDパイプラインをどうやって作ればいいか分かりそうになる - Qiita
AWS sam pipelineを使うとLambdaをデプロイするCI/CDパイプラインをどうやって作ればいいか分かりそうになるAWSsamCodePipelineCodeBuild 背景 Lambdaをgit管理して単体テストに通ったらデプロイってどうやるんだろうみたいなことができる。 概要 AWS SAMにはsam pipelineというコマンドがあり、これを使うことでパイプラインを自動で作ってくれる。 出来上がるステージとしては CodeCommit -> CloudFormation (パイプライン自体の設定デプロイっぽい) -> CodeBuild テスト (オプション) -> CodeBuild デプロイ(sam deploy) sam pipelineではmainブランチに対してはデプロイ環境が二つできてしまう(上記のsam deployを行うステージが2回ある)が、作るべき
はじめに 2019/6/13、Ruby 2.7にpipeline operatorが入りました。 discussionが盛り上がっててTLでも各Rubyist達の様々な意見が飛び交ってます。 そんな中、@hanachin_さんのツイートを見かけました。 よすぎて何回も眺めている "https://t.co/8sUOXpGLwt".:itself |>>> URI.:parse |>>> Net::HTTP.:get |>>> JSON.:parse |> call |> fetch("stargazers_count") |> then { puts @1 } — Miyagi (@hanachin_) 2019年6月14日 Ruby 2.7から追加される機能が積極的に使われていてすごく勉強になりそうだったので、まとめてみました。 認識間違っている・不足している箇所もあるかもしれないのでそ
Babel F# pipeline operator
Introduction Writing readable and declarative code in JavaScript, how nice it would be! 😆 I know, readable and declarative don’t go in the same sentence when talking about JavaScript, but should it be always like this? The community has been looking for ways to improve these problems with the language for years. Since Babel 7.0 there have been a few proposals implemented that lean towards the rea
GitHub - mori-dev/em: emacs command wrapper for pipeline
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
WebAssembly is a binary format that allows you to run code from programming languages other than JavaScript on the web efficiently and securely. In this document we dive into the WebAssembly compilation pipeline in V8 and explain how we use the different compilers to provide good performance. Liftoff #Initially, V8 does not compile any functions in a WebAssembly module. Instead, functions get comp
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TC39 Pipeline Operator - Hack vs F#
azure pipeline を使った CIがとても使いやすかった - Qiita
Gitness: Open-Source Code Hosting & CI/CD Pipeline Engine
俺のTerraform Pipeline #devio2022 | DevelopersIO
Open Bandit Dataset and Pipeline: Towards Realistic and Reproducible Off-Policy Evaluation
忙しい人のためのFlutter's Rendering Pipeline
Universal Render Pipeline(URP)乗り換えハマりポイントまとめ
US fuel pipeline hackers 'didn't mean to create problems'
CI/CD Pipeline with AWS CDK
CircleCI 2.1 の pipeline を push と pull request で実行する
pipeline operatorが使われているコードを読み解いてミタァ！ - Qiita
WebAssembly compilation pipeline · V8