[アップデート] AWS CodeBuild の実行環境に AWS Lambda が選択出来るようになりました | DevelopersIO
いわさです。 数日前にちょっと話題になったアップデートですが、AWS CodeBuild が AWS Lambda をサポートしました。 どういうことかというと、CodeBuild は実行されると何らかのコンピューティングリソースを起動し、buildspec.yml という構成ファイルに記述された内容に従ってコマンドなどの実行を行う仕組みとなっています。 この実行環境はコンテナイメージであり、従来は EC2 上で実行されていました。 今回のアップデートでこの実行基盤に新たに AWS Lambda を選択出来るようになりました。 これによって、起動が早く柔軟にスケーリングするという Lambda の特性を活かして、起動に時間がかかったりビルドキューで待機が発生する問題を解決することが出来ます。 一方で、Lambda を使った場合にはいくつかの制限事項があります。いくつかというか結構あります。
![[アップデート] AWS CodeBuild の実行環境に AWS Lambda が選択出来るようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f88b2f90b4bca3bfb19789054ed8f18eb737db8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-codebuild.png)
Linux Daily Topics Linux Foundation、OpenID Connectを拡張した暗号化プロトコル「OpenPubkey」をローンチ Linux Foundationは10月4日（米国時間）、BastionZeroおよびDockerとともに暗号化プロトコルのオープンソースプロジェクト「OpenPubkey」をローンチすることを発表した。 Linux Foundation, BastionZero and Docker Announce the Launch of the OpenPubkey Project -linuxfoundation.org The Linux Foundation, BastionZero and Docker are excited to announce the launch of OpenPubkey as a Linux
【総まとめ】GuardDutyによるコンテナランタイム脅威検知の注意事項と設定手順と検出の様子 #AWSreInvent | DevelopersIO
AWSマネージドサービスGuardDutyによる待望のコンテナランタイム脅威検知。その検知内容と設定上の注意事項、検出の様子をまとめてお届けします。 「ECSのランタイム脅威検知って、商用製品必須だよね。どれにすっかなぁ。結構高いよね」 「1年前の予告を経て、よーーーやくAWSマネージドなやつがGAされましたよ」 去年のre:Invent2022においてKeynote中に予告だけされていたコンテナ環境のランタイム検知（【速報】GuardDutyによるコンテナランタイムの脅威検知サービスが発表されました！）。 先日のre:Invent 2023のアップデートにより、待望のECSにおけるランタイム検知が、GuardDutyで実現できるようになりました！！もともとEKSにおけるランタイム検知は提供されていましたが、それがECSにも拡張されたアップデートです。 これまでAWSのECSにおいてランタ
AI事業本部MLOps研修公開！MLOps研修で学ぶ最新の機械学習ワークフローとは？ | CyberAgent Developers Blog
AI事業本部MLOps研修とは はじめまして、AI Labでリサーチエンジニアをしている岩崎（@chck）と、AI事業本部 Dynalystでデータサイエンティストをしている長江（@nsakki55）と干飯（@hosimesi）です。 今回は、AI事業本部研修で行われた講義のMLOps回の資料を公開します。 🔳 AI事業本部の事業を担う一員として、「AI事業本部で必要なドメイン知識を身につける・関係を構築する（縦・横・ななめまで）」が研修の目標 サイバーエージェントでは、入社後3週間ほどのエンジニア全体研修を行った後、各事業部に配属されます。AI事業本部では、事業部配属直後に2週間ほどエンジニア研修を行います。この研修では、全社研修とは異なり、AI事業本部に特化したアドテクや機械学習に関連する内容が取り扱われています。 ▼事業部研修全体スケジュール AI事業本部の研修は、以下の3つのパー
Get started with the latest updates for Dockerfile syntax (v1.7.0) | Docker
Dockerfiles are fundamental tools for developers working with Docker, serving as a blueprint for creating Docker images. These text documents contain all the commands a user could call on the command line to assemble an image. Understanding and effectively utilizing Dockerfiles can significantly streamline the development process, allowing for the automation of image creation and ensuring consiste
はじめに テックリードの柿崎です。私たちは、機械学習のパラメータチューニングを効率よく行うため、KubernetesネイティブのワークフローエンジンであるArgo Workflowsを採用しています。この記事では、その導入手順の要点を紹介いたします。 導入の目的 Argo Workflows導入以前は機械学習のパラメータチューニングを行うにあたり以下の機能を独自に実装しており、属人化していました。 パラメータ探索のアルゴリズム インスタンスのスケーリング インスタンスの稼働状況の可視化 ジョブの進行状況の可視化 これらをより柔軟に活用できるようにして、開発、更新サイクルを早めていくことが導入の目的です。 前提条件 Kubernetes(EKS)はすでに構築済みであること Kubernetes、Helmについての基本的な知識があること Argo Workflowsの基本的な知識があること K
株式会社スペースリーのRailsエンジニアの海老原です。 スペースリーが提供するサービスの反映は、CSチームでテストを実施してから本番環境にリリースする業務フローになっております。各featureブランチごとに、テストを実施できるように、プルリクエストに動作確認の手順を記載し、動作確認をCSに依頼するという流れです。今回は、ラベルごとにPRの記載内容を書き分けて、自動でプルリクエストを作成できるようにする設定を、GitHub Actionsを使って行いましたので、コードを交えて紹介したいと思います。 以下のようなプルリクエストをGitHub Actionsから自動で作成できます。赤枠が自動で埋められる部分です。 1. ローカルデバッグ環境構築 まずは、作業の準備として必要なツール類のインストールを行ってローカルの開発環境を整えて行きます。 4章のインテグレーションテストで利用することになり
「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ここで面白法人カヤックのmacopy氏が「デプロイ今昔物語 〜CGIからサーバーレスまで〜」をテーマに登壇。まずは、CGI（Common Gateway Interface）のデプロイについて話します。 macopy氏の自己紹介 macopy氏：よろしくお願いします。「デプロイ今昔物語～CGIからサーバーレスまで～」ということで、その（CGIからサーバーレスの）間にいろいろありますけれど、デプロイを次々とやっていって、みなさんを混乱させていくセッションになっています（笑）。 （話す）スピードが速いと思うので……。スピードというか、けっこう（内容を）ぎゅうぎゅうにしているので早口になっちゃうこともあるかもしれないですが、よろしくお願いします。ということ
「Docker」と「Kubernetes」をベースとする環境で構築されたクラウドネイティブアーキテクチャが流行している。クラウドネイティブと相性の良いマイクロサービスには、次のような利点がある。 サービスごとに、アーキテクチャ、言語、プロセス、ツールを自由に選択できる ドメイン駆動型設計やイベント駆動型アーキテクチャなど、ソフトウェアコンポーネントで長年提唱されてきた多くのベストプラクティスが体系化されている 適切にカプセル化されているため、サービスを個別に更新できる 柔軟性が高く、短期間でのリリースが可能 マイクロサービスに対応した技術（DockerやKubernetesなど）は多くのハードウェアで動作する マイクロサービスはこうしたさまざまなメリットをもたらす。一方で、幾つかの重要な問題点があるため、アプリケーション開発チームは注意する必要がある。特に、信頼性の高いモノリスアプリケーシ
OpenTelemetry対応でさまざまなアプリからデータを取得＆追跡できるオープンソースなシステム監視・分析ツール「SigNoz」を使ってみた
システムの状態を監視するためのツールは多数存在していますが、その中でもSigNozはメトリクス・トレース・ログというシステム観測の3本柱に対応しており、さらに「OpenTelemetry」を利用してさまざまなアプリのデータを取得できるツールとのことなので、実際に使って試してみました。 Open source APM | SigNoz https://signoz.io/ SigNozはmacOSのほか、Linuxの下記のディストリビューションで動作するとのこと。 ・Ubuntu ・Debian ・OpenSuse ・CentOS ・SUSE Linux Enterprise Server (SLES) その他のディストリビューションにおいてもDocker経由で起動することが可能とされていますが、今回はDebianを利用して進めていきます。まずは下記のコードで各パッケージを更新しておきます。
pt-online-schema-change の実行が必要かどうか判断するタイミングをより早くした話 - Repro Tech Blog
Repro では Aurora MySQL を使用しています。いくつか数千万行を越えるデータを持つ大規模なテーブルもあります。 大規模なテーブルのスキーマを変更するときは pt-online-schema-change1 を使用していますが、今回はその必要性を判断するタイミングを早めた話です。 pt-osc が必要になる理由等は次の記事が詳しいです。 - pt-online-schema-changeの導入時に検討したこと、およびRailsアプリとの併用について - freee Developers Hub 解決したい課題 Repro では Rails アプリケーションが管理画面や API を提供しています。これらについて、目的別に複数の環境を用意しています。 member: 主に管理画面の動作確認目的で開発者が自由に使ってよい環境 いくつかのミドルウェアは dev_staging と共用
Renovateはプロジェクトの依存関係の更新を自動化するツールです。 npmライブラリやGitHub Actions、Dockerイメージのバージョンなどを監視し、ライブラリアップデート用のPRの作成を行います。 Renovateは豊富な構文から柔軟な設定ができますが、プリセットと呼ばれるカスタマイズされた設定集を利用することもできます。 その中でconfig:best-practicesというRenovateが考えるベストプラクティスのプリセットが用意されています。 このプリセットを読み解くことで、Renovateがどのようにライブラリのバージョンを指定し運用するべきか知ることができます。 この記事ではconfig:best-practicesの設定を読み解き、どのようにライブラリの依存関係を扱うかを考えていきます。 config:best-practice で設定されている項目 執筆
はじめに 本記は「Dockerをこれから触ろう/学ぼうとしている人向け」の記事になります！ Dockerの歴史 実際にDockerを動かすハンズオン が記載されています！ Dockerとは そもそもDockerて何もの？ 一言でいうと、「軽量な仮想環境」を構築するツールです。 今までエンジニアが開発を行う際、「Hyper-V」や「Vagrant」「VirtualBox」など、PC上に仮想のPCを作成する仮想化ツール( ハイパーバイザー型)を利用してきました。 便利な上記のツールですが、それらは皆大きな課題を抱えていました。 「環境構築に時間がかかる」「起動にも時間がかかる」「ファイルサイズが大きい」 そんな課題を解決してくれるのが、Dockerというコンテナ型の仮想化技術です。 従来のハイパーバーザー型の仮想化技術とは違い、アプリケーションの実行をホストOSが行っているため、「GuestO
Spring誕生から20年！ Spring FrameworkやJavaの最新情報が披露された「SpringOne 2023」レポート
Spring FrameworkやSpring Bootの最新情報や、DevOps、マイクロサービスといったソフトウェア開発のトレンドをテーマにしたカンファレンス「SpringOne at VMware Explore」が、2023年8月にラスベガスで開催されました。本稿ではKeynoteの内容と、筆者たちが興味をもったセッションについて紹介します。 本記事のレポーター 【NTT ソフトウェアイノベーションセンタ】小泉雄太、岩塚 卓弥、水野 諭孝 【NTTデータグループ】井上 大輔、高見 諭史、高橋 寛恒 【NTTコムウェア】田村 祐揮、黒澤 和矢 SpringOneとは SpringOne at VMware Exploreは、VMware Inc.（以下VMware）が開発を牽引するOSSのアプリケーション・フレームワークであるSpring Framework、Spring Bootな
先日、Kubernetes Meetup Tokyo #59 で「KEP から眺める Kubernetes」というタイトルで発表しました。発表の後で Kubernetes の upstream のキャッチアップ方法について質問を受けました。その場で回答はしたのですが、ちょうど社内の共有会で似たような話をしたところだったので、加筆修正したものを公開しておきます。 はじめに Kubernetes の upstream を追いかけ始めて 1 年ちょっと経ったので、その経験をまとめます。Kubernetes の upstream やエコシステムを観察しているだけで、コントリビュータではありません。間違っている部分があったらごめんなさい...！ Kubernetes の開発体制や開発者の所属組織の分布、新しい機能を追加する際のプロセスの話を簡単にしてから私のキャッチアップ方法についてまとめています。
ラズパイでLLM 普通にローカル動きました。Raspberry Pi 5です。DockerでOllamaを動かしています。簡単にメモします。 ラズパイのセットアップ 以下でラズパイの基本的なセットアップをします。 Dockerをセットアップします。 Ollamaセットアップ 続いてOllamaをセットアップします。ラズパイでDockerを使えば、以下コマンドを実行するだけでOllamaをインストールできます。 $ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate | Amazon Web Services
Containers Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate Introduction An Amazon Elastic Container Service (Amazon ECS) task is a number of co-located containers that are scheduled on to AWS Fargate or an Amazon EC2 container instance. Containers use Linux namespaces to provide workload isolation—and with namespaces—even though containers are scheduled together in an Amaz
GitHub勉強会～GitHub Copilotの最新動向、GitHub Actions、セキュリティ、開発フロー支援の機能など～｜IT勉強会・イベントならTECH PLAY［テックプレイ］
イベント内容 概要 ＼3/21(木)19:30スタート／ ◆GitHub勉強会◆ GitHub Copilotの最新動向 GitHub Actions セキュリティ 開発フロー支援の機能 etc ITテクノロジーに関する様々な職種やテーマをピックアップしてセミナー形式で学ぶイベントです！ これまでにも増して目を見張るスピードで進化を遂げるGitHub。 普段から使っているのに、気づいたら新しい設定値増えてませんか？ GitHubの注目の更新情報を、ギュッと凝縮してお届けします。 お役立ち機能をキャッチアップして、明日からの開発をブーストしましょう！ 今回もGitHubの技術アドバイザリやワークショップの講師を担当されている岩永さんをお招きしてGitHub最新情報や改めて学びたい中級テクニックなどを学ぶセミナーを開催いたします。 主催／IT・テクノロジー人材のためのコミュニティ「TECH S
マイクロソフトの時価総額３兆ドル突破が嬉しいので中から見てたらどんな感じだったかを書いてみた｜牛尾 剛
私はマイクロソフトに2015年に入社して、日本のリージョンでエヴァンジェリストをしたのちソフトウェアエンジニアになって、今アメリカの Redmond で Azure の開発者として勤務している。中の人としてはとても嬉しいニュースで感慨深い事なのでブログを書いてみたい。尚、ここに書いていることは単なる私の体験で、私の意見であり、所属会社の見解ではないことを断っておく。 マイクロソフト前夜 私は子供のころから、マイクロソフトのコンピュータは全然使ってなくて、マイクロソフトに入る前も、大学では みんなが MS-DOS を触っているところ、Solaris を触ってたし、入社前も Dockerとか Linux を触ってたしマイクロソフトに全然興味がなかった。ただ友人のみーさんに「牛尾君はマイクロソフトに向いてるんちゃう？」と言われて入社したのだが、どちらかというと動機はクラウドの技術に触れたいという
はじめに 本記事では実践的な Cloud Run のデプロイパイプライン実装を通して Cloud Deploy の理解を試みます。Cloud Deploy は元々 Kubernetes 用のプロダクトとしてリリースされたこともあり、Cloud Run に限って利用するには学習コストが高すぎるところもあります。本記事では Cloud Run のデプロイの本番環境構築・運用に必要な部分のみをピックアップして次のようなことを説明します。 Cloud Deploy の仕組み Cloud Deploy を使ったデプロイパイプラインの設計・実装方法 Service Account、IAM 設計 おすすめの Infra as Code の方法 おすすめの skaffold.yaml の書き方 Automation、デプロイフック、カナリアデプロイなどの高度なパイプライン、監視などは上記のような基本をおさ
WEELメディア事業部LLMリサーチャーの中田です。 AIスタートアップ企業のCognitionが開発した完全自立型のエンジニアAI「Devin」の、オープンソース版である「OpenDevin」が公開されました。 あの話題のDevinを、ローカル環境で実行できるんです！ The OpenDevin open-source coding assistant is really taking shape! We now have a frontend that connects to a rudimentary agent that solves coding tasks, a docker sandbox, and other things. Next up is optimizing accuracy, we welcome contributions! https://t.co/3Gpb
LLMに狙いどおりの動きをさせるために内部で使われているプロンプトエンジニアリングから、LangChainに入門する「プロンプトエンジニアリングから始めるLangChain入門」。ここで大嶋勇樹氏が登壇。まずは、LLM・OpenAIの概要と、文章生成のためのアプリケーションを開発する場合のAPIについて解説します。 大嶋氏の自己紹介 大嶋勇樹氏：では、「プロンプトエンジニアリングから始めるLangChain入門」ということで始めます。 最初に私の自己紹介ですが、名前は大嶋勇樹と申します。最近はよく「しま」さんとか、そんなふうに呼ばれています。キャリアは、都内のIT企業に新卒で就職して、そこからフリーランスエンジニアを経て、今は会社を設立していろいろやっています。最近は実務に就き始めのエンジニアのスキルアップのサポートということで、研修や勉強会の開催、Udemy講座の作成をやっていたりします
SREエンジニアが目指すGKE共通デプロイ基盤の完成形 - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。開発部門 開発部 Data AI Strategyセクション データ基盤 Unitの小野です。 2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、DAOという組織改善プロジェクトを推進していく中で、Google Kubernetes Engine (GKE)を使ったGKE共通デプロイ基盤の整備も進めてきました。 ※ DAOについての詳細はSREエンジニアが組織改善プロジェクトを立ち上げてみたを参照ください SREエンジニアの責務の一つは、プロダクトのリリースサイクルを極限まで短くし、次々と新しいサービスを世の中にリリースすることです。ChatGPTのような誰でも簡単に扱えるAIモデルが誕生したことで、プロダクト開発競争は今後ますます激しくなっていくと予想しており、SREエンジニアの責務の重要性をヒシヒシと感じています。 そう
Omakub
Turn a fresh Ubuntu installation into a fully-configured, beautiful, and modern web development system by running a single command. That’s the one-line pitch for Omakub. No need to write bespoke configs for every essential tool just to get started or to be up on all the latest command-line tools. Omakub is an opinionated take on what Linux can be at its best. Omakub includes a curated set of appli
Previous slideNext slideToggle fullscreenOpen presenter view Build and Publish 2023 @mizchi | Plaid, Inc. jsconf.jp 2023 今日もツールチェインに消耗してますか？ https://2022.stateofjs.com/en-US/libraries 今日のテーマ 今日話すこと 現代のビルドツールチェインの進化と目的 エコシステムに振り回されないようになろう！ 今日話さないこと 個別のツール/ライブラリの使い方 フロントエンドの話？ NO. 最近のサーバーサイドJSとバンドラは一体化している サイズ制限のある CDN Edge Worker も最適化が必要 About Me JSのビルドとは何か Transpile AltJS(TS,JSX)や CSS Modules の変換
TerraformによるAirbyteを利用したデータ基盤へのデータ連携とCI/CD - Sansan Tech Blog
こんにちは！「Sansan Summer Internship 2023」でインターンをしていた野首侑作です（X, Facebook）。R&D Architectグループに1ヶ月強コミットしていました。今回のインターンで使った技術はこれまで全く触ったことがありませんしたが、チームメンバーのサポートもあり本番環境でも動かせるコードを書くことができました。 今回学んだことの整理と、Sansanのインターンで学べることの多さを共有したいという意味を込めて、社内ブログでアウトプットしようと思った次第です。 目次 目次 はじめに ローカルでAirbyteの立ち上げ 1. DockerによるAirbyte serverの起動 2. Sourceの登録 3. Destinationの登録 4. Connectionの登録 5. 接続確認 TerraformによるIaC IaCとは Terraformとは
注意: Modelfile の構文は開発中です。モデルファイルは、Ollamaでモデルを作成・共有するための設計図です。おススメ記事フォーマットModelfile のフォーマット:# コメントINSTRUCTION 引数インストラクション説... モデルプロバイダーの追加 モデルタイプを選択: 「ollama」を選択します。 必要な情報を入力: モデル名: llm-jp-13b-v2 Base URL: http://host.docker.internal:11434 Completion Mode: 「Chat」 モデルコンテキストサイズ: 4096 最大トークン数の上限: 4096 Vision Support: 「No」を選択 ワークフローの作成 4人のエージェントのシステムプロンプトを設定: 楽観的AI研究者、慎重派経済学者、AIジャーナリスト、倫理学者の4人のエージェントを作成
Docker Compose Watch, a tool to improve the inner loop of application development, is now generally available. Hot reload is one of those engineering workflow features that’s seemingly minor and simple but has cumulative benefits. If you can trust your app will update seamlessly as you code, without losing state, it’s one less thing pulling your focus from the work at hand. You can see your fronte
菊池将和（きくちまさかず） 外資系証券会社で金融商品開発責任者を経て，ハーバード大学でソフトウェア・エンジニアリングの修士号を取得。ブロックチェーンエンジニアとしてSecuritize Japanに参画後，2020年のハッカソンでEthereum Foundation，Protocol Labsから賞を受賞したことをきっかけにConsenSys主催のアクセラレータに採択される。現在はWeb3メンターやETHGlobalハッカソンの審査員を務める一方，スイスを拠点にSecured Finance AGを立ち上げ，DeFi（分散型金融）・デジタル資産領域における革命的なFixed Income市場の整備を先導。設立半年で$4Mを調達。内閣府Trusted Web推進協議会のタスクフォース委員も務める。 第1章 IPFSについて 1.1 IPFSの概要 1.1.1 IPFSの概念と定義 1.1.
こんにちは、サーバーサイドエンジニアのmitaniです。先月、B/43を構成するシステムのうち、3つのRailsリポジトリの7.1バージョンアップが完了しました！ 大きな躓きポイントはなかったのですが、参考までに手順やRails 7.1の内容を紹介しようと思います。 B/43のアーキテクチャ https://smartbank.co.jp/recruit/engineer-summary B/43は、上の図のように複数のサービスから構成されています。そのうちRailsで作られているサービスが3つあります（core-api / auth-api / aml-api）。バージョンアップする際には3つまとめて行う運用をとっているため、今回も3つバージョンアップしました。 各リポジトリは全てDocker化されています。各リポジトリのDockerfileは、共通してruby等をインストールしているベ
はじめに ここでは VS Code 開発コンテナー用カスタム Docker イメージの開発方法について説明します。 動作確認は Linux 環境を使っているため、Windows や macOS とは違っている場合があります。できるだけ Docker が動作する環境であれば動くようにはしています。 この記事の対象者の前提は下記となります。 Visual Studio Code（VS Code）が使えること Docker が使えること Node.js で NPM を使ったパッケージ管理について基本的なことを知っていること Docker Compose の基本的な使い方を知っていること Linux の基本的な使い方を知っていること 使用する環境は下記です。 Visual Studio Code Docker 拡張機能: ms-azuretools.vscode-docker Dev Contai
Dark Side of DevOps
Transcript Protsenko: My name is Mykyta. I work at Netflix. My job is basically making sure that other developers don't have to stay at work late. I call it a win when they can leave at 5 p.m., and still be productive. I work in the platform organization, namely in productivity engineering, where we try to abstract toil away for the rest of engineers. Where we try to make sure that the engineers c
ソフトウェア開発におけるサプライチェーンセキュリティの実践 - NTT Communications Engineers' Blog
この記事は NTTコミュニケーションズ Advent Calendar 2023 の14日目の記事です。 こんにちは、イノベーションセンター所属の志村です。 Metemcyberプロジェクトで脅威インテリジェンスに関する内製開発や、Network Analytics for Security (以下、NA4Sec)プロジェクトで攻撃インフラの解明・撲滅に関する技術開発を担当しています。 ソフトウェア開発プロセスにおけるセキュリティに関心が高まりつつあり、サプライチェーンセキュリティという言葉も広く使われるようになってきました。 またMetemcyberプロジェクトではSBOMに関する取り組みを行っていますが、SBOMもサプライチェーンセキュリティの分野での活用が期待されている概念となります。 そこで本記事ではサプライチェーンセキュリティとはそもそも何か、具体的にどのような対策が存在するのか
記事の趣旨 本記事では、Rust製の高速データフレームであるPolarsのRuby版を利用して、データサイエンティスト協会の提供する「データサイエンス100本ノック（構造化データ加工編）」をやってみることを目的にしています。 Polarsについては、下記の公式サイトを参照してください。 Ruby版のPolarsは、polars-dfというgem名で開発されています。 Rubyを使用したデータサイエンスライブラリをばりばり開発されているankane（Andrew Kane）さんによるgemです。 深層学習やデータフレーム、LightGBM、ベイズ推定など幅広い用途のRuby用データサイエンスライブラリを開発されているすごい方です。 また、本記事では「データサイエンティスト協会スキル定義委員」の「データサイエンス100本ノック（構造化データ加工編）」を利用しています。 実際のデータサイエンスの
Cloud Run に ko と skaffold を使ってデプロイまでやってみる | フューチャー技術ブログ
はじめにこんにちは！ TIG コアテクチームの川口です。本記事は、CNCF連載 の5回目の記事になります。 本記事では、CNCF の Knative を基盤として利用している Cloud Run と CNCF の各種ビルドツール ko, skaffold、Cloud Deploy を用いたうえで、アプリケーションのビルドからデプロイまでを行います。 扱う技術要素今回は、合計5つの技術要素を扱います。 全体感を掴むため、それぞれの技術とそれらの関連について図示します。 Cloud Run （Knative）Cloud Run は、Google Cloud におけるコンテナベースのサーバーレスコンピューティングサービスとしてよく知られているものかと思います。こちらは、基盤として Knative を採用しています。 この Knative は 2022年の3月に CNCF の Incupating
Fastladder の Rails を 4.2 => 7.1 までアップデートした Upgrade Rails 4.2 => 7.1 その他信頼性向上のためにテストをいくつか追加した Add ApplicationSystemTest Add E2E test across feed addition, crawling, and display このアップデートにともなって Dockerfile も追加してある。この Dockerfile は Rails 標準の Dockerfile からいくつかの最適化などを削ってより簡易にしたもの。 fastladder orgnization ではパッケージを配る権限がなかったので、とりあえずぼくのネームスペースでビルドした Docker イメージを配っている。 以下のような docker-compose.yml を使えば手元で一発で fastl
はじめに こんにちは。検索基盤部 検索技術ブロックの今井です。 検索基盤部では検索機能や検索精度を改善する中で検索クエリの意図解釈にも取り組んでいます。ZOZOTOWNで検索窓にクエリを入力して検索ボタンを押すと、クエリに応じて検索の絞り込み条件に変換するクエリ解釈機能の処理が動作します。 例えば、「ワンピース 白色」と検索した時、「ワンピース」を洋服のカテゴリー、「白色」を色のカテゴリーと解釈し、「白色のワンピース」を検索する絞り込み条件に変換します。 2024年5月現在ではスマートフォン向けWebサイト（https://zozo.jp/sp/xxx）とアプリのみ、クエリ解釈機能の処理が適用されています。クエリ解釈機能では意図解釈や検索の絞り込み条件に変換しています。 現在はシンプルな辞書ベースの手法を用いていますが、カバーしきれない課題も出てきており、改善のモチベーションが少しずつ上が
KubeCon + CloudNativeCon Europe 2024 参加レポート - ZOZO TECH BLOG
はじめに こんにちは。SRE部フロントSREブロックの三品です。 3月19日から3月22日にかけてKubeCon + CloudNativeCon Europe 2024（以下、KubeCon EUと呼びます）が行われました。今回弊社からはZOZOTOWNのマイクロサービスや基盤に関わるエンジニア、推薦システムに関わるエンジニアの合わせて4人で参加しました。 本記事では現地の様子や弊社エンジニアが気になったセッションや現地の様子について紹介していきます。 目次 KubeConEU2024の概要 セッションの紹介 現地の様子 ブースについて 参加に向けてのTips 最後に KubeCon EU 2024の概要 昨年4月にオランダ アムステルダムで行われたKubeCon EUの様子については昨年の参加レポートをご覧ください。 techblog.zozo.com 今年のKubeCon EUはフラ
Microsoftは2023年10月23日（米国時間）に公式ブログで、効果的なプロンプトを作成し、生成AIの可能性を引き出す25のヒントを紹介した。 AI（人工知能）、特に大規模言語モデル（LLM）の文脈では、プロンプトとは、ユーザーが特定のタイプの応答を引き出すために、AIに与える入力や指示を指す。このところ注目を集めているLLMを最大限に活用するには、効果的なプロンプトを作成することが不可欠だ。 Microsoftは「Azure OpenAI Service」で「GPT-3.5-Turbo」や「GPT-4」のようなLLMを提供している。「実生活でのコミュニケーションと同じように、AIとのやりとりでも、欲しい情報をどのようにリクエストするかで、受け取る情報の種類が限られたり、広がったりする。プロンプトは、AIがユーザーの意図とAIへの期待を特定するのに役立つ。そのため、より正確なプロンプ
Dockerが2023年に公開した新機能、拡張機能をおさらい ソフトウェアサプライチェーン管理の簡素化など強化
Dockerは2023年12月20日（米国時間）、「Docker 2023: Milestones, Updates, and What’s Next」（Docker 2023: マイルストーン、アップデート、今後の展望）と題したブログ記事を公開し、同社の2023年のハイライトを紹介した。 Dockerはまず、2023年にリリースした「Docker Desktop 4.16」～「Docker Desktop 4.26」の各バージョンの主な機能強化点を挙げ、さらに以下のように、2023年におけるDockerのパフォーマンスのマイルストーン、ソフトウェアサプライチェーン管理の簡素化、20個の新しいDocker拡張機能、Dockerの主な新機能を紹介している。 Dockerのパフォーマンスのマイルストーン Dockerは、2023年のパフォーマンスのマイルストーンとして以下を挙げている。 関連記
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux Foundation、OpenID Connectを拡張した暗号化プロトコル「OpenPubkey」をローンチ | gihyo.jp
Argo Workflowsを使った機械学習環境の構築手順 - アダコテック技術ブログ
GitHub ActionsでPRを自動生成するチュートリアル - spacelyのブログ
1993年に提案されたCGIを「デプロイ」 Perlとjqを使用したそれぞれのデモ
開発者が注意すべき「マイクロサービスの問題点」、そのトップ10を解説
Renovate の Best Practices から学ぶ依存関係管理の考え方
【初心者向け】手を動かして覚えるDocker入門 - Qiita
Kubernetes の upstream のキャッチアップ
Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす
Cloud Run のための実践 Cloud Deploy
【OpenDevin】無料で簡単にAI開発できる自動化ツール | WEEL
プロンプトエンジニアリングから始めるLangChain入門講座 大嶋勇樹氏が教える、OpenAIのモデルとAPIの使い方
Build and Publish 2023
DifyとローカルLLMを使用して複数のエージェントを設定して議論する方法 - Sun wood AI labs.2
Announcing Docker Compose Watch GA Release | Docker
実践IPFS入門
Rails 7.1にバージョンアップしました - inSmartBank
VS Code 開発コンテナー用カスタム Docker イメージの開発方法
RubyのPolarsでデータサイエンティスト協会の100本ノックやってみた — 1 ~ 15問
ssig33: "Fastladder の Rails を 4.2 => 7.1 までアップデートした ..."
ZOZOTOWNのクエリ解釈機能の改善に向けたAPIリプレイスの取り組み - ZOZO TECH BLOG
Microsoft、生成AIの可能性を引き出す25種類の効果的なプロンプトの作成方法を紹介