並び順

ブックマーク数

期間指定

  • から
  • まで

161 - 200 件 / 205件

新着順 人気順

queueの検索結果161 - 200 件 / 205件

  • Rust Atomics and Locks by Mara Bos

    About this Book The Rust programming language is extremely well suited for concurrency, and its ecosystem has many libraries that include lots of concurrent data structures, locks, and more. But implementing those structures correctly can be difficult. Even in the most well-used libraries, memory ordering bugs are not uncommon. In this practical book, Mara Bos, team lead of the Rust library team,

      Rust Atomics and Locks by Mara Bos
    • 社内ソリューションアーキテクトのお仕事

      ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーで社内ソリューションアーキテクト(以下、社内SA)をしている小川です。 ヤフーには、大小さまざまなサービスが存在しています。今回は、それらのサービスをサポートしている、社内SAのお仕事をご紹介します。 ヤフーのプライベートクラウド環境 前提としてヤフーのサービスは、まずサービスレイヤーというのが上にあって、その下に共通のプラットフォーム、その下にインフラといったような水平分業の形になっています。 ※ ヤフーのレイヤーイメージ その中でも、プラットフォームレイヤーにはさまざまなクラウドサービスが存在しており、それらクラウドサービスを、AWSやGCPといったパブリッククラウドを利用するのではなく、独自のプライベートク

        社内ソリューションアーキテクトのお仕事
      • Node.jsの非同期I/Oについて調べてみた

        こんにちは、本記事は リクルートライフスタイル Advent Calendar 2019 13 日目の記事です。今日は sadnessOjisan がやっていきます。この記事では Node.js の非同期 I/O について調べたことを紹介します。 調べようと思ったきっかけは、先日の JSConfJP で Wrap-up: Runtime-friendly JavaScriptというランタイムレベルでの最適化を解説したセッションを見て Node.js の理解を深めたいと思ったからです。私は Node.js でのコーディングは多少経験がある程度なので、まずは Node.js の大きな特徴である非同期 I/O からキャッチアップすることにしました。 Node.js の大きな特徴 Node.js は公式の説明を借りると、スケーラブルなネットワークアプリケーションを構築するために設計された非同期型の

          Node.jsの非同期I/Oについて調べてみた
        • PlanetScaleとは何か、なぜ外部キー制約をサポートしていないのか

          PlanetScaleとは PlanetScaleはMySQLのマネージドサービスです。 内部の実装には元々YouTubeのために開発されたMySQLのクラスタリングシステムであるVitessが使用されています。 Vitessの開発に携わってらっしゃるSugu SougoumaraneさんがCTOとして在籍しており、スケーラブルなデータベースを構築するためのサービスとなっています。 すでにSlack, Square, GitHubなどの企業で採用されているそうです。 この記事ではPlanetScaleのどういった点が優れているのか、これまでMySQLが抱えていた問題点をどのように解決しているのかといったことをまとめます。 その中でタイトルにもつけましたが、なぜ外部キー制約をサポートしていないのかといった点も交えて説明します。 これまでのMySQLの問題点 大量のレコードが存在するテーブルの

            PlanetScaleとは何か、なぜ外部キー制約をサポートしていないのか
          • ブラウザ上のJavaScriptでの非同期処理を、今までどのように実現してきたか 「コールバック地獄」なども乗り越えてきた歴史

            Go、Python、Kotlin、Rust、TypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説!思想の違いを体感しよう」。JavaScript編では橘氏が登壇。JavaScriptが疑似的な非同期処理をどう実現しているのかと、JavaScriptの非同期処理の歴史について紹介します。 橘氏の自己紹介 橘ゆう氏(以下、橘):よろしくお願いします。風邪でめちゃくちゃ顔が死んでいるので、カメラオフでいきます。橘です。今日は「JSの非同期処理パターン Promise、async/awaitを理解する」というテーマについて話していきたいと思います。 簡単な自己紹介ですが、もともとDeNAにいて事業統合でそのままGOに移り、今は森下さん(森下篤氏)と同じチームで、主にサーバーサイドやMLOp

              ブラウザ上のJavaScriptでの非同期処理を、今までどのように実現してきたか 「コールバック地獄」なども乗り越えてきた歴史
            • SEILでつくる、“最強”ご家庭用ルータ ~ひかり電話無しプラン~ | IIJ Engineers Blog

              セキュリティオペレーションセンター と セキュリティ情報統括室 に所属。システム開発者(極) を目指すプログラマ としての活動と、セキュリティアナリストとして活動をしています。うさぎさんのぬいぐるみが相棒 【IIJ 2021 TECHアドベントカレンダー 12/2(木)の記事です】 くまさかです。 弊社では、ご家庭の情シス主幹として活動している方がそれなりにいます。かくいう私もその一人です。 OSアップデートから、プリンタの設定など、ワンオペなのでやることは多岐にわたります。 そのような家務の中には、もちろんネットワーク運用も含まれます。 弊家のネットワーク運用では、ゲートウェイルータとして、IIJ製のルータであるSEIL を採用し、細かな経路設計なども実現できています。 今回は、そのようなSEILの経路設計から、 ひかり電話無し契約時のIPoE+DS-Lite/PPPoE な設定例を紹介

                SEILでつくる、“最強”ご家庭用ルータ ~ひかり電話無しプラン~ | IIJ Engineers Blog
              • Optimize long tasks  |  Articles  |  web.dev

                Optimize long tasks Stay organized with collections Save and categorize content based on your preferences. Commonly available advice for making your JavaScript apps faster often includes "Don't block the main thread" and "Break up your long tasks." This page breaks down what that advice means, and why optimizing tasks in JavaScript is important. What is a task? A task is any discrete piece of work

                  Optimize long tasks  |  Articles  |  web.dev
                • Amazon ECS と AWS Lambda で汎用 self-hosted runner を提供する基盤 - クックパッド開発者ブログ

                  技術部 SRE グループの @s4ichi です。ここ最近は本業に加えて Overwatch2 のヒーローとして戦いに明け暮れています。救わなければならないレートがある。 GitHub flow に従った開発では GitHub Actions が非常に便利です。特に最近では CI 用途だけでなく、ソフトウェアのデリバリーなども Actions で完結させる事例も見かけます。しかしながら、クックパッド社内では GitHub Enterprise Server を使っているため、GtiHub Actions の利用には self-hosted runnner の利用が不可欠になっています。 そこで、社内では Amazon ECS 上に ephemeral で汎用的な self-hosted runner を提供しています。実行する job の数に応じた autoscaling を備え、runn

                    Amazon ECS と AWS Lambda で汎用 self-hosted runner を提供する基盤 - クックパッド開発者ブログ
                  • InnoDBのMVCCのガベージコレクションについて - shallowな暮らし

                    こんにちは、shallow1729:detailです。今回は先日MyNA会というイベントで発表したMySQLの標準のストレージエンジンであるInnoDBのMVCCのガベージコレクションについて書こうと思います。発表自体もアーカイブされているので以下から見る事ができます。 「日本MySQLユーザ会会(MyNA会) 2021年07月 -下位レイヤ勉強会-」 公開版 - YouTube まず前半ではMVCCに関連するデータ構造を見ながらガベージコレクションの重要性やlong-running transactionの問題点について解説します。後半では実際のガベージコレクション(purge)の処理をソースコードレベルで追いながら、ユーザーに提供されているパラメーターを解説をします。 これまでに比べると踏み込んだ話題なのであまり基礎的な事は解説しません。知らない単語が多いかもしれないですが、適宜調べな

                      InnoDBのMVCCのガベージコレクションについて - shallowな暮らし
                    • JavaScriptとイベントループ | NHN Cloud Meetup

                      JavaScriptの大きな特徴の1つは、「シングルスレッド」基盤の言語だという点です。スレッドが1つということは、同時に1つの作業だけを処理できるということです。しかし、実際にJavaScriptが使われる環境を考えてみると、多くの作業が同時に処理されていることが分かります。例えば、Webブラウザは、アニメーション効果を見せながら、マウスの入力を受けて処理をし、Node.js基盤のWebサーバーでは、同時に複数のHTTPリクエストを処理したりします。スレッドが1つなのに、どうしてこのようなことができるのでしょうか?質問を変えると、「JavaScriptはどのように同時実行(Concurrency)をサポートしているのでしょうか?」 このとき登場する概念が「イベントループ」です。Node.jsを導入した際、イベントループ基盤の非同期方式でNon-Blocking IOに対応して…」のような

                        JavaScriptとイベントループ | NHN Cloud Meetup
                      • Improving how we deploy GitHub

                        EngineeringImproving how we deploy GitHubAs GitHub doubled it’s developer head count, tooling that worked for us no longer functioned in the same capacity. We aimed to improve the deployment process for all developers at GitHub and mitigate risk associated with deploying one of the largest developer platforms in the world. Over the last year GitHub has doubled the number of developers contributing

                          Improving how we deploy GitHub
                        • GitHub - adobe/frontend-regression-validator: Visual regression tool used to compare baseline and updated instances of a website in a deployment pipeline.

                          FRED is an opensource visual regression tool used to compare two instances of a website. FRED is responsible for automatic visual regression testing, with the purpose of ensuring that functionality is not broken by comparing a current(baseline) and an updated version of a website. FRED compares the following: Console and network logs Visual: screenshot analysis Visual AI: screenshot analysis using

                            GitHub - adobe/frontend-regression-validator: Visual regression tool used to compare baseline and updated instances of a website in a deployment pipeline.
                          • Copilot ChatのAgents機能がすごそう - laiso

                            GitHub Copilot ChatのアップデートでAgentsという機能が追加されて@workspaceをつけて質問することでエディタのコンテキスト外のファイルも対象に回答してくれるようになった。 code.visualstudio.com 「プログラマー失業不可避」が噂されるCopilot Workspace*1とは別の機能なので注意。 以下Microsoft Copilotに翻訳してもらった要点: LLMは、ある時点での公開リポジトリのデータで訓練されています。つまり、現在のコードについては何も知りません。コードについては一般的なことは知っていますが、ワークスペースの内容に関する必要な文脈を持っていないので、それに関する質問に正確に答えたり、ワークスペースの形式や機能に従った新しいコードを提案したりすることができません。 これを回避するために、GitHub Copilot Chat

                              Copilot ChatのAgents機能がすごそう - laiso
                            • 「分散システムフレームワーク」としてのKubernetes

                              2019年7月6日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。「Kubernetesで始める新しい開発」に登壇したのは、株式会社サイバーエージェント・青山真也氏。登壇資料はこちら Kubernetes で始める新しい開発 青山真也 氏:本日は「Kubernetes で始める新しい開発」というテーマでお話しさせていただきたいと思います。 簡単に自己紹介なんですけど、私サイバーエージェントの青山と申します。普段はインフラエンジニアで主業務は主にGKEみたいなKubernetesサーバサービスのプラットフォームやKuberne

                                「分散システムフレームワーク」としてのKubernetes
                              • Ruby 3.0.0 Preview 1 Released

                                Posted by naruse on 25 Sep 2020 We are pleased to announce the release of Ruby 3.0.0-preview1. It introduces a number of new features and performance improvements. RBS RBS is a language to describe the types of Ruby programs. Type checkers including type-profiler and other tools supporting RBS will understand Ruby programs much better with RBS definitions. You can write down the definition of clas

                                • 【PWA】YouTubeをみんなでワイワイ見るためのサービス、DJ7をローンチしました! - Qiita

                                  みなさんこんにちは! 今回はYouTubeの動画を複数人で同時視聴できるサービスを作りましたので紹介したいと思います。 ブラウザを開くだけで、友達や恋人と同じ動画を見ることができます! 複数人で同じ動画を見て、あーでもないこーでもないと意見を交わすのはめちゃめちゃ楽しいです。 これはぜひ皆さんにも体験してもらいたいです! YouTube同時再生サービス DJ7 https://dj7.io 初回のアクセスは音がならないように設定してありますのでご安心ください。 できること 同期再生 サービスの要です。複数のデバイス間で再生の状態が同期され、離れている場所でも同じタイミングで同じ動画を視聴できます。 右下をクリックすると動画を画面に大きく表示します。これによって複数人で同じ動画を見ることができます😋 シークバー共有 DJ7ではシークバーの状態もユーザ間で共有されます。これはYouTube

                                    【PWA】YouTubeをみんなでワイワイ見るためのサービス、DJ7をローンチしました! - Qiita
                                  • WebRTC配信技術 "WHIP" で遊ぶ - NTT Communications Engineers' Blog

                                    はじめに 当ポストは、低遅延配信の技術であるWHIP(WebRTC-HTTP Ingestion Protocol)を自分で動かしてみたい方へ向けた記事となります。 WebRTCを利用した配信映像の集信プロトコルであるWHIPは現在Internet-Draftではありますが、配信技術者やWebRTC技術者の注目を得て、実際に動かせる環境が整ってきました。 当ポストでは、WHIPが動く環境を作り、自前のWebRTCスタックをWHIPで使う簡単な方法を紹介します。 とはいえInternet-Draftということもあり、「WebRTCなら聞いたことあるけど、WHIPって何?配信とWebRTCが関係あるの?」という方も多いと思いますので、最初はWHIPの紹介から入りたいと思います。 WHIPとは WHIPは、WebRTCを利用したインジェストのためのHTTPSベースのシグナリングプロトコルです。

                                      WebRTC配信技術 "WHIP" で遊ぶ - NTT Communications Engineers' Blog
                                    • 分散合意アルゴリズム Raft を TLA+ で検証する - 俺の Colimit を越えてゆけ

                                      はじめに 分散合意アルゴリズム Raft とは 分散合意アルゴリズムとは Raft の特徴 Raft が満たす性質 Election Safety Leader Append-Only Log Matching Leader Completeness State Machine Safety TLA+ とは TLA+ による Raft の形式的仕様 TLA+ による Raft の検証方法 TLA+ Toolbox のインストール 新規 Spec の作成 Model の作成と実行 補足: コマンドラインでの検証 Raft の拡張について Leadership Transfer Membership Change Log Compaction Client Interaction おわりに Raft 理解度を調べるクイズ 参考資料 Raft に関する資料 TLA+ に関する資料 はじめに この

                                        分散合意アルゴリズム Raft を TLA+ で検証する - 俺の Colimit を越えてゆけ
                                      • 【コードでインフラ定義】CDKという異次元体験をさくっとやるのに便利なAWS公式Workshopの紹介 | DevelopersIO

                                        CDKを最初に試して見るには非常に便利なCDK Workshopの紹介です。ぜひこれでCDKの奥深い新鮮な世界に入門いただければ。 「俺もそろそろ乗らなくては、この、ビッグウェーブに!!」 皆さん、CDK触っていますか?DevelopersIOにも、CDK | 特集カテゴリー で、既に20以上のブログがあがっていたり、その人気はうなぎのぼりです。 CDKとは一口で言えば「コードでインフラを定義する」ものです。「いやぁ、これ楽。素晴らしい」という声を同僚からよく聞くので、自分も早速試してみようとしたところ、CDK Workshopなるものを発見し、手を動かして学ぶには凄くわかりやすく良い教材だったので、その内容を紹介します。 CDK実行するための環境定義 LambdaとAPI Gatewayを利用した簡単なサービスの公開 モジュールの作り方 クラス構造の解説 デバッグ方法 モジュールの利用方

                                          【コードでインフラ定義】CDKという異次元体験をさくっとやるのに便利なAWS公式Workshopの紹介 | DevelopersIO
                                        • Google I/O 2022 のFirebaseまとめ

                                          Google I/O 2022 Googleでは毎年5月に開発者向けの、主力サービスの今までの成果や今後の新機能などの大きな発表が行われています。当記事では、先日2022年5月11日〜12日にかけて行われたGoogle I/O 2022の中で発表されたFirebaseに関連する情報のみを整理し、まとめたものです。筆者による雑翻訳ですので正確では無い部分も含まれております点を予めご了承ください。 参照元 当記事は次にあげる2点を中心に関連する内容をまとめたものです。 動画:What's new in Firebase ブログ記事:What's new from Firebase at Google I/0 2022 ここからは、セッション「What's new in Firebase」で発表の行われたトピックをその発表順で掲載します。関連するFirebase系の別セッションの内容なども該当ト

                                            Google I/O 2022 のFirebaseまとめ
                                          • 5人まで無料! Terraform Cloudを使ってみた | DevelopersIO

                                            最近ウィルキンソンの炭酸水にハマっている もこ@札幌オフィスです。 HashiConfにて、Terraform Cloudが5人まで無料で使えるようになったとのことですので、早速使ってみました! 実際の利用する方法、おすすめの運用方法などもまとめてレポートします! Workspaceを作成 Terraform Cloudのアカウント作成方法などは省略させていただきます。 アカウント作成が終わった画面で"Create a new Workspace"が表示されます。 GitHub, GitLab, Bitbucketなどの主要Gitサービスとインテグ出来るそうです。 今回は個人のGitHubアカウントでPrivateリポジトリを作成し、インテグしてみます。 コードをGitHubにPush、環境変数を設定 リポジトリをTerraform Cloudと連携させるためには、リポジトリが空の状態だと

                                              5人まで無料! Terraform Cloudを使ってみた | DevelopersIO
                                            • Selenium 4 の新機能・変更点まとめ

                                              2021/10/13 に Selenium 4 の正式リリースがアナウンスされました。 Selenium 4 の変更点について調べたので、まとめておきます。 後方互換性のない変更 基本的には後方互換性ありですが、一部のコードに依存していると修正が必要です。 Selenium 4 へのアップグレード方法のドキュメントが↓にあり、プログラミング言語ごとに修正例が載っているので参考になります。 大きなところでは、Capabilities 系のクラスや findElement(s)By* 系のメソッドが使えなくなっています。細かいところでは Java だと Waits や Timeout 系の引数が Duration 型になっているなどいろいろあるので、アップグレードするときはちゃんと上記のドキュメントを読んで影響範囲を把握しましょう。 新機能 Relative Locators ブラウザ上の他の

                                                Selenium 4 の新機能・変更点まとめ
                                              • AWS re:Invent 2021で発表された新サービス/アップデートまとめ - Qiita

                                                AWS re:Invent 2021の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました! 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は日本時間で表記します。 11/29(月) 今年の開幕は「Amazon IoT RoboRunner」でした。 Midnight Madness (15:30-) Amazon IoT RoboRunner ロボットと作業管理システムを接続し、単一のシステムビューを介した業務作業全体のオーケストレーションが可能 詳細はYouTubeでも公開 https://youtu.be/q8POXvJ4nMI AWS Management Consoleで1つの施設(サイト名と場所など)を作成す

                                                  AWS re:Invent 2021で発表された新サービス/アップデートまとめ - Qiita
                                                • SQS を使った Python の非同期ワーカーは ndkale しかない - kawasin73のブログ

                                                  誰一人見捨てない!!! どうも、かわしんです。Celery は見捨てるんです。 この記事は Pythonその2 Advent Calendar 2019 の 15 日目の記事です。 やや強めのタイトルですが、AWS SQS を使った非同期ワーカーでまともな実装は ndkale しかないという内容です。Celery は論外です。 github.com 前半はディスってばっかりなので、ndkale のことだけを知りたい場合は途中の「大本命 ndkale」から読んでください 前提としての欲しい機能 まず、諸々をディスる前に非同期ワーカーとして欲しい機能をあげておきます。 正しく SQS を使って信頼性のあるタスク実行をする 即時再実行をする 複数のキューを使い分ける。また同じタスクでも動的に利用するキューを切り替えたい Dead Letter Queue も使えると嬉しい まず Celery を

                                                    SQS を使った Python の非同期ワーカーは ndkale しかない - kawasin73のブログ
                                                  • 大規模Kafkaクラスターで起きた「SYN flood」 再現性のない問題をどのように原因究明したか

                                                    2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで岡田遥来氏が、LINEで最もよく使われるミドルウェアの1つ「Kafka」クラスターのリクエスト遅延を、どのように解決したかについて紹介しました。まずは起きた現象と、その原因究明について。 分散ストリーミングミドルウェア「Apache Kafka」 岡田遥来氏:ではセッションを始めます。よろしくお願いいたします。 こんにちは。岡田遥来と申します。LINEでシニアソフトウェアエンジニアをやっていて、全社的に利用されるApache Kafkaプラットフォームの開発・運用を担当しています。 ご存じの方も多いかもしれませんが、Apache Kafkaは分散ストリーミングミドルウェアで、LINEでは最もよく使われるミドル

                                                      大規模Kafkaクラスターで起きた「SYN flood」 再現性のない問題をどのように原因究明したか
                                                    • Unityでスライムを作ろう! - Qiita

                                                      この記事は Akatsuki Advent Calendar 2021 14日目の記事です。 13日目は、アディさんの「カードゲームクリエイターで快適ポケカライフを過ごす」でした。 はじめに はじめまして、新卒クライアントエンジニアのyuyuです。 アカツキにはハイパーカジュアルゲームを作る研修があるのですが、そこで作ったゲームにスライムの表現を入れました(下の画像参照)。 それが思いの外いい感じになったので、記事として残すことにしました。 本記事では、全体の工程を10ステップに分割して説明していきます。 最終的にはこのような画を作っていきます。 プロジェクトはこちらにアップしています。 対象の読者 この記事は、以下のような方を対象としています。 シェーダーやレイマーチングの経験があり、スライム的な表現のミソを知りたい シェーダーやレイマーチングの経験はないが、実際に動くコードや途中経過を

                                                        Unityでスライムを作ろう! - Qiita
                                                      • Rust Advent Calendar 2019 1日目 Rust の非同期プログラミングモデルはランタイム観点だと Go のそれに似ている - keno_ssの日記

                                                        この記事は Rust Advent Calendar 2019 の1日目の記事になります. 明日は topecongiro さんの予定です. TL;DR 去る 11/07 に Rust 1.39.0 がリリースされました. これはユーザー待望の async/await 構文が言語機能として取り込まれた安定版リリースとなります. Advent Calendar 最初の記事としては取り上げないわけにはいきません. もう既に他の良い記事がたくさん書かれていますが, この記事ではそれらを補完する視点から説明してみようと思います. Rust と非同期 IO の歴史 κeenのHappy Hacκing Blog -- async/awaitと合成可能性 async/await の実装と利便性のバランスの良さについて. κeenのHappy Hacκing Blog -- RustのFutureとその

                                                          Rust Advent Calendar 2019 1日目 Rust の非同期プログラミングモデルはランタイム観点だと Go のそれに似ている - keno_ssの日記
                                                        • User-Agent Client Hints

                                                          This specification was published by the Web Platform Incubator Community Group. It is not a W3C Standard nor is it on the W3C Standards Track. Please note that under the W3C Community Contributor License Agreement (CLA) there is a limited opt-out and other conditions apply. Learn more about W3C Community and Business Groups. 1. Introduction This section is non-normative. Today, user agents general

                                                          • 競プロのアルゴリズム関連略称まとめ - noshi91のメモ

                                                            随時募集しています 略称 正称 APSP All Pairs Shortest Path BB Branch and bound BBST Balanced Binary Search Tree BFS Breadth First Search BIT Binary Indexed Tree BM Berlekamp-Massey BM Boyer-Moore BSGS Baby-Step Giant-Step CHT Convex Hull Trick CRT Chinese Remainder Theorem D&C Divide and Conquer DAG Directed Acyclic Graph DEPQ Double-ended priority queue DFS Depth First Search DP Dynamic Programming DST Disjoin

                                                              競プロのアルゴリズム関連略称まとめ - noshi91のメモ
                                                            • OpenAI APIのFine-tuningを試してみる | DevelopersIO

                                                              手順 トレーニングデータを準備してアップロードする 新しいFine-tuningされたモデルをトレーニングする Fine-tuningモデルを使用する ドキュメントに沿って行っていくので、APIの利用はOpenAIのCLIを使って実行してきます。 以下のコマンドでインストール。・ pip install --upgrade openai openaiのAPI keyを環境変数にセットします。 export OPENAI_API_KEY="<OPENAI_API_KEY>" サンプルとして、ゲーム内のとある名称がスキルなのか爆発なのか分類させてみます。 chatGPTではこのように間違った回答を返していたので、正しい情報を学習させてみます。 1. トレーニングデータを準備してアップロードする トレーニングデータは、GPT-3に言いたいことを教える方法です データセットの準備 に書いてあるベス

                                                                OpenAI APIのFine-tuningを試してみる | DevelopersIO
                                                              • Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services

                                                                AWS News Blog Introducing Amazon Managed Workflows for Apache Airflow (MWAA) As the volume and complexity of your data processing pipelines increase, you can simplify the overall process by decomposing it into a series of smaller tasks and coordinate the execution of these tasks as part of a workflow. To do so, many developers and data engineers use Apache Airflow, a platform created by the commun

                                                                  Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services
                                                                • Pull request merge queue (public beta)

                                                                  February 8, 2023 Today we are announcing the public beta of pull request merge queue for repos on GitHub Enterprise Cloud and open source organizations! 🎉 Merge queue helps increase velocity in software delivery by automating pull request merges into your busiest branches. Before merge queue, developers were often required to update their pull request branches prior to merging to ensure their cha

                                                                    Pull request merge queue (public beta)
                                                                  • Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O

                                                                    Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O When talking about high-performance software we probably think of server software (such as nginx) which processes millions requests from thousands clients in parallel. Surely, what makes server software work so fast is high-end CPU running with huge amount of memory and a very fast network link. But even the

                                                                      Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O
                                                                    • Fluentd 集約ノードのオートスケール - クックパッド開発者ブログ

                                                                      こんにちは、技術部 SRE グループ アルバイトの小川です。この記事では、クックパッドでコンテナログの処理に利用している Fluentd ノードのオートスケール対応について紹介します。 クックパッドでは Amazon ECS を用いてコンテナ化されたアプリケーションをデプロイしています。クックパッドでの ECS の利用については過去の記事をご覧ください。 ECS 上で動くコンテナのログを閲覧するために、標準的には Amazon CloudWatch Logs を利用する方法があります。しかし、クックパッドではログ量やコストの問題で CloudWatch Logs は利用せず、独自のログ配送基盤を構築して運用しています。具体的には、ECS のコンテナインスタンスで実行している Fluentd から複数の Amazon EC2 インスタンスで構成される Fluentd 集約ノードにログを転送し

                                                                        Fluentd 集約ノードのオートスケール - クックパッド開発者ブログ
                                                                      • 年末だしRedashのクエリ棚卸しでもしましょう (調査用サンプルクエリ付き) - エムスリーテックブログ

                                                                        これはエムスリー Advent Calendar 2023の9日目の記事です。 前日の記事はSREチーム後藤の「共有会をより効果的にするために考えたあれやこれ」でした。 エムスリーエンジニアリンググループ データ基盤チームの木田です。 師走です。12月といえば年末に向けて大掃除の季節です。 古来日本では12月に宮中で「煤払い」という行事を行う風習があったことが、今日年末の時期に大掃除をする由来とされているそうです。 私の自宅はまだ何も手をつけられていませんが、せめてBIツールの中だけでもということでRedashのクエリ棚卸しをした話*1をご紹介します。 エムスリーにおけるRedashの活用状況 長年の運用の結果起きた性能問題 問題の特定と発生原因 Workerの増設 クエリの棚卸しと改善 使われていない定期実行クエリの停止 サンプル1 直近参照なしかつ定期実行クエリ クエリの実行時間改善

                                                                          年末だしRedashのクエリ棚卸しでもしましょう (調査用サンプルクエリ付き) - エムスリーテックブログ
                                                                        • TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball

                                                                          ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code(IaC)は個人開発(趣味開発)でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発(もしくは小規模システム)でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ(Polyrepo)」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ(Monorepo)」パターン - アプリケーションもインフラも

                                                                            TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
                                                                          • Virtual Thread導入の背景 - Javaのマルチスレッドの歴史を振り返る

                                                                            このエントリーは Java Advent Calendar の9日目のエントリーです。 qiita.com Virtual ThraedはJava 19でPreview (JEP 425)、Java 20でSecond Preview (JEP 436)となり、うまくいけば次のLTSであるJava 21で導入予定です。 パフォーマンスを考える時に、一般的にはスループットと応答性の2つがあります。スループットは単位時間あたりにどのくらいリクエストをさばけるか、応答性は処理のリクエストから結果が帰るまでの時間です。Virtual Threadのこの2者のうち、スループットを向上させるために導入されます。 では、なぜ今になってVirtual Threadが導入されるのかということを、歴史を振り返りながら考えてみるのがこのエントリーです。 いにしえの時代 - Java 1.0からJ2SE 1.4

                                                                            • 歴史・年表でみるAWSサービス(Amazon EventBridge編) -機能一覧・概要・アップデートのまとめ・入門、Amazon CloudWatch Eventsとの違い- - NRIネットコムBlog

                                                                              小西秀和です。 「歴史・年表でみるAWS全サービス一覧 -アナウンス日、General Availability(GA)、AWSサービス概要のまとめ-」から始まったAWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第5弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53について書きました)。 今回はAWSサービスのイベント検知、条件に応じた他のAWSサービスへのイベント連携、イベントの生成などをするAmazon EventBridge(旧Amazon CloudWatch Events)について歴史年表を作成してみました。 今回もAmazon EventBridgeの誕生から機能追加やアップデートを追いながら主要機能を現在のAmazon EventBridgeの機能一覧と概要としてまとめています。 これらが、各AWSサービス

                                                                                歴史・年表でみるAWSサービス(Amazon EventBridge編) -機能一覧・概要・アップデートのまとめ・入門、Amazon CloudWatch Eventsとの違い- - NRIネットコムBlog
                                                                              • サーバーレスでスケールするメール送信システムをAWS CDKで構築する - 365歩のテック

                                                                                概要 タイトル通りですが、AWSでサーバーレスなメール送信システムを、AWS CDKを使って構築してみました。 サーバーレスなので、スケールする良い感じの構成になります。 荒いところもありますが結構便利なのでよかったらぜひご参考に、またはそのまま使ってくださいという感じで読んでいただけたら光栄です。 Amazon SESを使用してメールを送信していますが、(少し変えれば)SES以外でも送信できるかと思います。 目次 目次 概要 目次 まとめ(AWS Dev Day 2022 Japan) 要件 前提 アーキテクチャ 構成図 使用AWSサービス コード アーキテクチャ解説と補足 AWS CDK aws_lambda_nodejs パラメータ用コンフィグファイル バリデーション Amazon SES SQS 標準キュー 可視性タイムアウト ロングポーリング 部分バッチ応答 S3 DynamoD

                                                                                  サーバーレスでスケールするメール送信システムをAWS CDKで構築する - 365歩のテック
                                                                                • なぜ MVVM + FRP は Elm Architecture に勝てないのか - dely Tech Blog

                                                                                  こんにちは、delyでクラシルiOSアプリ開発を担当している稲見 (@inamiy)です。 この記事は「dely #2 Advent Calendar 2020」の25日目の記事です。 dely #1 Advent Calendar 2020 dely #2 Advent Calendar 2020 昨日は、delyのSREチームのjoooee0000(高山)さんによる delyのSREチームがオンコールトレーニングを導入する3つの理由 の記事でした。 オンコール対応できるエンジニア、強くてカッコいい・・・ 私の方からは、メリークリスマス🎄🎅🔔 にふさわしい Elm Architecture による unidirectional なプレゼントをお届けします🎁 (2020/12/26 EDIT: タイトルを「なぜ MVVM は Elm Architecture に勝てないのか」から「

                                                                                    なぜ MVVM + FRP は Elm Architecture に勝てないのか - dely Tech Blog