現代のデータベースには設定可能な項目が数百単位で存在しており、その全てを適切に設定して最高のパフォーマンスを導き出すのは並大抵のことではありません。そうした人間には難しいチューニングをデータベースの使用状況を把握して自動で行ってくれるサービスが「OtterTune」です。 OtterTune - Database optimization. On autopilot. | OtterTune.com https://ottertune.com/ OtterTuneを使う時に特殊なソフトウェアのインストールやコードの変更は不要で、OtterTuneをデータベースに接続して何を目標にするかを選べばOK。目標には例えばクエリパフォーマンスやコストなどを設定可能です。接続が完了すると自動で接続時点での設定や統計情報を読み取り始めます。このとき、テーブル情報やクエリなどデータベースの中身に関する情報
SQL Server / SQL Database パフォーマンスチューニングのための基礎知識 - Qiita
本投稿について 本投稿は、Microsoft Learn で公開されている、「SQL Server でクエリのパフォーマンスを最適化する 」を確認していた際に、いくつかの情報を補足しながら日本語化したものとなります。 SQL Server / Azure SQL Database のパフォーマンスチューニングには様々な方法があり、「このケースであればこの方法」ということを断定することは難しいのではないでしょうか。 そのため、様々なケースで利用することが可能な、チューニング方法の基礎知識 (一般論) はとても重要です。 本投稿で、確認を行った「SQL Server でクエリのパフォーマンスを最適化する 」は、チューニングに対しての体系的な考え方を無償で学ぶのには適しているコンテンツではないかと思いました。 チューニング系の講義は様々なノウハウが絡みますので有償が多く、ノウハウがない状態で体系
ECS×Fargateのオートスケールをチューニングしてサービス運営費を削減した話 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、ECS×Fargateで運用しているサービスの「ターゲット追跡ServiceAutoScalling」をチューニングをしたことで、費用が約半分になるという大きな成果を残すことが出来たのでその内容を経緯と共にまとめています。 内容はざっくり下記3点です。 なぜオートスケールのチューニングをしたのか? 「ターゲット追跡ServiceAutoScalling」のチューニング方法 どんな結果になったか? なぜオートスケールのチューニングをしたのか? コネヒトではWebのアーキテクチャはほとんどECS×Fargateの基盤で動かしています。そして、オートスケールとして「ターゲット追跡ServiceAutoScalling」を使うことで、Fargateのメリットを最大限活かす形で運用コスト低くサービス運用を実現しています。 ここらの
渡辺です。 そろそろ冬籠もりの準備をする季節です。 Developers.IO Cafe のインフラはLambdaを軸としたサーバレスアーキテクチャです。 Lambdaはサーバレスの中核として非常に使い勝手の良いサービスですが、制限と上手く向き合うことも必要です。 特にコールドスタートはパフォーマンスに直結する大きな課題です。 本エントリーでは、カフェのバックエンドLambdaで実施したパフォーマンスチューニングについて解説します。 コールドスタートとLambda Lambdaを扱う以上、 コールドスタート は避けられない問題です。 一般的に、サーバレスアーキテクチャでは、サービスが利用されていない時間帯は、コンピュータリソースを使わないように設計されています。 言い換えると、サービスが最初に利用される場合、サービスをスケールする場合、サービスがアップデートされた場合などに、 サービスが都
電子書籍版5/30、紙版6/4「達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践」が発売されます！ - Hateburo: kazeburo hatenablog
共著で執筆しました「達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践」が発売されます。紙版は6/4日発売、電子書籍版は本日5/30から発売されております。通称 #ISUCON本 です。 ISUCONを例にするWebアプリケーションの主にサーバサイドのチューニングを広く扱うユニークな書籍となっております。ISUCONに参加する方はもちろん、業務でWebアプリケーションの開発運用にあたるエンジニアまで役に立ちそうな内容が盛りだくさんになります。 見本誌が届きましたが、分厚い、そして盛りだくさんな内容となっています。 技術評論社のページ gihyo.jp Amazon 達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践 作者:藤原 俊一郎,馬場 俊彰,中西 建登,長野 雅広,金子 達哉,草野 翔技術評論社Amazon ISUCON本
ChatpGPT（モデルはGPT-4を利用）にシンプルなSELECT文とテーブル・インデックス定義を与えてSQLチューニングの案出しをしてもらいました。 ちなみに、プロンプトやChain of Thought などの工夫は一切せず、シンプルに質問をぶつけています。 以下、注意事項。 実務利用と比べるとシンプルすぎるのでお遊びの範囲を超えていません。 どのチューニング案が適切かは多くの要素（例えば以下）が関わってくるので、一概に判断できず実際に測定を行い確認する必要があります。 データ量やその分布 ハードウェアやRDBMSの種類・バージョンなどの環境 性能要件（何秒以内のレスポンスが必要か、同時実行数はいくつかなど） ChatGPTへの質問とその回答 1. 単純なインデックスが不足しているケース 質問 以下のSQL文の性能を改善するにはどうしたらよいでしょうか。 select custome
burikaigi2021 Rails製ECサイトの決済速度を上げろ！〜決済処理チューニングの記録〜
[JJUG CCC 2022 fall] Fargate上のJVMからCPUを認識するまで 〜正しく認識されないCPUの謎を追え〜
フル電動小型乗用車『ホンダe』をリリースしたホンダは12月4日、タミヤの電動レーシングカー『ミニ四駆』の媒体対抗戦を開催した。ミニ四駆の車種は11月14日に発売されたばかりのホンダeで、東京青山の本社に設置されたコースは鈴鹿サーキットを模したレイアウトだ。 参加した車両は12媒体に加えて、タミヤ（ワークス）、ホンダ広報部、ホンダe開発チーム1（本田技術研究所栃木研究所）、同2（本田技術研究所和光研究所）の16台。ミニ四駆は多彩なパーツでチューニングできるのだが、セミワークスとも言えるホンダ3チームの仕上がりが半端なかった。とくに開発チームの2台は、イベント司会のMCガッツをして「説明してもわかる人がいますかね」と言わしめるほど。 ボディはデザイン部の製作だ。ホンダエンジンを搭載するF1のレッドブルとアルファタウリをデザインしており、これらは公式にF1チームの承認を得ている。制作途中でチェッ
書評: ISUCONを「ゴール」で終わらせない。『達人が教えるWebパフォーマンスチューニング ～ISUCONから学ぶ高速化の実践』 - その手の平は尻もつかめるさ
達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践 作者:藤原 俊一郎,馬場 俊彰,中西 建登,長野 雅広,金子 達哉,草野 翔技術評論社Amazon 著者のid:catatsuyさんよりご恵投いただきました。ありがとうございます。実は著者の方から本を頂戴するのってはじめてです。 さて、この書籍のタイトルをはじめて見たときは「オッ、ついにISUCONの攻略本が来ましたね、これでワシも優勝間違いなしや！！」と思ったものですが実際に手に取ってみると必ずしもそうではないことに気付きました。むしろ「ISUCONで勝つための小手先のテクニック」のような話題は極力排除されており、高速かつ高可用なWebアプリケーションをどのように構築・運用していくか、というような実戦的な内容がその多くを占めています。 まず書籍の冒頭では「『Webアプリケーションのパフォーマンス』の定義」か
［速報］Oracle Autonomous Linuxリリース。ダウンタイムなしで自律的にパッチ適用、チューニング実行、RHELと100％互換など。Oracle OpenWorld 2019
［速報］Oracle Autonomous Linuxリリース。ダウンタイムなしで自律的にパッチ適用、チューニング実行、RHELと100％互換など。Oracle OpenWorld 2019 米オラクルは、サンフランシスコで開催中の年次イベント「Oracle OpenWorld 2019」で、「Oracle Autonomous Linux」のリリースを発表しました。 同社会長兼CTOのラリー・エリソン氏はこれを「世界で最初の自律的に動作するオペレーティングシステムだ」と紹介しました。 Oracle Autonomous Linuxは、Oracle LinuxをベースにしたLinuxディストリビューション。Oracle Cloudで提供されるOSの集中管理サービス「Oracle OS Management Service」と組み合わせることで、自律的なパッチの適用やチューニングなどが可能に
マイク搭載の端末であればPCでもスマートフォンでも利用できる。マイクボタンを有効にして、音を入力すると、普通のチューナーのように音程を表示する。 音叉で確認したところ、正確に表示された。 この機能がずっと使えるかどうかは不明。Googleは、この機能は「National Carry a Tune Week」を祝うものだとしている。これは、2001年に作曲家のロジャー・ホール氏が9.11の犠牲者のために始めた音楽週間。毎年米国の作曲家ウィリアム・ビリングス氏の誕生日である10月7日前後に開催される。21回目の今年は10月3日～9日だ。（主催者のWebサイトより） 関連記事 Google検索で「メトロノーム」を検索すると、メトロノームになる Google検索で「メトロノーム」を検索すると、テンポ120のメトロノームカードが表示される。テンポは40～208BPMの範囲で変更可能だ。 動物名をGo
BERT を用いて livedoorニュースコーパス分類タスクを学習ハイパーパラメータチューニングによって，テスト正答率を 87.6% から 96.7% まで改善おまけ：カテゴリ「エスマックス」の判別は極めて容易 カラクリ株式会社の Research & development チーム（長いので以下 AIチーム）の吉田です．おはこんばんにちは． 本記事では，BERT (Bidirectional Encoder Representations from Transformers) を用いて日本語文書分類タスクを学習し，さらに精度向上のためにハイパーパラメータチューニングを実施した場合の実践例について記しました． BERTは，文章（正確にはトークン列）が入力されるとその特徴ベクトルを出力する，巨大なニューラルネットワークです．2018年10月にGoogleから発表された論文で提案された手法で
【2020】Reactパフォーマンスチューニング ~LightHouse Score 爆上げ物語~ - Qiita
こんにちは！ぬこすけと申します！ Reactを使って個人で本のおすすめ度を点数化して紹介するサイトを作っています。 ひたすら本のリストページのパフォーマンスチューニングをしていたのですが、LightHouseのパフォーマンススコアで下記のように爆上げすることができました！ Before パフォーマンススコア：30前後くらい ※表示する本のリストは10件 After パフォーマンススコア：90前後くらい ※表示する本のリストは400件程度 (2020/8/12に計測) 今回の開発で得た経験を元に、Reactにおけるパフォーマンスチューニングのノウハウをご紹介したいと思います！ なお、導入効果と導入工数、おすすめ度を主観で５段階でつけさせていただきました！ なお、React Hooksをはじめ、2020/7/28にリリースされたNextJs 9.5など、最近の技術も活用しているので、そこらへん
達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践を献本いただいた、なお、私は書籍のレビュアーである。 （注釈 最近こういうのどこまで公開しておかないといけないのかよくわからんけど書いておく、金はもらってないが、献本はいただいた。いや、本をもらう以上に自分のレビュー作業に工数はかかっているので得をしているわけではないし、増版しても俺の懐はあたたまらない。注釈終わり） 達人が教えるWebパフォーマンスチューニング 〜ISUCONから学ぶ高速化の実践 作者:藤原 俊一郎,馬場 俊彰,中西 建登,長野 雅広,金子 達哉,草野 翔技術評論社Amazon さて、献本いただいたから書く、レビュアーだから書く、というわけではないのですが、実際面白い本であることには間違いないので、エントリを書いてみる。 まとめ ISUCONにこれで勝てるわけではない。 期待していた皆様（？）
ReactコンポーネントをブルブルさせながらReduxのパフォーマンスチューニング - カミナシ エンジニアブログ
はじめに こんにちは、カミナシ社でソフトウェアエンジニアをやっている浦岡です。 我々は「ノーコードでユーザー独自の現場アプリを作成できる」サービスを開発しています。 そのサービスのフロントエンドの開発にはReact×Reduxを使っているのですが、 サービス特性のため「Reduxのstateがファットになりがち」であったり「コンポーネント間のデータの依存関係が多くなりがち」といった状態に陥ります。 その結果、アプリの反応速度が遅くなりがちです... この記事では、上のような状態に陥った「React×Redux」アプリの高速化の一例をサンプルアプリを用いて説明します。 サンプルアプリについて 今回、Reduxのチュートリアルにあるカウンターアプリを改良し、下のような「モンスターの捕獲記録」アプリを作ります。 サンプルアプリについて Version1(コンポーネントをブルブルさせてみる) まず
「Startup Day 2023」は日本中のAWSを利用するStartupが、AWSの知見を披露するHubとなる1日です。2023年はサブテーマに「スタートアップ冬の時代を共に乗り越える」を掲げて、スタートアップが面しているこの逆境をどうやって跳ね除け、成長につなげていけるかを共有します。ここで、株式会社SODAの林氏が登壇。まずは、「SNKRDUNK」（スニダン）におけるコスト削減の方針について話します。 本セッションの目次 林雅也氏：林と申します。本日は「AWS月額利用料を$137,000→$87,000に削減して信頼性に投資した話」をします。 さっそくタイトルの訂正で恐縮ですが、このセッションの準備にあたっていろいろと数値を振り返っていると、最大値は$146,000だったので、いきなりですが$137,000から訂正します。 そして今日のキーワードから共有したいと思います。今日のキー
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
ネイティブツールと外部ツールに基づいた Amazon RDS PostgreSQL のクエリの最適化とチューニング | Amazon Web Services
Amazon Web Services ブログ ネイティブツールと外部ツールに基づいた Amazon RDS PostgreSQL のクエリの最適化とチューニング PostgreSQL は最も人気のあるオープンソースのリレーショナルデータベースシステムの 1 つです。30年以上の開発作業の成果である PostgreSQL は、多数の複雑なデータワークロードを処理できる、信頼性が高く堅牢なデータベースであることが証明されています。Oracle などの商用データベースから移行する場合、PostgreSQL はオープンソースデータベースの主要な選択肢と見なされています。 AWS は、PostgreSQL データベースのデプロイを、コスト効率の良い方法でクラウドに簡単にセットアップ、管理、およびスケールできるサービスを提供しています。これらのサービスは、Amazon RDS for Postgre
「クラウドは必須だ。あえて、反逆者となる道を選んだ」とCCCマーケティングの松井太郎氏（ITシニアマネージャー）は笑う。2015年当時、クラウドに対する理解は社内でも現在ほど進んでいなかったという。品質面とセキュリティの観点からクラウド移行が難航を極めたのは想像に容易い。社内で奔走したプロジェクトメンバーに話を聞いた。 分析業務の完全移行 Modelerとの闘い クラウド導入の検討は、2015年にスタート。セキュリティ要件の確認など社内調整を済ませ、2017年6月にプロジェクトが正式に発足した。この段階では、Microsoft Azureの他、他社のパブリッククラウドも同時にPoC（概念実証）を実施し、性能を比較検討していた。最終的にMicrosoft Azureを選んだ理由は（1）Azure Synapse Analytics（当時の名称はAzure SQL Data Warehouse
Unityのパフォーマンスチューニングを体系的に学べる書籍『Unity Performance Tuning Bible』刊行による社内技術力強化施策の紹介 | CyberAgent Developers Blog
Unityのパフォーマンスチューニングを体系的に学べる書籍『Unity Performance Tuning Bible』刊行による社内技術力強化施策の紹介 ゲーム・エンターテイメント事業部では、Unityにおけるパフォーマンスチューニングに必要な知識を体系的にまとめた書籍『Unity パフォーマンスチューニングバイブル』を社内向けに刊行しました。 本記事ではこの取り組みの概要と、300ページに及ぶ書籍の一部を紹介します。 パフォーマンスチューニングバイブルの概要 モバイルゲーム開発においては、常にパフォーマンスを意識した開発を行う必要があります。 これが不十分だと、メモリ圧迫によるクラッシュやFPSの低下、ロード時間やダウンロード時間の増大といった深刻な問題がもたらされます。 このようにパフォーマンスチューニングに関する知識は重要ですが、その一方で体系的な学習が難しいという問題があります
Kafka Brokerのcompaction動作の詳細とチューニング方法について - Repro Tech Blog
Reproでチーフアーキテクトとして働いているid:joker1007です。 今回、Kafka Brokerのcompaction動作について調査しチューニングすることでパフォーマンス改善の成果が得られたため、そのノウハウをブログにまとめておきました。 かなりマニアックな内容なので、需要は多くないと思いますが、私が調査した限りでは日本語で同じ様な内容のブログ記事はほとんど存在しなかったため、Kafkaを自前で運用している人にとっては役に立つ内容かもしれません。 compactionとは (参考: https://kafka.apache.org/documentation/#compaction) Kafkaの基本的なデータ削除ポリシーは一定時間が経過したら過去のデータをそのまま削除するdeleteというポリシーを使う。 これは、log.retention.hoursという設定でコントロー
PostgreSQLを利用する上で、CPU、メモリー、ディスクなどのリソースを有効に使うためには、パフォーマンスチューニングが必要になります。実際に、PostgreSQLのパフォーマンスを引き出すための手法は数多くありますが、その手法を整理するといくつかの観点が見えてきます。これから、「パフォーマンスチューニング9つの技」と題して、実際の業務において押さえておくべきパフォーマンスチューニングの手法について、「書き」「探し」「基盤」の3つの観点に分けて解説していきます。以下に、「パフォーマンスチューニング9つの技」の全体概要を示します。
「aws lambdaでpythonを実行するときのチューニング案を試してみた！」というタイトルで登壇しました。 | DevelopersIO
こちらのコールドスタート関連については弊社岩田の資料が大変わかりやすいのでオススメです。 Serverless Meetup Osaka #5 で「VPC Lambda×RDSのデメリットについて正しく理解しよう！!」というテーマで発表してきました #serverlessosaka ｜ DevelopersIO では次のコードを見てください。 import time class sleep_class(): def __init__(self): time.sleep(2.0) self.init_time = time.time() def lambda_handler(event, context): s = sleep_class() print(s.init_time) 初期化に2秒ほどかかるsleepクラスがあります。これをLambdaで複数回実行すると次のような結果になります。
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Spark SQLの仕組みとパフォーマンスチューニング 上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQ
ギターのチューニングは｢google tuner｣を検索するだけ。もう音叉もアプリも不要になるね2021.10.12 15:0038,532 岡本玄介 本物のチューナーも不要になっちゃう。 Google（グーグル）のサービスに、ギターのチューニングに欠かせないチューナーが追加されました。やり方は超簡単。ただ｢google tuner｣と検索すると、このような画面が出てくるので、マイクのアイコンをタップしてギターの横に置いて使いましょう。 Image: Googleするとこの通り。 Image: Googleギターに限らずいろんな楽器にも使えるので、調律に役立ててみてください。これを知っておけばチューナーのアプリが削除できて、スマホの容量が少し軽くなりますね。スマホではなくコンピューターでも使えるので、マイク機能があれば何かのときに利用できます。
「達人が教えるWebパフォーマンスチューニング」という本を執筆しました #ISUCON本 #isucon｜catatsuy
「ISUCON」は、LINE株式会社の商標または登録商標です。 本を書きました。6/4発売です。電子版も同じくらいの時期に発売予定です。 複数人による共著で私は以下の章を執筆しています。 6章 リバースプロキシの利用 7章 キャッシュの活用 8章 押さえておきたい高速化手法 もちろん他のすべての章についてもレビュアーとして参加しています。 この記事ではこの本を書くときに私が考えていたことを書きます。著者全体の総意というわけではないので、その前提でよろしくお願いします。 私とISUCONISUCONは4から毎年参加しています。9予選と6本選では運営をしました。 ISUCONのベンチマーカーに関する情報やGoでISUCONを戦う方法など、ISUCONに関する情報を複数発信しています。notify_slackというISUCONで便利なCLIツールも趣味で開発しています。 本の特徴本書はISUCO
[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた | DevelopersIO
[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた Security Hubで新しく追加されたコンプライアンスチェックであるAWS Foundational Security Best Practices v1.0.0について解説し、チューニング方法も紹介しています！ こんにちは、臼田です。 みなさん、自分たちのAWS環境のセキュリティチェックしていますか？(挨拶 今回はSecurity Hubの新しいセキュリティ基準(Standard)として追加されたAWS Foundational Security Best Practices v1.0.0について解説し、チューニング方法を考えていきます。 新機能の説明 新機能自体を説明する前に背景から行きます。 Securit
![[新機能]Security HubがAWS基礎セキュリティのベストプラクティスについてコンプライアンスチェックできるようになったので詳細を解説しつつチューニングの考察してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dbe3f406587b5b6a944b210452de92d974859a3f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-security-hub.png)
他に忘れないうちに書きたいこともあったのですが、世に出るまで書けないので、ソースと関係ない一般的なこと（バージョン5.7以降）を書きます。（書かない方のことは書けるようになる頃には忘れてしまうかも…） index->lockの競合を直して欲しい。という人がいまだに居たりするのです。色々試しましたが、多分殆どの場合は理解不足・チューニング不足です。私自身はindex->lockの競合が不可避なベンチマークに結局会っていません。 特にMySQLとその他のRDBMSを比べる場合にはちゃんと最適化した負荷をかけないとMySQLが悪く見えるのでベンチマークをする際には気をつけて欲しいものです。 5.7で更新・参照並列性を高めるために導入された、index->lockのSXロック（Sロックは可能・SX/Xロックは不可）は、基本的にそのindexにpageを追加・削除するような処理をする際に保持されます
はじめに Railsアプリケーションのパフォーマンス改善を始めるとどこからどんな手順で進めたら良いのか、進め方が誤っているんじゃないかと不安になることが多いですよね。 私も試行錯誤しながらパフォーマンス改善しているのですが、いくつかパターンがわかってきたので手順にまとめてみました。 この記事で書いてること 改善が必要なエンドポイントの当たりの付け方 当たりをつけたエンドポイントのボトルネックの調査方法 ボトルネックに対する改善アプローチ この記事で書いてないこと 改善アプローチの具体的な修正方法やツールの細かい説明は書いてません フロントエンドやインフラに関するパフォーマンス・チューニングは今回の記事のスコープ外として書いてません やること 前提 環境はDBにAmaozn Aurora(MySQL)を使用したRailsを想定しています。 直近でAPMツールにDatadogを使っているのでそ
「達人が教える Webパフォーマンスチューニング ~ISUCONから学ぶ高速化の実践」レビュー - Qiita
はじめに この記事は、技術評論社出版の「達人が教える Webパフォーマンスチューニング ~ISUCONから学ぶ高速化の実践」のレビューです。 著者の一人の方から献本を頂きまして、レビューを掲載しています。 それ以外の報酬などはありませんので、思ったことを書いています。 本書のターゲット パフォーマンスチューニングは私が考えるに大きく2つの視点があると思います。 一つ目はマクロな視点でのチューニング、もう一つがミクロな視点でのチューニングです。 本書が扱っているようなWebサービス (Webアプリケーション) は一つのソフトウェア (いわゆるアプリケーション本体) だけでは動作せず、データベース (多くはRDBMS) やその他のミドルウェアの組み合わせによって動いています。 組み合わせで動いているシステムを高速化するには、マクロな視点で観測しチューニングする必要があります。競技で言うとISU
LINEヤフーはDB自動チューニング術を紹介――「KubeCon」で気になった最新のKubernetes×データベース運用ノウハウ
LINEヤフーはDB自動チューニング術を紹介――「KubeCon」で気になった最新のKubernetes×データベース運用ノウハウ：「KubeCon＋CloudNativeCon North America 2023」レポート 「クラウドネイティブ」という言葉がなじんだ今、市場に登場した新たなデータベースやデータベースを支えるプラットフォームにまつわる情報を紹介していきます。今回は「KubeCon＋CloudNativeCon North America 2023」で気になった内容をお届けします。 「クラウドネイティブ」という言葉がなじんだ今、市場に登場した新たなデータベースやデータベースを支えるプラットフォームにまつわる情報を紹介する本連載。前回はNewSQLの一つである「YugabyteDB」のユーザーによるラウンドテーブルの様子をお届けしました。国内市場でもクラウドネイティブな新しい
Llamaindex を用いた社内文書の ChatGPT QA ツールをチューニングする - GMOインターネットグループ グループ研究開発本部
D.M.です。Llamaindex で ChatGPT と連携した社内文書の QA ツールを構築した際にハマったことを書いていきます。 ChatGPT に追加でデータを与える課題へのアプローチ 今回やりたいこと つくったもの システム構成 ユースケース はじめに書いたソースコード Llamaindex 処理フロー Llamaindex チューニング課題 元ネタのテキストファイルをベクター検索のチャンクに収まるように意味の塊にする 課題１ ベクター検索の2番目のドキュメントが正解だったりする問題 課題２ 複数のドキュメントを読ませると間違える確率が上がる問題 課題３ 失敗している理由がよくわからない問題 課題４ ときおり英語で返してくる問題 課題５ OpenAI API がタイムアウトする問題 Tips１ ローカルファイルを小さくしたい Tips２ 回答をもっと厳密にしたい ChatGPT
うわっ…私のセキュリティスコア低すぎ…？Security HubのCISベンチマークの俺流チューニングで100%準拠を目指す | DevelopersIO
うわっ…私のセキュリティスコア低すぎ…？Security HubのCISベンチマークの俺流チューニングで100%準拠を目指す Security HubのCISコンプライアンスチェック機能を私流にチューニングする方法を紹介します。CISベンチマークはやや厳し目のチェック項目なため、一般的にはチェックしなくても良い項目があるので、それは無効化してもいいかもしれません。検討するための要点を解説しています。 こんにちは、臼田です。 皆さん、コンプライアンスチェックしてますか？(挨拶 Security Hubがリリースされて久しいですが、活用していますか？ Security Hubにはいくつか機能がありますが、その1つがコンプライアンスチェックです。下記を見てください。 こんな真っ赤に出されると流石にまずいなーと思いますよね？ でも実際にはそこまで対応しなくてもいいなって項目もぼちぼちあったりします
Oracleチューニングの裏技！標準機能だけでパーティションテーブルを作る方法 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 パフォーマンスOracleデータベースDB設計インデックス こんにちは羽山です。 今回はOracleデータベースの標準機能だけでテーブルのパーティション化とそれに伴うパフォーマンス改善を実現する方法を紹介します。 本来Oracleでテーブルのパーティション化をするためには対応するエディションと追加オプションが必要なので活用できる環境にいる方は多くはなさそうですが、パーティション化自体のメリットは大規模DBだけでなく、中・小規模のDBでもパフォーマンスチューニングの手段として有用です。 今回のテクニックはそのパーティションテーブルのおいしい部分を再現できるので、今までパーティションテーブルに関心を持ったことがない方にこそ、是非参考にしていただけたらと思っていま
![Oracleチューニングの裏技！標準機能だけでパーティションテーブルを作る方法 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c81fcd9011af9c2bb1e3fc8e7069ea563b729066/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2021%2F06%2Fdatabase-1954920_1280.jpg)
コンテナ環境でのJavaチューニング
Javaをコンテナ環境で使う際に、知らないうちに発生してしまうCPUスロットリングやOOM-killerなど、発生メカニズムやJavaVMのチューニング対処について。
こんにちは、iCAREサーバーサイドエンジニアの寺井(@krpk1900_dev)です。 私は今まで新規機能の開発を担当することがほとんどで、既存機能のパフォーマンス改善に取り組むときに何から手を着けて良いか分からなかったため、今回はSQLパフォーマンスチューニングについて調べた内容を記事にしたいと思います。 全体の流れ ざっくり調べてみた内容をフローチャートで整理してみました。 このフローチャートには含めませんでしたが、根本的な解決策としてそもそものロジックやデータ構造を見直すという方法もあります。 1. レスポンスに時間がかかっている箇所とその原因を特定する まずはDatadogのAPMなどでレスポンスに時間がかかっているリクエストを特定します。 APM(Application Performance Monitoring)とは、アプリケーションの性能を管理したり監視するための機能です
「TikTok」などを運営する字節跳動（バイトダンス）のLinuxカーネルエンジニアであるCong Wang氏は、Linuxカーネルのトップ開発者が集まる招待制のカンファレンスであるLinux Plumbers Conferenceで、ワークロードに合わせて最善の結果が得られるように、人工知能（AI）と機械学習を使ってLinuxカーネルをチューニングすることを提案した。 一般的な話で言えば、Linuxカーネルはほぼどのようなタスクにも問題なく使えるが、特定の作業で最大の効果を上げるには、微調整して最善の結果が得られるようなパラメーターを設定する必要がある。ただし、このアプローチには1つだけ小さな問題がある。それは、パラメーターの数が何千にも及ぶことだ。Linuxの専門家であっても、最適なパフォーマンスを得るためのチューニング作業には時間と手間がかかる。しかも、ワークロードが変われば、また別
二週間前、ChatGPTのような人間のインタラクティブ性(指示追従性)を示すように、$30以下でトレーニングされた大規模言語モデル(LLM)であるDollyをリリースしました。本日、研究と商用利用にライセンスされた、人の手で生成された指示データセットでファインチューンされた、史上初のオープンソース、指示追従LLMであるDolly 2.0をリリースします。 Dolly 2.0はEleutherAIのpythiaモデルファミリーをベースとした12Bのパラメーターを持つ言語モデルであり、Databricks従業員によってクラウドソースされた人間の手で生成された新たな高品質な指示追従データセットのみを用いてファインチューニングされています。 我々は、すべて商用利用できるトレーニングコード、データセット、モデルの重みを含むDolly 2.0のすべてをオープンソース化します。これは、すべての組織がサー
ショッピングアプリ「BASE」の検索基盤を移行しました！【チューニング編】 - BASEプロダクトチームブログ
BASE株式会社Data Strategyチーム兼 Data Platformチームの楊(@wyang)です。 ショッピングアプリ「BASE」では、前回公開した記事の通り、商品検索基盤をCloudSearchからAWS Elasticsearch Serviceへ移行しました。 この記事では、レスポンス速度改善と検索精度改善をメインにご紹介します。 1. レスポンス速度改善について 1-1. ElasticsearchのProfile API このProfile APIを利用すると検索クエリを分析し、どんなクエリが発行されたのか、どのくらいの処理時間がかかっているのかなどを簡単に知ることが出来ます。 GET items/_search { "query": { "bool": { "filter": [ { "range": { "date_field": { "gte": "now-18
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データベースを自動でチューニングしてくれるサービス「OtterTune」
Lambda パフォーマンスチューニング | DevelopersIO
ChatGPTにSQLチューニングさせてみた - Qiita
ホンダe の開発者がミニ四駆をチューニングするとこうなる…媒体対抗戦を棄権 | レスポンス（Response.jp）
Googleで「Google tuner」を検索するとマイクでチューニングできる
BERTを用いた日本語文書分類タスクの学習・ハイパーパラメータチューニングの実践例
#ISUCON本 こと「達人が教えるWebパフォーマンスチューニング」について - uzullaがブログ
AWS月額利用料を$146,000→$87,000に削減した方針 パフォーマンスチューニングの鉄則はコスト削減にも当てはまる
UberのエンジニアリングチームがGo GCのチューニングにより70kの削減に成功
1年半、チューニングの嵐を越えて──「Tポイント」データ分析基盤を開発した男たち、汗と涙の記録
パフォーマンスチューニング9つの技 ～はじめに～｜PostgreSQLインサイド
Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part1
ギターのチューニングは｢google tuner｣を検索するだけ。もう音叉もアプリも不要になるね
index->lock の競合について 〜ベンチマークはちゃんとチューニングして〜
Railsアプリケーションのパフォーマンス・チューニング入門 - fkm_y' log
Google、ギターのチューニングを行える機能を追加。PCはもちろんスマホでも利用可能【やじうまWatch】
SQLパフォーマンスチューニングの始め方 | 働くひとと組織の健康を創る iCARE
AIによるLinuxカーネルのチューニング--バイトダンスの新たな試み
Free Dolly: 世界初の真にオープンな指示でチューニングされたLLM - Qiita