ウェブ版 CloudFirestoreのクエリ備忘録 日本語版公式ドキュメントに載っていないものがいくつかあったので、まとめてみた。 ※コレクショングループについては書いていません。 更新情報 2023/5/13 ORクエリについて追記しました 2022/2/10 日本語版公式ドキュメントに追記されていました。 Firebase SDK v9の記法を追記しました。 // コレクション users: { // ドキュメント "000": { // フィールド address: { prefecture: "沖縄", region: "沖縄", }, age: 20, createdAt: 2020年11月10日 15:00:00 UTC+9, friends: ["003"], userName: "山田太郎", }, "001": { address: { prefecture: "北海道
はじめに Elasticsearchでは検索が一番重要な処理です。 全文検索によってユーザーがほしい情報を上に表示できるのは理想です。 Googleエンジンのような強力なものはできないですが、それに近づくことでも利便性は高くなります。 Leaf query（検索の基礎） 1. term query（指定単語と完全一致する） 指定した単語で精確検索。boostの値で関連スコアの増減が調整できます。 サイトにあるサンプル： curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d' { "query": { "term": { "user": { "value": "Kimchy", "boost": 1.0 } } } } '
【Spring Data JPA】基本操作とクエリ実装
プログラムについて、日々学んでいることを自由気ままにアウトプットするためのブログです。更新頻度等かなり適当です。
[初心者向け]Application Load Balancerのアクセスログを、Amazon Athenaで色々なクエリを実行し分析してみた | DevelopersIO
[初心者向け]Application Load Balancerのアクセスログを、Amazon Athenaで色々なクエリを実行し分析してみた はじめに ALBのアクセスログを分析したい場合、利用するAWSサービスとしてAthenaが挙がると思います。 Athenaをあまり使ったことがなかったので、利用する手順をまとめました。 また、ALBのアクセスログを分析する上で、使うことが多いであろうクエリもご紹介します 事前準備 アクセスログ用のS3とALBを作成 ALBのアクセスログを有効にしておく 有効化がDenyとなった場合、トラブルシューティングは、以下の記事を参考になるかと思います。 Athenaのクエリの保存先を設定 AWSマネジメントコンソールからAthenaにアクセスし、[データをクエリする]から[クエリエディタを起動]をクリックします。 最初のクエリを実行する前に、AmazonS
![[初心者向け]Application Load Balancerのアクセスログを、Amazon Athenaで色々なクエリを実行し分析してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e74dfc28e3f87861a3abf7b0257ff46d1c1a0f04/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
Visualize SQL Queries - SQLクエリをアニメーションでわかりやすく視覚化かしてくれるWebサービス | ソフトアンテナ
リレーショナルデータベース(RDBMS)を操作するための言語「SQL」。 データを取り出したり、追加したりする場合に必要で、データベースを扱う必要があるアプリケーションやサービスを開発する場合、SQLの知識は必須と言っても良いかもしれません。 本日紹介する「Visualize SQL Queries」は、このSQLの動作を分かりやすくアニメーションで表示してくれるWebサービスです。 開発者のKshitiz Tanwar氏は、同僚とSQLの問題をデバッグした際、2年ぶりにSQLを触ったこともあり、ユニオンとジョインを間違えて恥をかいてしまったとのこと。SQLの記憶をリフレッシュするため、自分自身のためにSQLを視覚化するためのツールを作ったそうです。 以下使用方法を説明します。 SQLキーワードを選択 Visualize SQL Queriesを使用するには、最初に「SQL Keyword
何もしてないのに突然クエリが遅くなった時の対処方法
はじめに アイスタイルDBREのsuzukitoです。 数年ぶりに「なんにもしてないのに突然クエリが遅くなる現象」に遭遇したので、いつもやっている対処方法をまとめてみました。 こんなことがあります 何もしてないのにクエリが突然遅くなった！ DBサーバーのCPU使用率が100％になって、クエリが滞留しまくっているぞ！ ちゃんとインデックスも作ってあるから、今日の午前中まで何も問題が起きてなかったのに。 最近リリースもしてないし、本当に何もしてない。 どうしたらいいんだろう。 まずはこれをお試し下さい 統計情報の更新をやってみましょう。 インデックスを使用しない実行計画が生成されている可能性が高いです。 遅くなったクエリが特定できている場合は、EXPLAINで実行計画を確認すると良いです。統計情報更新効果の有無がはっきりします。 統計情報の更新方法 MySQL クエリが特定できて、テーブル名が
DynamoDB のデータを Amazon Ion 形式で S3 にエクスポートし Athena からクエリする | DevelopersIO
DynamoDBのエクスポート機能でAmazon Ion形式でエクスポートしAthenaからクエリして、集計バッチとして利用する様子をご紹介します ども、大瀧です。 先日DynamoDBはバッチ処理よりストリーム処理が得意という記事が話題になりましたが、本ブログではバッチのアーキテクチャを紹介します!! DynamoDBのエクスポート機能 DynamoDBには継続的バックアップ(PITR)で取得したスナップショットをAmazon S3にエクスポートする機能があり、ある時点のデータを元にしたバッチ処理をテーブルの読み込み容量を消費せずに実行できます。 S3にエクスポートするときのデータ形式はDynamoDB JSONとAmazon Ionテキスト形式の2つから選択できます。IonにはDynamoDBのデータ型を保持する仕組みが内包されているため、JSONやJavascript周りのデータ型変
BigQueryへのクエリ発行・管理に「dbt CLI on Windows」を使ってみる | DevelopersIO
※Microsoft StoreからPythonをインストールしている場合は「C:\Users\<username>\AppData\Local\Microsoft\WindowsApps」配下に各バージョンのPython実行用exeファイルがインストールされています。 Windowsで過去バージョンと現在バージョンの両方を使い分けたい場合は、pipenvを利用する方法があります。 pipenv --python 3.8 > pipenv shell pythonの複数バージョン（3.8と3.9など）をインストールしている環境では、 pipenvでpythonバージョンを指定して仮想環境を立ち上げることができます dbt CLIのインストール dbt CLIは、homebrew、pip、sourceのいずれかで入手できます。本ブログではpipインストールを行います。 ＜仮想環境の作成＞ >
Azure Monitor ログは Azure Data Explorer を基盤としており、ログ クエリは同じ Kusto 照会言語 (KQL) を使って作成します。 このリッチ言語は、読みやすく、簡単に作成できるよう設計されているため、いくつかの基本的なガイダンスを使ってクエリの作成を開始できます。 Azure Monitor でクエリを使う領域は次のとおりです。 Log Analytics: Azure portal のこの主要なツールを使ってログ クエリを編集し、その結果を対話形式で分析します。 Azure Monitor の他の場所でログ クエリを使う場合でも、通常は Log Analytics で作成してテストしてから最終的な場所にコピーします。 ログ検索アラート ルール: ワークスペースのデータから問題を事前に特定します。 各警告ルールは、定期的に自動実行されるログ クエリに
悩んでいたこと IN句で複数の条件を指定したい INSERT文で複数レコード登録したい これらはただSQL文を書くのは簡単ですが、プレースホルダーを使った上での書き方が難しく、日本語の情報が全くなかったので、まとめました。 上記以外に使えそうな記法もまとめてあります。 前提 pg-promiseパッケージを使用し、databaseとの接続などはできていることとします。 載せているサンプルコードではanyメソッドを使っていますが、非推奨なので、oneやmanyを適宜使いましょう。 普通のSELECT文 とりあえず、例としてただのSELECT文 const userName = '田中'; const query = 'SELECT * FROM user WHERE name = $1'; const res = await db.any(query, [userName]); // SEL
SendGridのEmail ActivityをS3に保存してAthenaでクエリする | DevelopersIO
SendGridにはEmail Activityというアカウントとサブユーザーに関連付けられた最近のメール関連のアクティビティイベントのスナップショットを表示する機能があります。 メールを送信した、受信者のメールボックスに届いた、バウンスした、スパムレポートされたなどの情報を日付やメールアドレスで検索できます。 Email Activityは、freeプランの場合だと３日間となっています。 有料のプランでも最大7日ですが、アドオンを購入することで30日まで保存できるようになります。 さらに古いイベントを検索したい、他のデータと組み合わせて分析したいといったことが出てくることもあるかと思います。 そういった時はEvent Webhookを利用して外部のストレージ等にデータを保存することで可能になります。 イベントは、メールがSendGridおよびメールサービスプロバイダーによって処理されると
はじめに 複雑な SQL を発行する場合、LINQ to Entities で頑張るよりも、 生の SQL をそのまま書きたい場合があります。 EF Core で生SQLクエリを流すにはFromSql拡張メソッドを使用します。 var posts = context.Posts .FromSql("select * from Posts") //=> `FromSql`での生クエリは、モデルのすべてのプロパティを返す必要があるためカラムを全て取得 .ToList(); # プロジェクトの作成 PS> dotnet new console -o RawQuery # プロジェクトディレクトリに移動します PS> cd ./RawQuery # 今回データベースには SQL Server Local DB を使います PS> dotnet add package Microsoft.Entit
検索クエリ1ページ目に表示されるにはどれ位かかる？記事年齢発覚！ - アフィリエイトで豊かな生活
こんにちわ！かつやんです。 いくつかのSEO対策の書物を読み漁っていた所,googleの検索エンジンでの順位のあげ方はいくつか有力な説がありますが、結論から言うと明確な条件などはわかりません。 『ユーザーに役立つ情報コンテンツが多い。』 『ドメインパワーが強くページランクが高い』 『記事の質以上に作者の専門性が問われる』 等、色々な情報がありますが 何をもって1位のブログは2位のブログよりユーザーに役立つコンテンツが多いとみなされるのか？等細かい事はわかりません。 そこで作って間も無いブログ記事でもTOPに入る事は可能なのかを調べていると面白い事実にたどり着きました。 検索上位TOP10に表示される記事の『平均年齢』を知る事が出来、やはり上位に立つにはそれなりに時間がかかるという事実がわかりました。 ※記事の年齢と書きましたが正しくは記事の作成日から〇○日って意味です。 3分程で読める記事
Amazon AthenaでAWS WAF XSS/SQLiの詳細ログをクエリしてみた #reinvent | DevelopersIO
こんにちは、臼田です。 みなさん、ログ分析してますか？(挨拶 AWS WAFでXSS/SQLiの詳細ログが出力されるようになったので、これをAmazon Athenaでクエリしてみました。詳細ログについては下記をご参照ください。 AWS WAFのログをAthenaで分析 AWS WAFのログはS3に保存されます。S3に保存されているデータを分析するにはAmazon Athenaを利用してクエリをかけるとやりやすいです。詳細は下記をご確認ください。 今回のログフィールドの追加に合わせてアップデートしました。 新しいCreate Table 上記記事も更新してありますが、新しいCreate Tableを書いておきます。 CREATE EXTERNAL TABLE IF NOT EXISTS waflogs ( `timestamp` bigint, formatVersion int, web
Command オブジェクトの作成 ActiveConnection プロパティを使い、開いている接続（Connection オブジェクト）と Command オブジェクトとを関連付ける。または、ActiveConnection プロパティに有効な接続文字列を設定する。 CommandText プロパティにパラメータの必要なクエリを設定する。または、SQL文を設定する。 Parameters コレクションを使い、クエリに渡すパラメータを配列形式で指定する。 Execute メソッドを実行し、必要であれば Recordset オブジェクトを返す。 Command オブジェクト（参照設定）
【BigQuery】Firebase AnalyticsのDAU, WAU, MAUを取得するクエリ(新スキーマ) - Qiita
【BigQuery】Firebase AnalyticsのDAU, WAU, MAUを取得するクエリ(新スキーマ)BigQueryFirebase SELECT date, SUM(CASE WHEN period = 1 THEN users END) as days_01, SUM(CASE WHEN period = 7 THEN users END) as days_07, SUM(CASE WHEN period = 30 THEN users END) as days_30 FROM ( SELECT dates.date as date, periods.period as period, COUNT(DISTINCT user_pseudo_id) as users FROM `firebase_project_table.app_events_*` CROSS JOIN
SQL Server のクエリ実行時に取得することができる実行プラン (実行計画) の中には、「コスト」という情報が出力されています。 代表的な項目としては、サブツリーの推定コストや、グラフィカルな実行プラン内のコストのコストの比率の情報となるのではないでしょうか？ 本投稿では実行プラン内のコストがどのような情報を表しているものなのかの情報を確認していきたいと思います。 本投稿を書いた理由ですが「Nick’s Machine」という用語を思い出すためだったりしますが。 docs 内の記述 最初に docs 内のコストについての記述を確認してみます。 コストについては、次のドキュメントに記載がありました。 カーディナリティ推定 (SQL Server) cost threshold for parallelism サーバー構成オプションの構成 クエリ処理アーキテクチャ ガイド いくつかの記述
AWS Configの高度なクエリでOrganizations環境のリソースを検索してみた | DevelopersIO
組織で設定したAWS Configアグリゲータに対して高度なクエリを実行することで、組織全体のリソースを検索する みなさんこんにちは、杉金です。 AWS Configの高度なクエリを使ったことはありますか？ SQL文を使ってAWSリソースを検索してくれるものなのですが、アグリゲータを指定した検索ができます。 つまり、Organizations(組織)でConfigアグリゲータを設定していると、組織全体のリソースを高度なクエリで検索できます。今回はその方法をご紹介します。 前提条件 Configアグリゲータで組織のConfigを集約していることが前提条件となります。設定方法は以下のブログが参考になります。 高度なクエリで検索 高度なクエリの使い方ですが、AWS Configから高度なクエリを選びます。すでに用意されているクエリを選択するか、「新しいクエリ」からクエリエディタを起動します。 最
[AWS SDK for JavaScript v3] Amazon Athenaのクエリ実行および結果をページネーションして取得するTypeScriptテンプレート | DevelopersIO
こんにちは、CX事業本部 Delivery部の若槻です。 Amazon Athenaは、非常に大きなデータセットに対して実行されるクエリをサポートするため、結果セットが非常に大きい場合は、一度にすべてのデータを取得することは望ましくありません。その場合、ページネーションを使用することで、各ページで必要なデータのみを取得し、余分なデータを取得しなくて済むため、クエリの実行時間を短縮することができます。 今回は、AWS SDK for JavaScript v3でAmazon Athenaのクエリ実行および結果をページネーションして取得するTypeScriptテンプレートを作ってみました。 やってみた クエリ対象のテーブル作成 クエリ対象の適当なデータとして、Amazon CloudTrailのログデータを使ってみます。 Amazon CloudTrailコンソールで[Create Athen
[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました | DevelopersIO
[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました データアナリティクス事業本部コンサルティングチームの石川です。Recursive CTE（Common Table Expression）を使用して、組織図やマルチレベル製品などの階層データをクエリできるようになりました。早速、階層化データを用意して試してみます。 Recursive CTE（Common Table Expression）とは WITH句は、より複雑な問い合わせで補助的に用いるインナービューを提供します。 これらの文は共通テーブル式(Common Table Expressions)またはCTEと呼ばれるものであり、１つの問い合わせのために存在する一時テーブルと考えることができます。これを再帰的に応用
![[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
EXCELでDAXクエリを使うには EXCELでDAXクエリを使うには DAXクエリを呼び出すための準備 データモデルが組んであるEXCELブックを開く データモデルに読み込むダミーのクエリを作る ダミーのテーブルからDAXの編集を開く 構文 例1: FILTER関数 例2: FILTER関数 と RELATEDでリレーションショップによるフィルター 例3: ADDCOLUMNS関数とメジャーで集計 まとめ DAXはSQLなどと同じようにクエリ言語として使用することができます。 メジャーの結果はいわゆるスカラー値といった1つの値ですが、そこにたどり着くまでの途中経過のテーブル関数の動作などメジャーでは見えにくい部分を検証する上で役に立ちます。 DAXクエリを呼び出すための準備 EXCELではちょっと変わった呼び出し方をします。 データモデルが組んであるEXCELブックを開く まずパワーピボ
2021-10-09 今年の 10 月から、新しく入社した同僚とともに、検索領域の論文や技術ブログを定期的に紹介する社内勉強会をはじめてみた。 定常的に開催されることが一番大事だよねという方針になったので、以下のような仕組みで、可能な限り低コストで継続できるような仕組みにした。 参加者は何も準備をしなくても大丈夫で、勉強会中に紹介された論文をみたり話を聞くだけで良い発表者は凝った資料は用意するのは必須ではなく、極論論文を画面共有で見せながらしゃべるだけでも問題なし当面の目標としては、来年の年末まで継続されているように気長に続けていきたい。 第一回は、発起人の一人である自分がクエリ分類について発表を行った。 Query Understanding for Search Engines (The Information Retrieval Series, 46) の第二章を主にテーマとして取り
G-genの大津です。 Google Cloud (旧称 GCP) において Amazon S3 にあるデータを BigQuery に取り込む方法のひとつとして、BigQuery Omni があります。 BigQuery Omni を使うと、 Amazon S3 を外部データソースとして、 BigQuery からクエリを実行することができます。 今回は BigQuery Omni の使い方や注意点などをまとめてみました。 BigQuery Omni とは AWS側での操作 Amazon S3にデータを用意する IAMポリシーとIAMロールの作成 Google Cloud 側の操作 BigQuery Connection API を有効にする BigQuery 外部接続の作成 データセットを作成する テーブルを作成する BigQueryからAmazon S3にクエリを実行する BigQuer
【解答例つき】新作ゲーム『エンジニア騎士とクエリの魔女』でPythonとSQLを学んでみた！ - paiza times
paizaは本日、新作プログラミングゲーム『エンジニア騎士とクエリの魔女』をリリースしました！ 今回は、paizaユーザーの皆さまに「どんなキャラクターがよいか」「どんな世界観がよいか」など、全3回の投票を通して答えていただいた結果が反映されています。（投票結果はこちらから） また、初めてSQLの問題を出題しており、プログラミングを学びたい方はもちろん、SQLを身に着けたい方にもおすすめのゲームとなっています。ゲーム内にはさまざまな難易度の問題があるので、初学者の方から腕に覚えがある方まで楽しめます。 本記事では、実際にプレイしながら*1自分のスキルを腕試ししつつ、分からない問題が出てきたときの対処法も合わせてお伝えしていきます。 一部問題は解答例を掲載しますので、参考にしてみてください。 問題を解いて装備アイテムを集めよう ゲームを始める マイページを確認する 装備を変更する マップから
[ChatGPT]LlamaIndexのクエリはどれくらいの時間がかかる？ 計測してみた | DevelopersIO
吉川@広島です。 Llama Index（GPT Index）にDevelopersIOの記事を100件読み込ませて質問してみた | DevelopersIO Llama Index+ChatGPTを使うとオリジナルな知識を持ったチャットボットを作れるなどの夢が広がるわけですが、そうすると次はどれくらいの時間でレスポンスを返してくれるのかが気になってきます。 そこでLlama Indexでクエリを投げると結果出力までにどれくらいの時間を要するのか調べてみました。 試してみた 計測方法 【Python】処理にかかる時間を計測して表示 - Qiita こちらを参考に start = time.time() # 処理 elapsed_time = time.time() - start で処理を囲んで経過時間を出力してみます。 質問内容 CDK for TerraformでGitHub Prov
![[ChatGPT]LlamaIndexのクエリはどれくらいの時間がかかる？ 計測してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2b0bf98c901ba636cbebacc15d02492fc4c92abd/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F03%2Fchatgpt.png)
※この投稿は米国時間 2021 年 8 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。 先週の BigQuery 管理者リファレンス ガイドでは、クエリの実行とクエリプランを活用する方法について説明しました。今週はより踏み込んで、より高度なクエリや戦術的最適化手法についてご説明します。クエリのコンセプトや、関連する SQL の最適化手法についてお話ししましょう。 データのフィルタリング先週の投稿で説明しましたので、クエリ実行の詳細から、（永続ストレージ、フェデレーション テーブル、メモリ シャッフルのいずれかからの）データの読み取り、および（メモリシャッフル、永続ストレージのいずれかへの）データの書き込みにかかった時間を確認できることはすでにご存じかと思います。クエリで使用されるデータ量や、次のステージに返されるデータ量を制限することは、クエリの高速化や効率
django-cteと共通テーブル式(CTE)を用いた再帰クエリにより、階層構造を持つテーブルからデータを取得する - メモ的な思考的な
これは Django Advent Calendar 2020 - Qiita 兼 JSL(日本システム技研) Advent Calendar 2020 - Qiita の12/16分の記事です。 Djangoと共通テーブル式(Common Table Expression、CTE)を用いた再帰クエリを使って、階層構造を持つテーブルからデータを取得したいことがありました。 ただ、現在のDjangoでは「共通テーブル式の再帰クエリ」がサポートされていません。 #28919 (Add support for Common Table Expression (CTE) queries) – Django 生SQLを書いても良いのですが、IDEのサポートがほしかったのでライブラリを探したところ、 django-cte がありました。 dimagi/django-cte: Common Table
MySQLなどのRDBで特定カラムをグルーピングしながら、そのカラムが最大値となるレコードのみを取り出したい時があります。 具体的にはコンテンツを最新の閲覧順に並べたい場合がそれに当たりますが、これを実現するには少しクエリを工夫する必要があります。 何年か前にRailsで開発中に同様のユースケースに直面した際、当時自分のSQL力が低いゆえに2度クエリを発行していましたが、今思うとActiveRecordを使っても1クエリで実現できるので、その場合の対応法を紹介します。 ケーススタディ ユーザーが映画を閲覧した時に履歴が保存される場合、映画を閲覧日順に重複なしで並べるクエリを書いてみましょう。 次のようなテーブル構成を想定します。 またhistoriesテーブルには以下のようなレコードが挿入されています。 id user_id movie_id created_at
GitHub Copilotが外部ツールと統合可能に DBのクエリ性能の状況やフィーチャーフラグの状態もCopilotが回答
GitHub Copilotが外部ツールと統合可能に DBのクエリ性能の状況やフィーチャーフラグの状態もCopilotが回答 米GitHubの年次イベント「GitHub Universe 2023」が米サンフランシスコで開幕。1日目の基調講演で、GitHub Copilotがサードパーティの開発者向けツールやオンラインサービスなどと統合可能になることが発表された。
[新機能] Amazon Athena データソースコネクタを使ってGoogle Cloud Storageのライブデータにクエリしてみました！ | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。先日、Amazon AthenaのFederated Queryを経由してGCS(Google Cloud Storage)にアクセスできるデータソースコネクタが新たに追加されました。ザックリ言うと、AthenaからGCSのデータにアクセスできるようになったということです！ 本日は、AthenaからGCSへのクエリについて試してみます。 Amazon AthenaのGCSのデータソースコネクタが動作する環境 データソースコネクタの実態は、Lambda関数です。今回の動作検証では、以下のような非VPC環境を用意しています。 以降では、早速試したみたいと思います！ GCSの認証情報をSecrets Managerに作成 Google Cloudのサービスアカウントの秘密鍵を取得 事前にGCSにアクセスするためのGoogle Clo
PythonからAzure AI Searchのシノニムマップを作成し、クエリ拡張をして、その効果を日本語の質問応答データセットで確認してみました。昔からある機能で、とくに何か新しいことをしているわけでもないのですが、使いそうな機会があったので試してみました。 本記事の構成は以下のとおりです。 シノニムマップ シノニムマップの作成 インデックスの作成 実験設定 実験結果 参考資料 シノニムマップ 記法は、Apache SolrのSynonymFilterの仕様に準拠しています[1]。Solrのドキュメントを読む限り、現在ではSynonymFilterは非推奨で、代わりにSynonymGraphFilterを使うことが推奨されていますが、為す術もないのでそのまま使います。2つの違いについては[2]がわかりやすいです。SynonymFilterでは、以下の2種類の規則をサポートしています。 同
AWS Athena でクエリ実行した時に出るエラー No output location provided. - Qiita
はじめに AWS Athenaで elb_logsというテーブルがあったので、試しにSELECTしましたが、下記のエラー文が表示されました。 クエリには次のエラーがあります。 No output location provided. An output location is required either through the Workgroup result configuration setting or as an API input. (Service: AmazonAthena; Status Code: 400; Error Code: InvalidRequestException; Request ID: 3db40425-2c5b-417f-80c9-cc103727faf2; Proxy: null) 解決法 AthenaはS3に格納してあるデータから実行したクエリ
S3 に保存した CloudTrail のログを Athena でクエリして AWS SDK for Java V2 の利用を確認する | DevelopersIO
S3 に保存した CloudTrail のログを Athena でクエリして AWS SDK for Java V2 の利用を確認する S3 バケットに保存してある CloudTrail の証跡に対し、Athena でクエリして UserAgent に `aws-sdk-java/2` が含まれているログを抽出する手順をまとめました。 こんにちは、岩城です。 ある AWS 環境で AWS SDK for Java V2 を利用しているかを調べる機会がありましたので手順を共有します。 この環境では、CloudTrail の証跡が S3 バケットに保存されていたので、Athena でクエリして UserAgent に aws-sdk-java/2 が含まれているログを抽出することにしました。 ざっくりどうやるの？ 本エントリの手順は、CloudTrail の証跡が S3 バケット上に保存されて
Rails 7: リレーションの結果が空になる計算でクエリ送信を回避する（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Rails avoids queries when performing calculations on contradictory relation | Saeloun Blog 原文公開日: 2022/07/20 原著者: Murtaza Bagwala サイト: Saeloun Blog 日本語タイトルは内容に即したものにしました。 参考: 週刊Railsウォッチ20220516 矛盾するリレーション上の計算でクエリを発行しないようにする #45030は、現時点ではmainブランチにのみ含まれており、7-0-stableブランチには含まれていません。 従来は、countなどの計算で、矛盾するリレーションを渡してもSQLクエリが発行されていました。ここで言う"矛盾する"リレーションとは、以下のように空の配列などを渡すことを指
どうもはじめまして。 muryoimpl です。 前回のエントリ 食べチョクの自動テスト改善活動 〜これまでとこれから〜 で、自動テスト改善チームが発足したことを書きましたが、今回はその活動の中で実施した、RSpec による自動テストのカバレッジのデータ収集の自動化と、そのデータを利用した可視化について書きたいと思います。 これまではどう可視化していたか 食べチョクは Ruby on Rails で動いており、バックエンドの自動テストは RSpec を使って書いています。 テストカバレッジは定番の SimpleCov で計測して結果を HTML に出力し、テストケースごとの実行情報は RSpec JUnit Formatter を使って XML として出力して、GitHub Actions でそれらの情報を Code Climate に送信していました。 また、可視化という点では、以前ビビ
BigQuery のスケジューリングクエリって何がうれしいの？ ～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～ | DevelopersIO
BigQuery のスケジューリングクエリって何がうれしいの？ ～ 毎時 GCS データを集計するユースケースを想定して動かしてみた～ こんにちは、データアナリティクス事業本部のみかみです。 本エントリは、クラスメソッド BigQuery Advent Calendar 2020 の 13 日目のエントリです。 25日のアドベントカレンダー終了まで、弊社クラスメソッド データアナリティクス事業本部のメンバーで、Google BigQuery に関する記事を紡いでいこうと思います。 BigQuery のスケジューリングクエリって何がうれしいの？ BigQuery では管理コンソールの UI から、SQL のスケジュール実行を登録することができます。 クエリのスケジューリング ｜ BigQuery ドキュメント つまり BigQuery では、マートデータ作成などの SQL 実行で完結する処理
データアナリティクス事業本部の鈴木です。 Pythonから、BigQueryにスケジュールしたクエリを確認・削除したいことがありました。 今回は以下のPython Client for BigQuery Data Transfer APIを使用した方法を試してみたので、ご紹介します。 準備 前提 今回、PythonスクリプトはCloudShellから実行しました。 CloudShellにはクライアントがインストールされていなかったので、以下のコマンドでインストールしました。 python3 -m pip install google-cloud-bigquery-datatransfer 使用したツールのバージョンは以下になります。 python: 3.9.2 google.cloud.bigquery: 3.0.1 google-cloud-bigquery-datatransfer:
ChatGPTにテストコード(Jest)を渡すだけでAmazon DynamoDBにクエリをするコードを書いてもらえました | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 まずは次の動画をご覧ください。 何をしているかと言うと、今世界を大きく揺るがしているChatGPTにテストコード(Jest)を渡して、SDKを使ってAmazon DynamoDBにクエリをするコードを書いてもらった様子です。 この時ChatGPTに渡したテキストです。 Jestを使用した下記のテストコードの実行が成功する関数を記述して。 ```js const DATA_TABLE_NAME = 'dummy-dataTable'; process.env.DATA_TABLE_NAME = DATA_TABLE_NAME; import { mockClient } from 'aws-sdk-client-mock'; import { QueryCommand, } from '@aws-sdk/client-dynamodb';
自作ライブラリを使ったBlueskyクライアントを実装していて遭遇したバグ。 ATriumからのfeed.getPostsでurisが21個までなら大丈夫だが22個以上だとエラーになることが発覚した。問題切り分け中… ここまで自作クライアント実装してようやく気付く問題があるんだから やっぱりドッグフーディング大事やな、、— すぎゃーん (@sugyan.com) Apr 21, 2024 at 10:21 AM 問題の詳細と対応は以下の通り。 `app.bsky.feed.getPosts` fails with more than a certain number of arguments `uris` · Issue #160 · sugyan/atrium · GitHub feat: Replace serde_qs to serde_html_form by sugyan · P
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Firebase】Cloud Firestore クエリ まとめ
Elasticsearchのクエリ概要 - Qiita
Azure Monitor でのログ クエリ - Azure Monitor
【Node.js + PostgreSQL】特殊なクエリ記法 - Qiita
EF Core での生 SQL クエリ発行と SQL インジェクション対策 - Qiita
クエリにパラメータを渡して結果を取得する（ADO）Command オブジェクト・Execute メソッド
SQL Server のクエリ実行プランのコスト値について at SE の雑記
サーチコンソールで特定の記事の検索クエリを知る方法・やり方（使い方） - 世界一詳しい「はてなブログ」の取り扱い説明書
EXCELでDAXクエリを使うには - 鷹尾祥（アキラ）のExcel BI ブログ
クエリ分類(Query Classification) について社内の勉強会で話してきた
BigQuery OmniでAmazon S3のデータをクエリしてみた - G-gen Tech Blog
BigQuery 管理者リファレンス ガイド: クエリの最適化 | Google Cloud 公式ブログ
Railsで閲覧日順など、最大値でグルーピングしたDBレコードを1クエリで取得する2つの方法 - Qiita
Azure AI Searchを使った同義語によるクエリ拡張とその効果 - Ahogrammer
RSpec実行時のレポート情報をクエリで可視化する - 食べチョク開発者ブログ
PythonでBigQueryにスケジュールされたクエリを一覧・削除してみた | DevelopersIO
Expressに22個以上の要素の配列クエリを渡すときは気をつける - すぎゃーんメモ