Excelの「クエリと接続」を使用して、SQL Serverからデータを取得しシートへ出力する
「クエリと接続」を利用すれば、 ・SQL ServerのデータをExcelのシートへ出力 できます！
「クエリと接続」を利用すれば、 ・SQL ServerのデータをExcelのシートへ出力 できます！
GraphQLクエリを試す このチュートリアルのために、GraphQL APIをセットアップしています。GraphQL APIを参照するには、GraphiQLを使用するのが最も一般的です。GraphiQL（グラフィカルと発音します）は、Facebookが開発したツールで、あらゆるGraphQL APIを簡単に探索できます。 GraphiQLをGraphQLエンドポイントに接続すると、サーバーにGraphQLスキーマを問い合わせて、クエリを参照・テストするためのUIが提供されます。これにより、高性能なオートコンプリート機能が実現します。 GraphiQLライクなツールがあれば、GraphQL APIは非常に使いやすくなり、外部のドキュメントツールなしでAPIをアプリに統合できます。 このチュートリアルで使ったリアルタイムtodoアプリのGraphiQLには、こちらからアクセスできます：has
2019年11月13日 WindowsUpdateが起因のAccessで「クエリーは破損しています」エラー、一時的な解決法
2019年11月13日 WindowsUpdateが起因のAccessで「クエリーは破損しています」エラー、一時的な解決法 こんにちは パソコンドック24です。 2019年11月13日 の WindowsUpdate が原因で、 Access において、「クエリーは破損しています」のメッセージが表示され、正常作動しないトラブルが発生しています。 Accessで起こっている症状なので、業務に支障が出て、お困りの方も多いのではないでしょうか。 現在のところ、解決方法はお使いのOffice のバージョンに該当する、 更新プログラムをアンインストールすれば解決します。 【Office のバージョンに対応した、アンインストールする更新プログラム】 ・Microsoft Office 2010 (KB4484127) 32ビット版のセキュリティ更新プログラム ・Microsoft Office 201
日常的に、long_query_time をちょっと超えているクエリが流れていて、スロークエリログが多く出力されているDBってあったりしますよね？ そんなログからノイズとなってしまっている、ちょっと遅いクエリは除いて、非常に重症のクエリのログだけに絞って見たいときどうするか。 今まで、grep や awk でゴニョゴニョしてがんばってたんですが、pt-query-digest を使えば簡単にできました・・・ pt-query-digest でフィルタだけする pt-query-digest はスロークエリログを集計し、「遅いクエリランキング」等のレポートを生成できるツールです。SQLチューニングする時によく使っています。 www.percona.com pt-query-digest のレポート機能を無効にすることで、単なるログのフィルタツールとしても使えました（知らなかった！） やたら遅
【レポート】Redshift管理者必見！クエリ同時実行数問題を解決するWLMとConcurrency Scalingをフル活用したコーセーの事例 #AWSSummit | DevelopersIO
DA事業本部の春田です。 AWS Summit Online絶賛開催中！ということで、本記事では「CUS-63: SAP BusinessObjects向けクエリパフォーマンス向上の取り組みと、Amazon Redshift ConcurrencyScalingの活用による効果」の内容についてまとめていきます。 セッション情報 株式会社コーセー 情報統括部 小林 裕也 氏 BIツールである SAP BusinessObjectsは、多様な利用者が存在し実行されるクエリはユーザごとに異なります。利用者増大に伴いクエリパフォーマンス問題を長年抱えていましたが、その中で行った改善活動と、ConcurrencyScalingの登場・活用による効果についてご紹介します。 ※セッション動画は以下リンク アジェンダ 会社紹介 コーセーの分析基盤 パフォーマンス向上への取り組み Concurrency S
Kubeflow PipelinesでBigQueryにクエリを投げてその結果を保存する方法と注意点 - Qiita
はじめに Kubeflow PipelinesからBigQueryにクエリを投げ、クエリ結果を以下の3パターンで保存する方法をまとめます。 1. CSVファイル 2. GCS 3. BigQuery 併せて実装上の注意点も思いついたものを書いていきます。 環境 import sys sys.version """ '3.7.7 (default, May 6 2020, 04:59:01) \n[Clang 4.0.1 (tags/RELEASE_401/final)]' """ import kfp kfp.__version__ """ '1.0.0' """ 2021年1月現在Kubeflow PipelinesのPython SDKであるkfpの最新バージョンは1.3.0ですが、筆者の実行環境（AI Platform Pipelines）にインストールされているのが1.0.0だった
BigQuery Cloud SQL federated queryでRDSのデータにクエリを実行してみる - Qiita
BigQueryからCloudSQLに直接クエリが実行できるようになったということですが、サービスの基盤はAWSを利用しているためDBはもちろんRDS。。。 そこでどうにかしてRDSに溜まっているデータに対してBigQueryから直接クエリを実行したいと思いやってみました。 正確には、RDSをCloudSQLでレプリケーションしてCloud SQL federated queryでBigQueryからクエリを実行してみました。 構成 既にソースDBに対して3台のリードレプリカが作成されている状態だったので、こんな感じの構成にしていきたいと思います。 CloudSQLレプリケーション設定 外部サーバーからCloudSQLレプリカに複製する場合いくつか要件があるのでそれを満たしているか確認します。 GTID が有効にされていて、GTID 整合性が強制されること。 問題はここでした。 AWSのド
マテリアライズされた集計クエリでグローバルセカンダリインデックスを使用する - Amazon DynamoDB
急速に変化するデータ上で、ほぼリアルタイムの集約や主要メトリクスを維持することは、企業が意思決定を迅速に行う上で、ますます価値が高まりつつあります。例えば、音楽ライブラリでは、最も多くダウンロードされた曲をほぼリアルタイムに紹介する場合があります。 次の音楽ライブラリのテーブルレイアウトを考えてみましょう。 このテーブルの例では、songID をパーティションキーとして使用して曲を保存しています。このテーブルで Amazon DynamoDB Streams を有効にして、Lambda 関数をこのストリームにアタッチすることで、各曲がダウンロードされたときに、Partition-Key=SongID と Sort-Key=DownloadID を含むテーブルにエントリが追加されます。これらの更新が行われると、DynamoDB Streams で Lambda 関数がトリガーされます。この
[GA4] BigQuery のデータからオーディエンスを抽出するクエリのサンプル - アナリティクス ヘルプ
Firebase のデータを BigQuery にエクスポートすると、そのデータに対するクエリを実行して特定のオーディエンスを抽出できます。 この記事では、クエリのベースとして使用できるテンプレートをいくつかご紹介します。実際に使用する際は、必要なデータに合わせてクエリ内の必要な箇所（たとえばテーブル名や期間）を書き換えてください。 これらのクエリで得られるのは、該当オーディエンスに含まれるユーザーの数です。該当ユーザーの数ではなく、該当ユーザーの ID 一覧を取得するには、コードの最も外側にある COUNT() 関数を削除します（例: COUNT(DISTINCT user_id) → DISTINCT user_id）。 この記事のクエリは標準 SQL で記述されています。クエリ実行の際は、標準 SQL を使用する設定を有効にしてください（[BigQuery] > [SQL ワークスペ
Excel の "取得と変換"機能を用いて、データを収集し集計に適した加工、そして、ピボットテーブルやピボットグラフなどを作成する。データの更新をサポートする仕組みなので、取得したデータも含めた Excel ワークブックを保存するというのもよいでしょう。では、作成した "クエリ" だけを保存するにはどうしたらよいか。 詳細エディターと記述した/された Power Query(M言語)をコピペするでもよいのだけど、それなりの機能が用意されているので使えばいいじゃない？使いまわすというか何度も同じクエリを作ることもなく、必要な時に取り出して、組合せて使えるようにしときましょうねといういう話です。 サンプルのクエリ 例えば、地方や都道府県の一覧になるクエリを作成したとして let Source = Table.FromRows( Json.Document( Binary.Decompress(
さらに、要求が他のリストとルックアップの値から予想されるフィールドを返すよう指定できます。 そのためには、$select と $expand の両方のクエリ オプションでフィールド名を指定します。 次に、例を示します。 GET https://{site_url}/_api/web/lists('{list_guid}')/items?$select=Title,Products/Name&$expand=Products/Name Authorization: "Bearer " + accessToken Accept: "application/json;odata=verbose" 一括拡張と関連アイテムの選択はサポートされません。 返されるアイテムを選択する $filter クエリ オプションを使用して、返すアイテムを選択します。 SharePoint REST サービスでサポー
Re:dashでメトリクスを作成する際に日別、週別、月別にデータの推移を見たく、いろいろ触ってみたので残しておく。 データ分析対象のアプリケーションのDBはMySQLを使用している。 また、adwordsで使われている集客コストをspread sheetに吐き出して、Re:dashでそれをインポートして利用しているのでQueryResultを操作するクエリも実行する必要があったので、今回はMySQLとSQLiteの日別・週別・月別のデータを集計するクエリをまとめる。(Re:dashのQueryResultはSQLiteで実行される) なお、Re:dashに取り込める形式でadwordsのレポートデータを定期的にspread sheetに吐き出す方法は下記の記事にまとめています。 keyama.hatenablog.com 新規ユーザーの推移を見ることを仮定して下記のusersテーブルを集計
looking new query in your PR. Contribute to pyama86/welcome-new-query development by creating an account on GitHub. 解決したかった課題と開発したもの WEBサービス開発を行っていると、ORMが生成したSQLクエリや、またはコード内に新規に追加したSQLクエリが意図しない、サービスのパフォーマンス劣化を起こしてしまうことがあります。その課題を解決すべく、それらのSQLクエリを自動テスト時に検知し、事前にExplain句などを利用してパフォーマンス計測をしたいと思い、Actionを作成しました。このActionを利用すると、下記のようにPRのコメントで新規クエリを開発者、レビューワーにお知らせします。こちらのPR が実際に動いた際の動作です。 利用方法 自動テストの実行前にMyS
※この投稿は米国時間 2021 年 4 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 BigQuery で短いクエリ（インタラクティブなアプリケーションやダッシュボードにデータを入力するなど）を高速化するには、BI Engine を使用するとすばやく簡単にできます。たとえば、The New York Times は BI Engine の SQL インターフェースを使用し、Data Reporting Engine を高速化しています。 クエリの例説明のために、サイズが 100 MB から 3 GB の複数テーブルに対する代表的なクエリを 3 つ取り上げます。一般的に、BigQuery の基準ではこれらのテーブルは小型の範疇に入ります。BigQuery はカラム型データベースであるため、クエリが読み取る必要のある列のサイズのみをお伝えします。 最初のクエリ
個々のクエリのパフォーマンスを分析し、改善できる箇所を特定します。 パフォーマンス関連の動的管理オブジェクトについて確認します。 インデックスとデータベース デザインがクエリに与える影響を調査します。 前提条件 オンプレミスまたはクラウドベースの Microsoft SQL データベースに対してクエリを実行するためのツールを使用できる 基本的なレベルで、SQL 言語 (特に Microsoft T-SQL 言語) でコードを記述できる。 SQL Server インデックスの構造と使用方法についての基本的な理解 リレーショナル データベースの概念についての基本的な理解
Amazon S3 は、S3 エンドポイントの DNS クエリへの応答で複数値回答 (MVA) をサポートするようになりました。MVA を使用して、DNS クエリごとに最大 8 つの S3 IP アドレスを取得できるようになりました。これらの IP アドレスを使用して S3 への複数同時接続が自動的に行えるため、スループットが向上します。MVA では、アプリケーションが別の DNS クエリを待たずに自動的に別の IP アドレスを試行するため、再試行がより効率的に行われます。 Java 2.x、C++、Python (Boto3) といった AWS SDK の新しいバージョンでは、アプリケーションを変更することなく自動的に MVA の便利な機能を使用できます。非同期操作で Java SDK v2 と共通ランタイム (CRT) ライブラリを組み合わせて使用している場合、さらに便利な機能が MV
住太陽氏に聞く！SEOのあれこれ | QUERYY(クエリー)
Twitter：@motoharusumi SEOコンサルタント。2002年に国内初となるSEO解説書など多数の著書を執筆。以来、多数の執筆や講演を務めるなど、SEOの国内の第一人者として知られている。 ボーディー有限会社の代表取締役であり、中小企業を対象に定額制SEOコンサルティングを提供を提供しているほか、株式会社ニュートラルワークスでSEO顧問を務めている。 1975年生まれ。東京育ちで現在は埼玉在住。システム会社などでプログラマー・Web制作の経験を積んだのち、アイレップでSEOディレクターとして8年間コンサルティング業務を行う。EC系SEOからBtoBのSEOやコンテンツマーケまで幅広く経験し、50社以上ものクライアント様に対しSEOを提案。その後、株式会社ぐるなびでサービス横断のSEOに従事。Googleナレッジパネルの影響でグルメサイトの順位大幅下降に伴い、Googleビジネ
こんにちは、洲崎です。 Athenaはクエリ実行すると、クエリ結果をS3に出力します。 S3の保存場所について調べる機会があったので紹介します。 いきなりまとめ Athenaのクエリ結果の保存を指定する設定は2箇所ある クエリエディタの設定 ワークグループの設定 ワークグループの設定を行っても利用するサービスによって指定のS3に出力されないケースがある [クライアント側設定の上書き] オプションを利用する Athenaのクエリ結果 Athenaでクエリした時の結果はS3に自動的に出力されます。 特に設定していないとデフォルトのバケットが自動作成されて、その中にクエリ結果を保存します。 東京リージョンの場合はaws-athena-query-results-ap-northeast-1-{AWSアカウントID}のバケットが作成されます。 中を覗くと、1クエリごとのcsvとcsv.metada
![[小ネタ]Athenaのクエリ結果の保存場所について | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e74dfc28e3f87861a3abf7b0257ff46d1c1a0f04/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
はじめに Cloud Loggingを使用しているのですが、クエリの書き方が分からず苦戦したので公式ドキュメントを読みながら確認した内容を書いています。 ローカル環境からログを送信 こちらの公式ドキュメントに載っていいます。 今回は、nodeのwinstonを使ってアップロードしてみました。 // Imports the Google Cloud client library for Winston import { LoggingWinston } from '@google-cloud/logging-winston'; import winston from 'winston'; // Creates a client const loggingWinston = new LoggingWinston({ projectId: 'your-project-id', keyFilena
この記事で書いていること Qオブジェクトを使って、DjangoでOR条件を作れるという話 公式DOCSの以下の部分を参考にしてます Qオブジェクトを使って実装する 例えば、pub_dateというDateTimeFieldを持つPollというモデルを持っているとして。 pub_dateが2018年の12月1日 or 12月3日のインスタンスを取得したい場合、以下のように書けます。 from django.db.models import Q Poll.objects.get( Q(pub_date=date(2018, 12, 1)) | Q(pub_date=date(2018, 12, 3)) ) filter, exclude, getなどの検索関数に渡すことができる 上の例でもすでに示していることですが。 filter()、exclude()、get()と言った、検索関数に対して、複
Elasticsearchのbool クエリとminimum_should_matchについて｜Airitech
こんにちは。AiritechでElasticsearchを使った検索システムの開発改善を行っている、河村です。 Elasticsearchのクエリは、SQLと違ってJSONで記載するため、慣れないと分かりづらいですが、複雑な検索条件を指定できる仕組みになっています。 今回は、Elasticsearchのクエリの中で最も重要な、bool queryについて解説したいと思います。 bool queryとは 複数の条件を AND、OR、NOT で組み合わせた、複雑な条件を指定するためのクエリです。単にAND、OR、NOTを組み合わせるよりもさらに細かい条件を指定することも可能な仕組みになっています。 この後、具体的な例を用いて説明します。 Elasticsearchクエリの例例に使用するインデックスには以下のデータが格納されています。 { "_id" : "1", "_source" : { "
2024年にはアメリカ大統領選挙を含む、多くの選挙が世界中で行われます。Googleは自社プラットフォームが選挙で悪用されることを防ぐため、AIを用いた不正行為に対する取り組みを強化すると発表しました。これにより、Bardでは選挙関連のクエリが制限されるなど、さまざまな制限が課されています。 How we’re approaching the 2024 U.S. elections https://blog.google/outreach-initiatives/civics/how-were-approaching-the-2024-us-elections/ Supporting the 2024 United States election - YouTube Blog https://blog.youtube/inside-youtube/supporting-2024-unite
[失敗談]Partition Projectionの設定不足で1クエリ毎にS3 ListBucketが692,040回呼ばれていた話 | DevelopersIO
[失敗談]Partition Projectionの設定不足で1クエリ毎にS3 ListBucketが692,040回呼ばれていた話 こんにちは、洲崎です。Partition Projectionを手探りでやっていたら、S3がとんでもないことになってしまったので紹介します。。 いきなりまとめ Partition Projectionを正しく設定できていなかった 一部設定出来ていたが故に、'projection.year.range'で設定していた2021年〜2100年までのパーティション(計692,040パーティション)を都度S3から呼び出してしまった パーティションを改善したらAthenaで30分かかってタイムアウトしてたのが、2秒程でクエリが完了するようになった クエリをすると異様に時間がかかる。。 Amazon ConnectのCTRデータをAmazon S3に貯めて、QuickSi
![[失敗談]Partition Projectionの設定不足で1クエリ毎にS3 ListBucketが692,040回呼ばれていた話 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/74bbbdbcad61045a20f72a9cd1aa3ff885c8a407/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
AWS API GatewayのWeb Socket機能を使ってAmazon Athenaのクエリ結果を非同期にReactで受け取る
はじめに おはようございます、加藤です。API GatewayとLambdaを使ってサーバーレスなWeb APIを構築していると、バックエンドに時間がかかる処理をさせたい時にAPI Gatewayのタイムアウトである29秒が障壁になることがあります。また、タイムアウトに収まるとしても長時間レスポンスを返さず拘束してしまうことはユーザー体験の観点で好ましくありません。 この課題をAPI GatewayのWeb Socket機能とStep Functionsを使って解決するアーキテクチャを検討してみました。 前提 AWS CDKを使って環境構築を行います。CDKの書き方及びデプロイ方法について本記事では説明しません。 Node.js(TypeScript)を使用してWeb APIを構築します。React(TypeScript)を使用してフロントエンドを構築します。フロントエンドは動作を確認する
DynamoDBで運用しているテーブルにAthenaでクエリを実行するために考えたこと | DevelopersIO
最初に こんにちは、yoshimです。 AthenaからDynamoDBで運用しているテーブルにアクセスする、となると一番シンプルなのはAthenaのFederated Queryを使う事だと思います。 ただ、他にも「DynamoDBテーブルのデータをS3に出力→AthenaでこのS3のデータを参照」といった方法もあり、これらの方法の使い分けのイメージが自分の中で整理できていなかったので、それぞれの手法を実際に手を動かして確認してみました。 なお、本エントリーでは「各サービスの説明」や「具体的な手順」についての説明は必要最低限のみ、とします。 目次 1.はじめに 2.パターン1の検証 3.パターン2の検証 4.まとめと比較 5.参照 1.はじめに 本エントリーではAthenaからDynamoDBで運用しているテーブルにSQLを実行するために、下記2パターンの構成について比較していきます。
Firestoreのクエリでは、ドキュメント数を簡単にカウントする機能や何番目からというのを指定して取得（MongoDBのskipのような）するような機能が無いため、通常のページネーションを実装するのが難しく、下記のドキュメントのようにInfiniteScrollが前提とされています。 Firebase - クエリカーソルを使用したデータのページ設定 https://firebase.google.com/docs/firestore/query-data/query-cursors?hl=ja InfiniteScrollのメリット/デメリットについてはともかく、この記事ではあえて「前へ」/「次へ」ボタンのある通常のページネーションでFirestoreのコレクションを表示する例を実装してみます。 要件はざっくりと以下のような感じです。 Web上の管理画面の実装を想定 Reactを使用 複
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データを取得するGraphQLクエリ | GraphQLチュートリアル
MySQL スロークエリログからやたら遅いクエリだけ取り出す - mita2 database life
Power Query エディターで作成したクエリを保存するには - Qiita
SharePoint REST 要求で OData クエリ操作を使用する
MySQL/SQLiteで日別・週別・月別で集計するクエリまとめ - FFFT
CIで追加されたSQLクエリを自動で検知して、パフォーマンスの問題を未然に防ぐ | ten-snapon.com
BI Engine で BigQuery の短いクエリを高速化 | Google Cloud 公式ブログ
Azure SQL でのクエリ パフォーマンスを最適化する - Training
Amazon S3 での DNS クエリに対する応答で複数値回答のサポートを開始
[小ネタ]Athenaのクエリ結果の保存場所について | DevelopersIO
Cloud Loggingのクエリ言語をまとめていく
【DjangoのModel】OR条件のクエリをつくる方法 - Qiita
GoogleがBardで選挙関連のクエリを制限するなど、選挙関連のAI使用に制限
Firestoreでクエリ検索+Paginationを実装してみる - Qiita