[アップデート] クエリ職人の出番です！CloudWatch Logs Insights のクエリが保存が可能になりました | DevelopersIO
また、クエリの保存は新しい Cloudwatch Logs コンソールでのみ利用が可能です。従来のコンソールを使っている場合は、[Logs] - [Logs group]を開き、上部に表示されているメッセージより新しいコンソールに切り替えてご利用ください。 クエリの保存 Cloudwatch Logs Insights のコンソールを開きます。次にロググループの選択、クエリを入力します。Save ボタンが追加されていますのでクリックします。 クエリの保存画面が表示されますので、任意のクエリ名を入力します。フォルダーは必要に応じて作成してください。対象のサービスや、環境でフォルダー分けしておくと保存されたクエリが整理できて良いかと思います。ロググループや、クエリは既に設定したものが反映されていますので変更がなければ Save をクリックします。 これでクエリの保存は完了です。保存したクエリは
![[アップデート] クエリ職人の出番です！CloudWatch Logs Insights のクエリが保存が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
はじめに こんにちは！DR&MLOps グループの阿部です。 Gunosyには社内警察と呼ばれる人がおり、たとえばデータ可視化の際に円グラフを使うと正しい使い方を教えてくれる、母数という言葉の使い方を正してくれる、方々がいます。 今回はAthenaで課金額の高いクエリを投げるとSlackで警告してくれる、Athena課金警察というボットを紹介します。 そういえばこんな記事もありました。 data.gunosy.io さあ、高額課金者を晒し上げにしてやりましょう！ 目次 はじめに 目次 どうやってやるか Lambdaの中身 結果 悩み まとめ どうやってやるか 最近 CloudWatch Events で Athenaの Query State 監視に対応したようです。 aws.amazon.com 今回はその機能を使い、Query State に変化があったときに Lambda を呼び出し
ISUCON のブログ記事等で当たり前に出てくる「N+1問題」を知らなかったので、調査した結果です。 TL;DR N+1問題とは、このブログ記事にもう全部書いていますが、 N件のデータ行を持つテーブルをごそっと読みだすのに1回 別のテーブルから、先述のテーブルの各行に紐づくデータを（1件ずつ）読み出すのに計N回 合計でN+1回のクエリを実行している状態です。 （1+N問題と考えた方が理解しやすい） Nが大きいときは処理に非常に時間がかかるため、対応が必要になります。 対応策としては、 JOIN句による表の結合 Eager Loading（必要なデータを事前にロード） の2種類があります。 例 図書館の本貸出管理システムを考えます。 以下のように、「書籍」テーブルと、図書館の「利用者1」テーブルがあるとします。 各書籍について、借りている人の名前と、年齢を知りたいときを考えます。 欲しいのは
![[解説] SQLクエリのN+1問題 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/bb2af57d0a5d5db1a313b56f7249d64093c6adf7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU4JUE3JUEzJUU4JUFBJUFDJTVEJTIwU1FMJUUzJTgyJUFGJUUzJTgyJUE4JUUzJTgzJUFBJUUzJTgxJUFFTiUyQjElRTUlOTUlOEYlRTklQTElOEMmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTYyMjk5MjAyMTAzMWI3MWI1Y2NmNjhjMjljODBlNTkx%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBtdXJveWEyMzU1JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00YmE2YTUzNzMwYzRiYWQ2NWRlMWNiMzgyMTQ0OTVhNQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da4073c155bb2d25d36def624d5f1050e)
Accessユーザー阿鼻叫喚。2019年11月期セキュリティ更新プログラム適用後に「クエリが破損しています」エラーが発生
2019年11月12日（日本は11月13日）、Microsoft Office 2010/2013/2016 に対する月例セキュリティ更新プログラム（KB4484113,KB4484119,KB4484127）が公開されましたが、これらの適用後にMicrosoft Access において「抽出条件が指定されている更新クエリ」が実行出来なくなるという問題が報告されています。 2019年11月18日追記: MSI版Office 2016については KB3085368 も対象になるようです。 続きを読む
BigQuery スロット需給バランスの改善 〜クエリのパフォーマンス改善の事例から〜｜Mercari Analytics Blog
メルカリ Analytics Infra チームの na0 です。この記事では、メルカリにおける BigQuery クエリの改善によるスロット需給バランスの改善について紹介します。 2023-03-30 には、新料金体系 BigQuery Editions も発表されています。こちらには、読み取りデータ量課金（オンデマンド モデル）の値上げも含まれており、スロット量課金（BigQuery Editions）との損益分岐点の変化から、クエリのパフォーマンスについて意識する組織は増えていくことでしょう。 今回紹介するクエリの改善は、データ利用者が意識することで、メリットとなる施策です。この記事をきっかけに、BigQuery 利用者がパフォーマンスを意識してクエリを書くことや、必要に応じて詳しい人に相談できるようになることを期待しています。 「クエリが遅い！」問題メルカリ社内の BigQuery
Amazon Aurora PostgreSQL でのクエリ計画管理のユースケース | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora PostgreSQL でのクエリ計画管理のユースケース このブログの投稿は一連の投稿の 2 回目です。前回のブログ記事では、SQL ステートメントの実行計画に回帰を引き起こす可能性があるその他の変更の中で、安定かつ一貫したデータベースパフォーマンスの必要性について説明しました。また、PostgreSQL と互換性のある Amazon Aurora のクエリ計画管理 (QPM) が、計画安定性と計画適応性の問題を克服できるようにする方法も述べています。 この記事では、引き続き Aurora PostgreSQL QPM の機能について説明します。特に、これらの機能によって、さまざまな高度なユースケースに対して計画安定性と適応性を実現する方法についてお話します。 ユースケース #1: QPM 手動取得による計画安定性と
関連キーワード API | データ統合 動画配信サービス「Netflix」を支えているのは、クエリ（データ操作）言語「GraphQL」だ。 テクノロジーカンファレンス「QCon New York 2019」に登壇したギャレット・ハインレン氏は、Netflix社でソフトウェアエンジニアを務めている。ハインレン氏によると、同社はコンテンツエンジニアリングチームが運用するシステムにデータを取り込むためのクエリ言語として、主にGraphQLを使用しているという。 併せて読みたいお薦め記事 データ連携の仕組み APIとは何か？ Web APIとの違い、利用者のタスクを解説 REST APIへの不満爆発？ API Worldで話題になったメッセージングのこれから 「SDK」と「API」の違いとは？ どう使い分ける？ データ連携機能の管理 APIを安全に利用する4つのセキュリティ対策、具体的な実装方法は
はじめに 普段、Railsを使って開発されている方であれば、関連するテーブルのデータを扱うときなど、N+1クエリを発行していないか、気をつけているかと思います。 また、うっかりN+1クエリを発行してしまうことを防ぐため、N+1クエリを自動で検出するBulletというgemを導入しているかたも多いかと思います。ただ、Bulletで検出されないクエリでもN+1になっているケースがあります。 この記事ではBulletでは検出されないが、N+1になっているクエリを改善する方法を紹介します。 N+1問題とは N+1問題とは、1回のクエリで済むところをデータ量(N)の回数、クエリを発行してしまう問題のことです。 例えば以下のようなクエリはN+1クエリです。 Post Load (0.3ms) SELECT "posts".* FROM "posts" ↳ app/views/posts/index.h
GMOアドマーケティングのT.Oです。 BigQueryの「クエリのスケジュール」機能を使ってみました。この機能を使うとプログラムを書かずにクエリを定期的に実行して、結果をテーブルに書き込むことができるので便利です。ここでは利用手順をご紹介します。 0.前提 クエリのスケジュールを利用するためには、ユーザーに以下の権限が必要です。 ＊）権限が不足している場合、利用できませんので管理者の方に権限の付与を依頼してください。 bigquery.jobs.createまたはbigquery.transfers.update … 転送を更新するための権限です bigquery.datasets.update … データセットのメタデータを更新するための権限です 1.クエリの作成 定期実行するためのクエリを「クエリエディタ」に記述します。以下はクエリの例です。 ＊）「クエリのスケジュール」を実行する前
CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda) - KAYAC engineers' blog
カヤックSREの今です。 SRE連載8月のエントリーになります。 techblog.kayac.com Amazon CloudWatch Logs Insights(以下Insights)は、CloudWatch Logsのログを期間を指定して検索、集計、簡単な文字列処理を行うことが出来ます。 Webコンソールから手軽に利用することができ、エラーが起きた際のログ調査に日常的に利用しています。 クエリは非同期で実行されますが、Webコンソールからクエリを実行して結果の表示前にページを離れてしまうと、クエリ結果をWebコンソール上で確認することができません。 Webコンソール上の履歴からリクエストIDを取得し、AWS CLIからaws logs get-query-result --query-id=[リクエストID]を実行することで結果をjsonで得ることができます。 今回は自動で日時の集
Brave Searchは、独メディア企業Hubert Burda Mediaから買収した検索エンジン「Tailcat」をベースに開発した検索エンジンで、「比類のないプライバシーを提供する」と謳う。DuckDuckGoもプライバシーを尊重しているが、米Microsoftと「検索シンジケーション契約」を結んでおり、検索結果は完全にオリジナルではない。 Brave Searchはβ版の公開から265日でクエリ数が25億件を超えたという。「Googleが25億クエリに到達するには1年以上かかり、DuckDuckGoの場合は4年かかった」としている。 正式版への移行に合わせ、新機能「Goggles」（ゴーグル）のβリリースも発表した。Gogglesは、検索に当たって検索範囲を制限したり、結果の順序を変更したりするためのルールとフィルターのセットを作成する機能。 例えば、「search engine
SQLAlchemy1.2の基本的なクエリをまとめました！ python初心者以上向けの記事です。 改めて読み返してみると、直した方が良さそうな箇所や、この機能書かないんかいってのがあるので修正予定です。 記述内容 ORMについて、動かしてみるところまで、select, limit, orderby, distinct, join, leftjoin, in, insert, update, delete, union, unionAll, sql吐き出し, sqlを直接実行について また、flask-sqlalchemyでは実行を試していません。 SQLAlchemyとは pythonのORMモジュール。 session.query(User).all() このようにSQL操作ができる。 SQLをクラスとして扱えるようにしたもの。 使用する理由は、 ・SQLインジェクション対策がサポート
マネーフォワード 分析推進室 アナリティクスエンジニアの奥野です！ 私は、現在ビジネスユーザーが使いやすいデータマート開発プロジェクトに携わっており、その中でdbt Coreを使ったデータパイプラインの構築を行っています。データアナリスト1名、アナリティクスエンジニア2名の合計3名で開発を進めています。 このブログでは、そのデータマート開発プロジェクトにおいて、メンテナンスしやすいクエリを作るためのアイデアが出てきたので共有したいと思います。 伝えたいことは大きく以下の2つです。 SQLリンターSQLfluffを入れるとそれなりに分かりやすいクエリになる リンターではカバーできない分かりやすい書き方のアイデア では早速紹介していきます！ SQLリンターSQLfluffを入れるとそれなりに分かりやすいクエリになるSQLfluffというSQLリンターがあります。すでに日本語でも紹介されている記
RealmSwift入門 – 覚えておきたい、リレーションの定義からクエリ、マイグレーションまで – | DevelopersIO
今回のテーマはモバイルデータベースの Realm です。 この記事では基本的なCRUD以外の、実際にアプリケーションを開発していく中で必要になるリレーションの定義やマイグレーションなどを取り上げていきたいと思います。 こんにちは。モバイルアプリサービス部で iOS アプリエンジニアとして働き始めた田辺です。現在研修で大阪に来ていますが研修が終わるまでに一記事書きたいと考えていたので、その目標が達成できそうで嬉しいです。 今回のテーマはモバイルデータベースの Realm です。 業務で Realm を使っていること、今までの開発ではかなり単純なデータ（参照も更新も限定的）の保存に Realm を扱っていたため、実案件に入るまでにきちんと準備をしておきたいということで、今回 Realm をテーマにした記事を書くことにしました。 Developers.IO では 2 年程前に Realm の基本
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads 71 Ads API 10
MySQLのクエリ実行速度をミリ秒単位で計測する
MySQLのクエリ実行速度をミリ秒単位で計測する方法を記載します。 ターミナルでMySQLサーバに入って、SQLを実行すると以下のように秒単位での速度は計測できますが、もう少し詳細に計測したい(ミリ秒単位で計測したい)、という場合の対処法です。
[LlamaIndex]AWS Lambdaで作成済みのインデックスをクエリしてみた | DevelopersIO
LlamaIndexをAWS Lambda上で動かす方法を解説しました。AWS Lambdaだと、リアルタイム性は落ちますが、管理はしやすくなりそうです。 はじめに こんにちは、筧( @TakaakiKakei )です。 LlamaIndexはOpenAIのLLMに独自のデータを読み込ませる仕組みです。 DevelopersIOでは既に色んなAWS環境で動かす方法が紹介されています。 本ブログではAWS Lambdaで作成済みのインデックスをクエリする例をご紹介します。 リアルタイム性をそこまで求められない場合に、役に立つかもしれません。 コード Serverless Framework を利用してデプロイします。 デプロイ方法はREADMEを参照ください。 工夫点 レスポンス改善 handler内でインデックスのロード処理を書くと、Lambdaが実行する度にロードしてしまうため、レスポン
![[LlamaIndex]AWS Lambdaで作成済みのインデックスをクエリしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/998214073b9c83d10b1508ebfcf06fca2a4f12f0/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F03%2Feyecatch-llamdaindex.png)
Cloud Spanner で初期費用を 90% 削減し、オブザーバビリティの向上とより容易なクエリを実現 | Google Cloud 公式ブログ
Cloud Spanner で初期費用を 90% 削減し、オブザーバビリティの向上とより容易なクエリを実現 ※この投稿は米国時間 2021 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 ACID トランザクション、SQL サポート、そして非リレーショナル データベースのスケーラビリティと可用性を兼ね備えた強整合性のリレーショナルデータベースとして、Cloud Spanner はすべての主要な市場セグメントで力強い成長を見せています。Spanner を採用していただくお客様が増加するにつれ、「開発、テスト、小規模な本番環境のワークロードをより費用対効果の高い方法でサポートするために、より小さなサイズのインスタンスにも対応させてほしい」というご要望が寄せられるようになっていました。これを受けて、このたび Spanner のインスタンス サイズをより細
この記事は GraphQL Advent Calendar 2020 6日目の記事です。 前回の記事は @fossamagna さんの AppSyncのGraphQL APIを@apollo/clientで呼び出す でした。 この記事では以下の記事で紹介されているGraphQLのエラーハンドリングの手法についての紹介と、それを利用するクライアントサイドのメリットについての考察をしていきます。 sachee.medium.com アプリケーションで生じる様々なエラーと、GraphQLの一般的なハンドリング GraphQLはリクエストに対してエラーが発生した場合、一般的にレスポンス中のerrorsというキーの中にそのエラーに関する情報を詰め込んだレスポンスを返すというプラクティスがあります。 "errors": [ { "message": "....", "locations": [ ...
GA4用のBigQuery クエリ集
本ページはSQLを覚えることを目的にしたページではなく、SQLを使ってGA4のBigQueryからよく使いそうなSQLをまとめたものになります。対象は今までSQLを使ってデータをだした事が無い方、昔一度試して挫折あるいはどうすればよいか分からなくなってしまった方が対象です。そのため「とりあえず使ってみる」事を意識しております。必要な限りコメントを入れて、わかりやすさ優先の記述となっています。そのため必ずしも効率的書き方では無いことをご了承下さい。また本SQLの内容等に関してはサポート対象外となりますので、自己責任でご利用ください。 作成ご協力：@macchaice・@kirin0890・他皆様（感謝！） 利用前の確認事項 自分のデータセットを指定する 例えば以下のようにデータが格納されている場合 fromの部分は以下の通りとなります。保存データごとに変わるので、必ず自社のプロジェクトIDに
ゆっくりとだが、ある興味深い変化がデータセンター全体に浸透しつつある。それは、運用の管理にREST（Representational State Transfer）を使うという動きだ。これによりデータセンターアーキテクチャのモデルが使いやすくなり、自動化とオーケストレーションの機会が広がる。RESTは、コンピュータが普遍的なHTTPプロトコルを使って簡単に通信する方法として2000年に初めて導入された。RESTにより、さまざまなシステムを疎結合して情報を交換することが可能になった。 ただし最近、データセンターの軸足はRESTからGraphQLへとややシフトしている。 GraphQLとRESTの違い RESTの中心にあるのは「全てが1つのリソース」という考え方だ。当初は、この考え方が優れたソリューションだった。だが、このアーキテクチャは幾つか大きな問題に直面している。RESTのリソースは1つ
BigQueryでマテリアライズドビューが提供開始、プレビューとして。複雑なクエリをより高速に実行可能 Google Cloudのデータウエアハウス向けデータベースであるBigQueryに「マテリアライズドビュー」機能がプレリリース版として追加されました。 一般にリレーショナルデータベースにおける「ビュー」とは、仮想的なテーブルのようなものとされます。これによって、BIツールを使ってデータベースへ検索を実行する際などに、複雑なテーブル構成を隠蔽して分かりやすい構成のビューだけを見せたり、特定のユーザーにアクセスを許すビューだけを見せる、といったことが可能になります。 通常のビューは仮想的な存在であり実体を持たないため、ビューに対するクエリは実際にはビューを構成するテーブルに対するクエリに分解され、実行され、結果が返されます。 一方、マテリアライズドビューはテーブルのように実体を持つビューと
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に Amazon Web Services（AWS）が提供しているデータウェアハウス向けデータベースのAmazon Redshiftで、新機能としてマテリアライズドビューの正式サポートが発表されました。 New #AWSLaunches! AWS Resource Access Manager is Now Available in the Middle East (Bahrain) Region Amazon Redshift introduces support for materialized views (Generally Available)https://t.co/lB0bBYdvnl pic.twitter.com/JRVhK3ekRc — Amazon Web S
Googleは、注目の自然言語処理技術「BERT」を、まずは米国の英語検索で採用する。「ブラジルから米国への入国にはビザが必要？」のような会話型クエリを入力した場合、従来より欲しい答えが表示されるようになる。 米Googleは10月25日（現地時間）、Google検索で自然言語処理「BERT」を採用し、検索結果に「過去5年間で最も大きな躍進」をもたらしたと発表した。まずは米国での英語による検索に適用し、提供地域や言語を拡大していく計画だ。 BERT（Bidirectional Encoder Representations from Transformers）は、Googleが昨年11月に発表した自然言語処理（NLP）のための言語処理モデル。おおまかに言うと、いくつかのキーワードを抜いた文を学習データセットにして機械語アルゴリズムを訓練し、アルゴリズムによる文脈の理解力を上げるというもの。
知らなかったのは私だけでしょうか･･･。東京リージョンでも Amazon Athena フェデレーテッド・クエリが GA されていました | DevelopersIO
え・・・いつからそこに居たの。 ずっと待ってたんだよ・・・ ということで、ひっそりと東京リージョンでも Amazon Athena の Federated Query が GA されていました。 いつから？ 2020年12月16日にドキュメント更新されていたようです。 こんな待望のアップデートを 1 ヶ月も見落としていたなんて。。私、アップデート職人だと自負していましたが、これはアップデート職人引退が迫られる事案だと重く受け止めています。。 Amazon Athena Federated Query Amazon Athena のフェデレーテッド・クエリはリレーショナル、非リレーショナル、オブジェクト、およびカスタムのデータソースに格納されているデータに対して SQL クエリを実行できるようになる機能です。フェデレーテッド・クエリについては以下のブログを参照ください。 これまで Athen
SQLとElasticsearchのクエリがそれぞれどう対応しているのか、よく使われると思うものについて大体まとめました。 環境 Elasticsearch 6.2.4 〜 7.5 前提条件 記載する内容は以下の条件を前提とします。 Elasticsearchで検索する際のURLの記載は省略 Elasticsearchでは検索を行う際に以下のようなURLへリクエストします。 {ElasticsearchのURL}/{index名}/_search 例えばSQLでproductというテーブルに対して索引を行っている場合、Elasticsearchでは以下のURLへリクエストを行っています。 http://localhost:9200/product/_search 以降Elasticsearchのリクエスト先URLは記載しませんが、上述のようなURLへリクエストしている前提です。 文字列のデ
検索順位が1位で表示回数も多いのにクリックされない幽霊クエリの正体は？【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ
Search Consoleの検索パフォーマンスで「平均順位が高い」「表示回数が多い」のに「クリックがない」検索クエリが出てくることはないだろうか。そうした「幽霊クエリ」が出てくる背景を解説する。 今週もSEOやサイト運営に役立つ情報をいろいろとまとめているが、今回もおもしろいネタが多い。 特に2ページ目の「Googleマイビジネスのエキスパートが解説」「中小企業のオンラインショップ開業をグーグルが支援」の2つは、なかなか興味深い。すべての人に関係するネタではないのだが、関係する人にはぜひ情報を教えてあげてほしい。 グーグルから情報を削除する方法グーグルでは非HTTPSのページは実質存在しない状態？―― 検索結果1ページ目の98%がHTTPS「インデックス登録をリクエスト機能」が一時的に無効にSEO評価の悪用、動画とSEO、上位表示から突然消える など21の疑問にグーグル社員が答えたGMB
【アップデート】Amazon Redshift の新機能「Federated Query」でRDSとAuroraのPostgreSQLに直接クエリを実行できるようになりました #reinvent | DevelopersIO
こんにちは！DA事業本部の石川です！ re:Invent2019の12/3のキーノートでAmazon Redshiftが新たにAmazon Redshift 「Federated Query」をサポートしました。今回はキーノートの内容を中心にご紹介します。 New for Amazon Redshift – Data Lake Export and Federated Query Federated Queryとは？ RDSとAurora PostgreSQLのテーブルにRedshiftから直接アクセスできるようになりました。所謂、RedshiftからPostgreSQLに対してデータベースリンクする機能です。 この構文を使用して、RDSまたはAurora PostgreSQLデータベースからRedshiftクラスターに外部スキーマを追加できます。リンクはスキーマ毎に設定します。 CREA
[レベル: 初級] Google 検索がどのようにして検索結果を配信するのかを、Gary Illyes（ゲイリー・イリース）氏が動画で解説しました。 検索の仕組みを YouTube で解説する「How Search Works」シリーズのエピソード 4 です。 SEO 初級者向けの内容ではありますが、個人的に、今までのエピソードのなかでいちばん好きな内容だったのでこの記事で紹介します。 SEO 上級者でも（知識確認のために？）役立つ解説です。 クエリ解釈とランク付けの仕組み ゲイリーは、クエリ解釈とランク付の仕組みを説明します。 概要は次のとおりです。 Google 検索では、ストップワード（不要な語）の削除や対象の認識、類似語への拡張などを処理し、ユーザーの検索内容を解析する Google は、解析した検索内容をもとに、インデックスの中から検索結果を抽出する 検索結果のランキングは、ウェ
最近は主に TypeScript を書いてます。楽しいです。 という話は置いておきまして、gorpを使ったバックエンドのコードレビューしていたときに、 SQLがあちこちに散らばってしまい可読性が悪くなってるのを見かけました。 gorpでは生SQLをかけるのでSQLが短ければ直感的にわかりやすいというメリットはありますが、 結合や検索条件が複雑になるに連れコードは関数やファイルで分割されSQLはどんどん散り散りになっていきます。 私は十行足らずのSQLを表現するために数十行の Goのコードを書きたくありませんし、保守できる自信もありません。 前置きが長くなりましたが、表題の通り Go の標準テンプレート機能を使ってSQLを書いたほうが 直感的にわかりやすいだろうと思ったので、期待通りに動作するか検証してみます。 検証環境を作ったので手元で試したい人は Clone してください。 使い方は後述
概要 2022年のフロントエンドに必要なスキルマップにもあるように、GraphQLという選択肢が一般化しています。 引用元 GraphQLを使用する場合、GraphQLの特性を知らなければなりませんが、今回の記事ではGraphQLとは何か。どう使うのかについては言及致しません。その場合は、こちらの記事を一読していただけますと幸いです。 今回は、GraphQLを使用する際にGraphQLのスキーマやクエリからTypeScriptの型定義を自動生成する方法について記事にしていきます。 GraphQLのスキーマやクエリからTypeScriptの型定義を自動生成するには 例えば、フロントエンド開発においてTypeScriptの導入をしている場合、GraphQLのスキーマごとの型定義を作成しなければなりません。 ただ、GraphQLのスキーマを確認しながら型を手動で作っていくのってしんどいですよね。
話題の Google Cloud の新しい DB の AlloyDB for PostgreSQL を調査して、分析クエリ高速化機能のカラム型エンジンを試してみた | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 Google I/O 2022 で新しいデータベースである AlloyDB for PostgreSQL が発表されました。実際にサービスを触ってみたのでまとめてみます。 AlloyDB for PostgreSQL は2022年5月18日現在において、プレビューのステータスです。このプロダクトまたは機能は、Google Cloud Platform の利用規約の一般提供前のサービス規約の対象となります。一般提供前のプロダクトと機能では、サポートが制限されることがあります。また、一般提供前のプロダクトや機能に変更が加えられると、他の一般提供前バージョンと互換性がない場合があります。詳細については、リリースステージの説明をご覧ください。 AlloyDB for PostgreSQL とは AlloyDB for PostgreSQL は
こんにちは。GMOアドマーケティングの石丸(@thomi40)です。昨年の12月にRuby on Rails 6.1の新機能の1つである「annotate_rendered_view_with_filenames」について紹介しました。今回は、同じくRuby on Rails 6.1で追加された「strict_loading」について紹介します。strict_loadingとは？strict_loadingはRails 6.1から実装された機能で、主に関連付け(Association)で発生する遅延読み込み(Lazy Loading)を防ぐ目的で追加されました。この機能を活用することで、N+1問題を防ぐことが期待できます。では実際に試してみましょう。検証用... 今回はRails 7から追加された「query_log_tags」について紹介します。 query_log_tagsとは？ qu
SQLの問題が収録されたプログラミングゲーム「エンジニア騎士とクエリの魔女」の無料公開がスタート！ | Gamer
paizaは、新作プログラミングゲーム「エンジニア騎士とクエリの魔女」を、本日8月22日より一般向けに無料公開した。 本作は異世界に勇者パーティとして召喚された新人ITエンジニアを主人公としており、楽しくプログラミング問題に取り組みながらスキルアップを目指せる。 Python、PHP、JavaScript、C言語など主要28言語に加え、需要が高まりつつあるデータベース関連（SQL）の問題が収録されている。 以下、発表情報をそのまま掲載しています ストーリー 異世界に勇者パーティーとして召喚された新人ITエンジニアの男女。目覚めるとそこは、剣（コード）と魔法（SQL）が支配する世界だった。騎士と魔法使いの冒険が、今始まる。 初のSQL対応「エンジニア騎士とクエリの魔女」開発経緯 「エンジニア騎士とクエリの魔女」は、paizaがこれまでに提供してきた「Paiza Programming Gam
週刊Railsウォッチ（20200622前編）AR attributes周りの高速化進む、Active RecordでUNIONクエリを書く、Cable Ready gemほか｜TechRacho by BPS株式会社
2020.06.22 週刊Railsウォッチ（20200622前編）AR attributes周りの高速化進む、Active RecordでUNIONクエリを書く、Cable Ready gemほか こんにちは、hachi8833です。GitHub Marketplaceの無料カテゴリを覗いてみたらいろいろありすぎてまごつきました。 "free": GitHub Marketplace · Tools to improve your workflow つっつきボイス:「GitHub Marketplaceをちゃんと見たのは初めてでした」「GitHubリポジトリと連携できるアプリとかアクションとかですね👀」「IDEまであるのね」「エコシステムがあるのはありがたい🙏」「人気も表示して欲しいかなとちょっと思いました」「人気の指標次第では殴り合いが始まりそうですけど😆」「Chrome拡張みた
データベースにクエリを投げて結果をプリントするライブラリqpを作った - Copy/Cut/Paste/Hatena
データベースを伴うテストを書いていて、何故かテスト結果が安定しない事象に出くわして「なんでだ？？？？？」と混乱した結果、データベースの状況をprintデバッグをしたくなって作りました*1。 github.com 使い方は package main import ( "database/sql" "log" "github.com/k1LoW/qp" _ "github.com/mattn/go-sqlite3" ) func main() { db, err := sql.Open("sqlite3", "path/to/db") if err != nil { log.Fatal(err) } defer db.Close() qp.Print(db, "SELECT * FROM users WHERE username = 'alice'") } みたいにqp.Print() に *
Google Cloudは、大規模データ分析サービスのBigQueryにおいてJSON型データへのネイティブ対応機能をパブリックプレビューとして公開しました。 Big news: BigQuery now natively supports semi-structured data. Now you can write to #BigQuery without worrying about schema changes from your upstream data pipeline. Learn more about this public preview for the BigQuery native JSON data type ↓https://t.co/4RU3TDqIOw — Google Cloud Tech (@GoogleCloudTech) January 6, 202
Nat Sakimura/崎村夏彦 on Twitter: "@okdt では行きます。まず、Sign in with Appleは、IDトークンと認可コードを含む認可レスポンスをクエリ・パラメータとしてお繰り返してきます。そのため、これらはクライアント側が注意しないとリファラーとして漏れる… https://t.co/ls2mUZKlim"
@okdt では行きます。まず、Sign in with Appleは、IDトークンと認可コードを含む認可レスポンスをクエリ・パラメータとしてお繰り返してきます。そのため、これらはクライアント側が注意しないとリファラーとして漏れる… https://t.co/ls2mUZKlim
[レベル: 上級] BERT と呼ぶ自然言語処理技術を検索システムに採用したことを Google は先日発表しました。 クエリの解釈だけではなくコンテンツの理解にも BERT は使われます。 今のところ、米 Google の英語の検索だけに BERT は用いられています。 ほかの国・言語への展開は、英語でのデータが集まり、それぞれの国・言語で十分に評価してからになります。 Google エンジニアが BERT について語る 米 Google 本社があるマウンテンビューで 11 月 4 日に開催された Webmaster Conference Mountain View に参加してきました。 Google 検索の上級エンジニアも来ていて、セッション後の Q&A の時間と直接に BERT について聞くことができました。 この記事で共有します。 BERT はコンテンツ理解にも使われる 検索での
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Athenaのクエリ課金額をSlack通知する - Gunosy Tech Blog
[解説] SQLクエリのN+1問題 - Qiita
Netflixがクエリ言語「GraphQL」を採用 何にどう使っているのか
Rails: Bulletで検出されないN+1クエリを解消する｜TechRacho by BPS株式会社
BigQueryでクエリのスケジュールを使ってみた
Brave Search、正式版に 1年で25億クエリ突破 新機能「Goggles」追加
【PythonのORM】SQLAlchemyで基本的なSQLクエリまとめ - Qiita
データマート開発プロジェクトを通して気づいたメンテナンスしやすいクエリの書き方｜rossokuno
Cloud Firestore のクエリが遅くなる理由
クエリ結果を軸としたGraphQLのエラーハンドリング - indilog
RESTはオワコンか、クエリ言語は「GraphQL」の時代へ
BigQueryでマテリアライズドビューが提供開始、プレビューとして。複雑なクエリをより高速に実行可能
Google、複雑な会話型クエリでも意図をくんで答えるBERT採用検索を英語で開始
DNSクエリでTCPを使うことが増えている？ 6月23日開催の「DNS Summer Day 2023」で調査報告＆考察 参加申し込み受付中、オンライン配信も～無料
SQLとElasticsearchとのクエリの比較 - Qiita
Googleはどのようにクエリを解釈しコンテンツをランク付けするのか？
gorp の クエリはテンプレートに書いたほうがわかりやすいと思いました。
GraphQLのスキーマ定義やクエリから型定義、自動生成できまっせ - Qiita
Rails 7の新機能「query_log_tags」でSQLクエリに自動でコメントを追加する
BigQueryがJSONにネイティブ対応。SQLでJSONに対するクエリが可能に
Google検索でのBERTはクエリ解釈だけではなくコンテンツ理解にも使われる #GWCPS