When I started my career in development, my first job was a DBA. Back then, before AWS RDS, Azure, Google Cloud and the rest of them cloud services, there were two types of DBAs: The Infrastructure DBA was in charge of setting up the database, configuring the storage and taking care of backups and replication. After setting up the database, the infrastructure DBA would pop up from time to time and
はじめに 令和にもなるとSQLを2行書くだけで機械学習できてしまうようです。本記事では、表題の技術BigQuery MLの概要と使い方を調べ、世を騒がせているコロナの分析をしてみました。 「SQLで機械学習」や「コロナ分析」に興味がある方は覗いてみてください。 本記事の対象者 SQLだけで機械学習したい人 コロナ分析に興味ある人 機械学習を簡単に試してみたい人 機械学習はよく分からんけどデータベースはよくいじるという人 本記事の対象でない人 データとか機械学習とか難しいから興味ない人 機械学習モデルのアルゴリズムとか詳しく知りたい人 機械学習つよつよだから自分で独自モデル作って幅広い分析したい人 BigQuery ML概要 BigQueryとは BigQuery MLはBigQuery上のサービスです。BigQueryを知らない方のために簡単にBigQueryについて説明します。BigQu
本記事は、『Software Design 2019年8月号』の第2特集「ゲームを題材に学ぶ 内部構造から理解するMySQL」をWeb掲載用に再編集したものです。 本記事のテーマを、より基本的なところから丁寧に解説した『SQLの苦手を克服する本 データの操作がイメージできれば誰でもできる』が2019年8月26日に発売されました。本記事と併せてご活用ください。 「NoSQLはRDBMSより高速」は本当か？ NoSQLが登場したころ（あるいは、今でも）、「NoSQLはRDBMSに比べて20倍高速」などというホワイトペーパーが出たりすることがあり、「20倍」という表現が独り歩きすることがよくありました。この倍率については、レコード長やページサイズ、その他もろもろのチューニング項目をどうするかで、いかようにも変化しますからほぼ意味がないうえ、実際のシステムでそれほどの差が出ることはありませ
GitHub - PRQL/prql: PRQL is a modern language for transforming data — a simple, powerful, pipelined SQL replacement
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは データを眺めている森藤です TVer ではたくさんのデータがあって、どこをほっくり返してもなんか有用な知見が出てくるので毎日楽しいです。 現状 さて、現状はまだまだこれからなのですが、レコメンドのアルゴリズムや実装について考えるのも仕事の一つです。 レコメンドといえば、いろいろな手法やベースとなる考え方、タイミングなど様々なものがありますが、そのうちの一つとして、協調フィルタリングというものがあります。 これは端的に言うと、「これを見ている人はこれも見ています」的なやつです。 ただ、協調フィルタリングは実世界において適用が難しく、TVer でも多分にもれずそのまま適用するには課題があります。 大きな課題が「ユーザは限られたコンテンツ(エピソード)しか閲覧しないため、これを見た人はこれも見ています」と適用することが難しい、というものです user_id series_id 1 3
公式の説明を引用すると下記のとおりです。（Google 翻訳） 開発者、SQL プログラマー、データベース管理者、アナリスト向けの無料のマルチプラットフォームデータベースツール。 JDBC ドライバーを備えたすべてのデータベースをサポートします（基本的には-ANY データベースを意味します）。 商用バージョンは、MongoDB、Cassandra、Couchbase、Redis、BigTable、DynamoDB などの非 JDBC データソースもサポートしています。商用バージョンでサポートされているすべてのデータベースのリストは、ここにあります。 ・メタデータエディタ、SQL エディタ、リッチデータエディタ、ERD、データのエクスポート/インポート/移行、SQL 実行プランなどの多くの機能を備えています。 ・Eclipse プラットフォームに基づいています。 ・プラグインアーキテクチャを
非エンジニアがGoogle Analytics 4とBigQueryを使って3時間でSQLをマスターする（クエリサンプル、練習問題付き） ※2022年1月22日再編集｜石渡貴大@マインディア
優秀なインターン生にSQL ZOOだけぶん投げたらほんとに1日でSQL書けるようになった。多少手直しは必要だけど。ほんとにこの記事の通り。https://t.co/yh872H6KrY — Takahiro Ishiwata / 石渡貴大 (@takahirostone) March 3, 2020 このツイートは非常に反響が大きく、非エンジニアのSQL学習欲を改めて感じました。 私はもともとマーケターでSQLは書けなかったのですが、前職のGunosyでは全社員が誰でもSQLを書いて分析できる環境が整っていましたし、データ分析部の方が優しく教えてくれたおかげでSQLが書けるようになりました。 ただ、そういう環境が自社に整っていないとなかなかSQLを覚えることは難しいのではないでしょうか。かと言って自分で環境構築をするにはサーバーやデータベースの知識が必要になるのでかなり手間と時間がかかって
SQL Serverのスナップショット分離レベル導入によるデータ基盤連携の課題解決 - ZOZO TECH BLOG
こんにちは。アーキテクト部の廣瀬です。 弊社ではサービスの一部にSQL Serverを使用しており、BigQuery上のデータ基盤へテーブルを連携しています。連携の仕組みは非常によくできているものの、データ不整合や遅延が発生し得るという課題を抱えていました。しかし、SQL Serverのスナップショット分離レベルを導入することでそれらを解決できました。本記事では、抱えていた課題および解決までの流れと、スナップショット分離レベルを導入する際に気を付ける点を紹介します。 データ基盤連携の方法と課題 データ基盤との連携方法は、日次連携とリアルタイム連携の2種類です。それぞれの連携方法と抱えていた課題について説明します。 日次連携 1日1回、SQL Server専用の一括コピーツールである「bcp」を使用してテーブル全体のデータを取得する連携方法です。データ取得時のSQLのイメージは以下の通りです
SQLの練習ができるSQL特化の学習サービスです。環境構築不要で豊富な練習問題に取り組むことができます。SQLabを活用してSQLの知識をスキルに変えていきましょう。
GitHub - lspgn/edge-sql: Cloudflare Workers providing a SQL API
I had an idea. Here's a little backstory. Many services provide a REST API on top of a SQL database. For certain datasources, flexibility in terms of queries is key. Often those use-cases are dashboard prototyping, for example with Grafana. This data is usually read-only statistical datasets where the user needs to run many queries in order to troubleshoot an issue or just find the best visualizat
Kaspersky Labは8月22日(米国時間)、「Agent 1433: remote attack on Microsoft SQL Server｜Securelist」において、Microsoft SQL Serverが世界中でサイバー攻撃のターゲットになっていると伝えた。調査結果によると、その多くはベトナムに存在しており、これにロシア、インド、中国、トルコ、ブラジルが続くとしている。 ベトナム (16%) ロシア (12%) インド (7%) 中国 (5%) トルコ (5%) ブラジル (5%) 2019年1月〜2019年7月 Microsoft SQL Serverへの攻撃頻度を可視化したマップ - 資料: Kaspersky Lab 主な攻撃方法はブルートフォース攻撃（総当り攻撃）とのこと。攻撃者はまずMicrosoft SQL Serverがインストールされたサーバであるか
Our previous post in this series “What is Distributed SQL?” highlights the common architectural principles as well as the business benefits of distributed SQL databases. In this post, we compare distributed SQL databases against NewSQL databases so that we can better understand their differences. Before we dive into NewSQL, it is important to understand why NoSQL databases like MongoDB and Apache
自社プロダクトのデータ基盤における BigQuery SQLテストシステムについて - Platinum Data Blog by BrainPad
「データ活用をより多くの人が、より効率的に実施できるようになる取り組み」をエンジニア観点から自発的に実施するカルチャーを持つ、自社開発プロダクト「Rtoaster（アールトースター）」のエンジニアチーム。今回は、データ基盤チームで作成した BigQuery でのテストシステムを紹介します！ こんにちは、プロダクトビジネス本部開発部の柴内（データ基盤チーム）です。今回は、自社製品である「Rtoaster」プロダクトのデータ基盤チームで作成した BigQuery でのテストシステムについてご紹介します。 背景 データ基盤チームでは、 Rtoaster製品からリアルタイムに連携される、WebやアプリのトラッキングといったデータをGCSや BigQuery に蓄積するデータレイク データレイクにあるデータを BigQuery で加工・変換して利用しやすい形式にしたデータマートやデータウェアハウス
Clubhouse Data Leak - 1.3M SQL Database Leaked Online | Cybernews
So far, it seems like it’s been the worst week of the year for social media platforms in terms of data leaks, with Clubhouse seemingly joining the fray. Days after scraped data from more than a billion Facebook and LinkedIn profiles, collectively speaking, was put for sale online, it looks like now it's Clubhouse’s turn. The upstart platform seems to have experienced the same fate, with an SQL dat
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
はじめに データベースを扱う際に、データベースサーバがローカルネットワーク内に存在すれば直接接続できるのですが、時にはデータベースサーバが遠隔にあり ssh を介してしか接続できないケースもあります。そういった場合、ポートフォワーディング等を使って接続するなどしないといけません。 しかしながら、その為には事前に ssh コマンドでトンネルを掘る必要があり、バッチ的に遠隔のデータベースを操作するのは幾分手間が掛かります。 SSH を超えてデータベースに接続する database/sql にはドライバを自分で作る機能があります。そしてデータベースに接続する際のコネクタを自作する事ができる様になっています。crypto/ssh でサーバにログインし、その先で Dial を実行する事で、あたかもローカルのデータベースに接続しているかの様なコネクションを PostgreSQL のコネクションとして渡
GORM で出力されるログの SQL と実行される SQL が違った話 - カミナシ エンジニアブログ
7月に株式会社カミナシに入社したくらさわです！ カミナシでは、現場DXプラットフォーム「カミナシ」の開発をしています！ よろしくお願いします！！！ きっかけ 検証バージョン 結論 コード書いて確認してみた ドキュメント読んでみた コード読んでみた go-sql-driver/mysql のコード GORM のコード まとめ きっかけ 現在、カミナシの開発では、サーバサイドの言語は Go 、ORマッパーとして 「GORM」 を使い、DB には Amazon Aurora MySQL を使っています。 ある日、開発中に GORM が吐いてくれるログで query を調べていると、アプリケーションの実行中は結果が取れていないのに、その query をコピーして、手動で MySQL に投げると結果が取得できるということがありました。 パッとわからなかったので、それについて調べたことを記事にしてみま
SQL レベルのメトリクス をサポートしたパフォーマンスインサイトで高負荷状態のDB稼働を確認してみた | DevelopersIO
AWSチームのすずきです。 SQL レベルのメトリクス をサポートを開始したパフォーマンスインサイト(Performance Insights)を利用して、 高負荷状態に陥った Amazon Aurora Provisioned (MySQL5.6互換) の稼働状況を確認する機会がありましたので紹介させていただきます。 環境 過負荷が発生した環境は、 CMS(WordPress)の 記事データベースとして利用している Aurora でした。 Performance Insights SQL情報 SQLの情報として、下記項目が表示されるようになりました。 calls/sec : 毎秒ごとの呼び出し avg latency (ms)/call : 平均レイテンシー rows examined/call : 一度の呼び出しで返される行数 一回の処理時間は短いが実行回数が多く、チリも積もって高い負
データ分析者がSQLを書かなくてもいい時代に。"SQLビルダー"機能でデータ活用シーンに革新を。株式会社nehanは、分析ツールnehan上にて、プログラミング不要でSQLを作成・データを取得できる機能の提供を開始いたしました。 現在、多くのデータ活用シーンでSQLを使ってデータを取得する業務が行われています。しかし、 SQLを書ける人材が不足しており、業務が担当部署に集中しやすい 複雑なSQLは保守性が低下しやすく、結果、業務が属人化しやすい といった課題を抱える現場は多いと感じております。 SQLビルダーは、それらの課題を解決するための手段です。下記2点が最大の特徴です。 SQLのスキルがなくても、簡単操作でデータを取得可能 データ加工プロセスを見える化し、保守性を向上。脱属人化を実現 本機能を活用いただくことで、SQL業務の効率化・民主化による、ビジネスにおけるデータ活用の促進を実現
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、Pinterest社のエンジニアチームが紹介していた、実運用環境におけるText-to-SQLの構築方法に関する記事の紹介をします。 Text-to-SQLを実際の運用レベルで実現するための手法が解説されているので、その内容を解説、そして考察していきたいと思います。 なおこの手法には特に名前などは設定されていなかったので、以降Pinterest社の提案するText-to-SQLをPinterest Text-to-SQLと呼称します。 サマリー Pinterest Text-to-SQLは、RAGのシステムを最適化することで 検索に必要なTableのより正確な抽出 実際に使用されている値に準拠
SELECTしたキーとバリューを構造に持つJSON文字列がアウトプットされました。 JSON形式で返せるということは、イベントソースにAPI Gatewayを設定すれば簡単なWEB APIを作れるといっても過言ではありません。 これにより『SQLは書けるがプログラミング言語は利用できない』といった方でも簡単なLambda関数を作成できるようになり、求められるハードルがまた一つ低くなったのではないでしょうか。 なお、この記事が投稿されたのは4月1日であり、実際にはAWS LambdaにハンドラーをSQLで記述するといった機能は存在しません.......................... といったエイプリルフールネタを投稿したかった 昨年、2021年のエイプリルフールネタで『時代に即したMySQﾚの新機能：PLEASE句』というブログを拝見しました。 当時の私は上記ブログにとても関心を示し
GitHub - sqlc-dev/sqlc: Generate type-safe code from SQL
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWS、SQL文で機械学習のモデル作成、トレーニング、推測まで実行できる「Amazon Redshift ML」正式リリース
AWS、SQL文で機械学習のモデル作成、トレーニング、推測まで実行できる「Amazon Redshift ML」正式リリース Amazon Web Servicesは、データウェアハウス機能などを提供するAmazon Redshiftの新機能として、SQL文を記述することで機械学習のトレーニングから推測まで実行できる「Amazon Redshift ML」の正式リリースを発表しました。 一般に、機械学習のモデルを作成し、トレーニングを行い、それを基に推論を行うには、機械学習のために用意されたサービスの使い方を覚え、学習データをローディングするといった操作が必要です。 AWSにも機械学習のためのサービスとして「Amazon Sagemaker」があり、データの準備やラベル付け、特徴抽出、モデル作成や選択、トレーニングなどのさまざまな機能を利用可能です。 例えばデータウェアハウスに格納されたデ
主要なSaaSをまとめて抽象化し、SQLでデータを取得可能にするクラウドサービス「CData Connect」［PR］
主要なSaaSをまとめて抽象化し、SQLでデータを取得可能にするクラウドサービス「CData Connect」［PR］ 企業がITシステムの一部としてSaaSを採用することが当たり前になってきました。 例えば、顧客管理にSalesforce、マーケティング支援にMarketo、会計業務にMoneFowardクラウドなど、以前であればSIerなどに開発を依頼して時間をかけて導入しなければならなかったシステムが、いますぐに使い始められるクラウドサービス、いわゆるSaaS（Software as a Service）として多数提供されているのです。 企業で採用するSaaS の種類は増加を続けています。一方で、それらをデータ統合基盤や分析サービスなどといかに低コストかつ安定的に接続するかが、データ活用の新たな課題になろうとしています。 そのため、すでに世の中にはSaaS を統合して利用するためのク
Photo by Abo Ngalonkulu on UnsplashPeople tribe / Backend squad の @izumin5210 です。もう12月ですね。自分は Advent Calendar に登録しすぎて後悔するのが得意です。 この記事は Go3 Advent Calendar 2019 の4日目です。 TL;DRSQL のメトリクス・トレースを収集したいは driver.Driver をラップするのが常套手段コネクション取得までの待ち時間まで見たい場合は、DBStats を見るのがよさそうことの発端Wantedly では Application Performance Monitoring に New Relic を利用しています。New Relic APM には様々な機能が存在しますが、例えばエンドポイントごとに「どの処理でどれくらいの時間がかかっているか
GitHub - multiprocessio/dsq: Commandline tool for running SQL queries against JSON, CSV, Excel, Parquet, and more.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
SQLインジェクションは古典的な攻撃手法でありながら、今なお多くの被害が報告されている。機密情報や個人情報を扱うWebサイトの担当者は、SQLインジェクションに対して適切な対策を講じる責任を負っている。本記事では、SQLインジェクションに関連する被害事例を紹介しながら、その対策について解説する。 SQLインジェクションによる被害とは？ デジタル全盛の時代では、あらゆる情報システムにおいてデータベースが利用されている。会員制サイトやECサイト、投稿機能を有する、さまざまなWebサービスに至るまで、多くのWebサイトに組み込まれている。例えば、ECサイトであれば顧客情報、商品情報、注文情報といった機密性が高い情報がデータベースに格納されている。Webサイト上のデータベースの検索、読み出し、書き出しは多くの場合、SQLで記述されたプログラムで処理される。 SQLインジェクションとは、このSQLと
防衛省が5月17日に始めた、大規模接種センターの新型コロナワクチン接種予約システム。Twitterでは「架空の番号で予約できる」「接種期間外でも予約できる」など、仕様にさまざまな問題が指摘された。その中には「SQLインジェクション」という手法を使い、システムが使っているデータベースに不正アクセスできてしまう可能性がある、という指摘もあった。 SQLインジェクションとは、システムが想定しない「SQL文」を何らかの方法で実行させ、利用しているデータベースを不正に操作する手法を指す。SQL文は、データベースを操作するための命令文だ。 ネット上では、本当に試したかのように「SQLインジェクションが行えた」と報告する投稿もあった。一方で、こういった行為は不正アクセス禁止法に抵触するのではないか、という指摘も出ている。SQLインジェクションが可能かどうか試す行為は本当に犯罪に当たるのか。ネットセキュリ
何を言っているのかわからねーと思うが、ありのままを話すぜ 2020/09/12 追記 コメントにてSQLインジェクションの原因となる脆弱性をご指摘いただきました。 本記事はsprinf()でSQLクエリを作成する事を推奨するものではないとご理解をお願いします。 @tadsan様 ありがとうございます。 はじめに 現在私はPHP+MySQLでフルスクラッチ開発をしている会社で働いているのですが、 まだ、入社して1ヶ月ほどなので既存のコードを読むことがほとんどです。 弊社ではphpファイルの中でSQL文を生成する際に sprintf()を使用して、フォーマットを整えるようにしています。 （これがスタンダードなのかは不明） その中で、いまいちよくわからない記述を調べていくうちに 興味深いルールに出会いましたので、忘れないようQiita残しておきます。 sprintf()でSQLの曖昧検索クエリを
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
パスワードがペッパー付きハッシュ値で保存されているサイトのSQLインジェクションによる認証回避の練習問題解答 - Qiita
この記事は、以下の問題の想定正解です。まだ問題を読んでいない方は、先に問題を読んでください。 ペッパー(pepper)というのは、ハッシュ計算前のパスワードに付与する秘密かつ固定のソルトのことです。ペッパーの機密性が保たれている限り、ハッシュ値からパスワードを復元することも、パスワードのハッシュ値（アプリ側で受付られるもの）を計算することもできません。 また、この問題の先行問題の知識も必要ですので以下の記事（および問題）も読んでおいたほうがよいでしょう。 さて、このペッパー付きの問題も多くの方に記事を読んで頂き、また解答もいくつかいただきましてありがとうございます。 出題時の以下条件を満たす想定解答を2種類（細かく分けると3種類）紹介します。 できればブラックボックス（つまりソースコードやテーブル定義を見ない）で解く ペッパーは覗き見してはいけない sqlmap等のツールは使っても良い s
こんにちは、みかみです。 やりたいこと BigQuery では他のデータベースサービスと同等の SQL 構文がサポートされているのか確認したい BigQuery でサポートされていない SQL と同等の処理を行うにはどうすればよいか知りたい 前提 BigQuery の標準 SQL を対象とします。 標準 SQL への移行 ｜ BigQuery ドキュメント BigQueryにおける「標準SQL」と「レガシーSQL」の立ち位置について把握する ｜ Developers.IO また、SQL の検証には GCP 管理コンソール、bq コマンドまたは Python クライアントライブラリを使用しています。 bq コマンド、Python クライアントライブラリは、CLOUD SHELL から実行しました。 コマンドライン ツール リファレンス ｜ BigQuery ドキュメント Python Cli
はじめに こんにちは、タケと申します。 SQLの練習ができる学習サービス「SQLab」を作りました。 ※ PC専用です。 ※ 推奨ブラウザはGoogle Chromeです。 なぜ作ったの？ SQLを学び始めた当初は 「SQLってなんか難しそう」 というイメージでしたが、 練習問題を解いていく中で次第に自力でクエリを組み立てることが 「クイズみたいで楽しい」 と思うようになりました。 そこでもっと多くの練習問題を解いてみたい、もう少し難易度の高い練習問題を解きたいと思ったのですが、 ・無料でバリエーション豊かな多くの練習問題に取り組める ・環境構築不要でブラウザ上ですぐに実践できる ・シンプルで使いやすいUI ・ER図やデータベース値を参考にしながら自力でクエリを組み立てる必要がある の条件を揃えた学習サービスがなかったので作ることにしました。 どんな練習問題があるの？ 現在は5つの問題集が
業務で使えるかもしれない…！？GitHub Actions の Tips 集 / CI/CD Test Night #7
2019年5月23日、DMM.comとZOZOテクノロジーズによる合同勉強会「DMM x ZOZOを支える基盤技術」が開催されました。数多くのサービスを展開している2つの巨大プラットフォームは、どのようなインフラ基盤・運用によって支えられているのか？ 2社で活躍するエンジニアたちが、その舞台裏を明かします。プレゼンテーション「ZOZOTOWN HTTPS化におけるSREチームのアプローチ」に登壇したのは、株式会社ZOZOテクノロジーズ開発部、リプレースチームの鶴見純一氏と杉山弘二氏。講演資料はこちら Azure SQL Database 節約術 鶴見純一氏（以下、鶴見）：「ZOZOTOWN Azure SQL Database 節約術」ということで、鶴見と杉山の2名で発表します。 まず、自己紹介をさせてください。 ZOZOテクノロジーズの開発部リプレースチーム リーダーの鶴見と申します。
BigQuery のアーキテクチャの変遷を論文 Dremel: A Decade of Interactive SQL Analysis at Web Scale から読み解いてみた
はじめに皆様、こんにちは。Google Cloud Japan Customer Engineer Advent Calendar 2020 の 8 日目は 今年公開された BigQuery のリサーチペーパーを読んでみて個人的に興味があった点をまとめてみようと思います。2020 年で 10 周年を迎えた BigQuery の進化の過程が理解できるので皆様もお時間あればご一読を！ TL;DRこのホワイトペーパーは、Dremel （BigQuery のクエリエンジン） が採用している主要なアーキテクチャや考え方（これらのいくつかはクラウドネイティブなデータウェアハウスではトレンドとなりつつあります）がこの10 年間でどのような進化を経て現在の BigQuery になったのかを、Seattle Report on Database Research というレポート内で述べられている主要な 5
導入 SQL文でNULL値を扱う際の便利な関数、COALESCEを紹介しようと思います。 SELECT句で、NULL値を置き換えることで、データの可読性を高めることができたり。 ORDER BY句で、NULL値のソートの条件分岐の複雑性を吸収したり。 と、SQL文の簡略化にぴったりです。 今回の記事では、簡単にCOALESCE関数の説明と実践例を2つご紹介します。 COALESCEについて リストの最初の非 NULL 値を返します。非 NULL 値がない場合は、NULL を返します。 つまり、欠損値(NULL)にデフォルト値を指定することができます。 例 SELECT COALESCE(`office`.`locale`, `office`.name`, `リモート勤務`); 上記のクエリを例にすると...。 office.locale(オフィスの場所)を出力。 office.locale
昨年12月に Dataform の Google Cloud 加入が発表 されて以来, 関心を持って調べています. Dataform は BigQuery などのデータウェアハウス上で SQL を中心としたデータ変換パイプラインを構築するための仕組みです. 先日は Dataform で Google Analytics 4 の BigQuery Export データ を変換するパイプラインを作ってみたりもしました（GitHub: terashim/dataform-google-analytics-4-example）. Dataform は非常に強力なツールで, 簡単な SELECT 文を書けば CREATE TABLE 文や MERGE 文などデータ更新用のクエリを自動生成してくれます. しかし詳しく調べていくにつれて, より本格的なパイプラインを構築するにはやはり BigQuery
VSCodeの拡張機能としてJupyter NotebookをベースにJavaScript/Mermaid/SQLなど多言語対応にした「Polyglot Notebooks」が正式リリース
VSCodeの拡張機能としてJupyter NotebookをベースにJavaScript/Mermaid/SQLなど多言語対応にした「Polyglot Notebooks」が正式リリース Jupyter Notebookはシンプルなエディタ画面にPythonやScala、Rなどのコードを打ち込んですぐに実行できる、インタラクティブなコード実行環境で、特にデータサイエンティストなどで重宝されているツールです。 結果も同じNotebook上に表やグラフ形式で表示可能なのに加えて、Markdown/LateX/HTMLなどを記述することでリッチなテキスト表現と画像や動画の埋め込みなどもできます。 このJupyter Notebookをベースに、C#やF#、JavaScript、Mermaid、SQLなど、さらに多くのプログラミング言語やマークアップ言語への対応を行ったVisual Studio
名古屋大学は6月28日、情報システムに関する質問を受け付けるシステムが不正アクセスを受け、メールアドレス2086件が漏えいした可能性があると明らかにした。攻撃対象サーバの挙動を分析して内部情報を探る「ブラインドSQLインジェクション」を受けたとしている。 攻撃があったのは5月10、14、15日。システム内部には、質問者の連絡先メールアドレスが保存されていたが、悪用は確認されていないとしている。 データベースを不正に操作するSQLインジェクション攻撃の中でも、データベースの応答時間やステータスから間接的に情報を収集するブラインドSQLインジェクションという攻撃手法で不正アクセスされたとしている。脆弱性は修正済み。 今後は、WAF（Webアプリケーション用ファイアウォール）の導入を検討するとともに、サーバ管理や情報セキュリティに関する教育研修を強化して意識向上を図るとしている。 関連記事 矢野
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Some SQL Tricks of an Application DBA
SQLたったの2行で機械学習！BigQuery MLを用いたコロナ分析 - Qiita
第4回 NoSQLとSQLの使いどころを知ろう | gihyo.jp
SQL で Matrix Factorization を実装しました - TVer Tech Blog
モダンなSQLクライアントソフト「DBeaver」の紹介
SQLの練習ができる学習サービス | SQLab
世界中で攻撃を受けるMicrosoft SQL Server、パスワードの見直しを
Distributed SQL vs. NewSQL | YugabyteDB
なかなか撲滅できないSQLインジェクション、その原理と対策を知る【伏石ちゃんは意図に反したい】
Go で SSH 超しに PostgreSQL に接続できる database/sql ドライバを作った。
データ分析者がSQLを書かなくてもいい時代に。"SQLビルダー"機能でデータ活用シーンに革新を。
Pinterest社で運用されているText-to-SQLを理解する
せや、AWS LambdaのハンドラをSQLにしたろ
`*sql.DB` を観察する #golang | Wantedly Engineer Blog
SQLインジェクションによる攻撃の被害事例と5つの防止策
ワクチン予約システムで話題の「SQLインジェクション」って何？ 試すと法律違反？ 専門家に聞く
sprintf()でSQL文を生成する際、%は%でエスケープできる - Qiita
sqlglot/posts/sql_diff.md at main · tobymao/sqlglot
BigQuery で実行できる SQL と実行できない SQL | DevelopersIO
SQLの練習ができる学習サービス「SQLab」を作ってみた - Qiita
SQLを活用したデータ分析におけるChatGPTの活用法
セールのときだけスケールアップさせたい––ZOZOTOWNのAzure SQL Databaseコスト節約術 Part1
【SQL】NULL値を制御/SQLマスターへの道「COALESCE」 - Qiita
BigQuery 上でデータ変換パイプラインを構築するための SQL の書き方 | terashim.com
名古屋大学に不正アクセス 「ブラインドSQLインジェクション」攻撃でメアド2086件漏えいか