お知らせ 本記事をベースに新しい記事を公開しました。 PostgreSQL インデックス肥大化とインデックスコストへの影響（再モデル化） - ぱと隊長日誌 新しい記事ではインデックスコストモデルの正確性を向上させました。 新しい記事を参照いただけますと幸いです。 概要 PostgreSQL のインデックスサイズは一度大きくなると、その後小さくなるタイミングが限られています。 「［改訂新版］内部構造から学ぶPostgreSQL-設計・運用計画の鉄則」でインデックスファイルサイズが小さくなるのは以下のタイミングとしています。 DROP INDEX でインデックス自体を削除した場合 TRUNCATE TABLE でテーブル全体を空にした場合 REINDEX でインデックスを再構成した場合 [改訂新版]内部構造から学ぶPostgreSQL 設計・運用計画の鉄則 (Software Design p
こんにちは、らくからちゃです。 年明けに「今年はつみたてNISA（＋埋まらなかった分は高配当株ないしETF）に移行するぞー」と決めてから、制度開始以来久々に対象投資信託リストを真面目に眺めてみましたが、思った以上に選択肢が少ないもんですね。 NISAには、ハイイールド債だのSPXLだのグロ３だの胡散臭さ満点の銘柄を突っ込み、一喜一憂しながら楽しんでいましたが、もう少し教科書的なポートフォリオを目指して頑張ります。とりあえずeMaxisか、たわらでも買っておくかな。 さてさて株式相場と言えば、年初からダウ・S&P500・NASDAQの主要３指数揃って最高値を更新するなど随分と景気の良い状態が続いています。 www.nikkei.com こういう状況になると擡げてくるのが「いま株式インデックスを買うのは適切なのかどうか？」という話題ですね。 言い換えれば、いま株式インデックスは買い時なのかって
モバイルファーストインデックスの技術ドキュメントをGoogleが刷新、準備編からベストプラクティス編へ
[レベル: 中級] モバイル ファースト インデックス対応を説明する技術ドキュメントを Google は大幅に更新しました。 この記事ではその変更点の概要を紹介します。 なお、記事を公開している時点では更新されているのは英語版ページです。 日本語版ページはまだ更新されていません。 MFI 技術ドキュメントの変更点概要 まず、ドキュメントのタイトルが変わりました。 旧: Prepare for mobile-first indexing 新: Mobile-first indexing best practices 「モバイル ファースト インデックスに向けて準備する」が「モバイル ファースト インデックスのベストプラクティス」になりました。 MFI への移行が完了したサイトが増えたので “Prepare”（準備）という表現がそぐわなくなってきたからかもしれません。 準備編からベストプラクテ
機械学習やデータ分析には、収集したデータを使いやすい形に整える前処理が不可欠です。その際によく利用されるのがPythonのライブラリ「pandas」。今回は『現場で使える！pandasデータ前処理入門』（翔泳社）より、pandasの最も基本的なデータ構造であるシリーズの概要と操作方法について抜粋して紹介します。 本記事は『現場で使える！pandasデータ前処理入門 機械学習・データサイエンスで役立つ前処理手法』の「CHAPTER 2 pandasのデータ構造」より「2.1 シリーズ」を抜粋したものです。掲載にあたり一部を編集しています。 2.1.1 シリーズの概要 シリーズはインデックス付けされた複数のデータ型（int、str、float等）を持つことが可能な1次元配列のオブジェクトです。 インデックスとはデータに対して付与されるラベルです。データの参照や様々な処理で使われます。インデック
インデックス投資で稼ぐ方法まとめ【年80万円を稼ぎ出そう】 | 年平均80万円のリターンを稼ぎ出そう！ 浦上歩が教えるほったらかし投資術
このブログに来てくれた方は 投資って本当に儲かるの？ どうやったら投資で稼げるのか教えて欲しい 何を買えば儲けられるかか知りたい 投資の始め方がわからない もう投資を始めてるけどホントにこれでいいか不安 なんて疑問や悩みがあるかと思います。 その投資の中でも浦上はインデックス投資をおすすめします。 特に、インデックス投資は投資初心者にオススメ。 簡単で安心なのに資産が増えていきます。 年80万円を稼ぎ出すことも可能です。 これまでインデックス投資の記事をいくつも書きました。 この記事ではインデックス投資で稼ぐための知識をまとめています。 このあとに紹介している順に記事を読めば、 インデックス投資は どんな投資法か どうして利益が出るのか どうやって始めるのか どうやって運用していくか 何に注意して運用すべきか どうやって売るか ということが分かります。 特に初心者の方は前から順に記事を読ん
はてなブログ、そろそろ駄目かもしれんね…って話。新規記事を更新から10日以上経過しても、Googleにインデックスされません。 - SONOTA
先日、はてなブログを更新してもなかなかGoogleインデックスされない旨を記事に書いた私。 はてなブログで新着記事を書いても、Googleにインデックスされない問題について。サイトマップ送信してもSNS投稿しても登録されません。 このときは幸い（？）にして3日程度で新規記事がGoogleにインデックスされたわけですが、その後の更新したこちらの記事はなんと、公開から10日間が経過した今もインデックスされていないんですよね。 さすがにこれじゃサイト運営は厳しいといわざるを得ません。 はてなブログがGoogleインデックスされない問題： クローラーはちゃんと来ている： サイト運営はこれじゃ難しい： はてなブログがGoogleインデックスされない問題： クローラーはちゃんと来ている： では、Googleのクローラーが来てくれないからインデックスされないのか…というと、どうやらそうでもないようで、1
ブログ開設２周年 ありがとうございます！ アクセス数と読者数 Googleからの検索流入 Googleサーチコンソールのインデックス数 ブログ開設２年での収益 ブログ２年でのドメインパワー 最後に ブログ開設２周年 ありがとうございます！ 当ブログ「育児猫の育児日記」を開設したのは、２０２１年９月１日のこと。 今日から３年目に突入することとなりました。 ここまで忙しい夏休みや冬休みも、具合が悪くて寝込んだ時も、なんとか毎日更新を続けることが出来たのは、たいしたこと書いていないブログにもかかわらず、足を運んでくださる皆様のおかげです。 当ブログを読んでくださった、すべての方に感謝申し上げます。 コメントやブッコメには、本当に励まされます。 至らない点はありますが、今後ともよろしくお願いいたしますね～ ランキング参加中育児・子育て ランキング参加中家族 あと↑こんなのとか押してもらえるとテンシ
[レベル: 上級] Dynamic Rendering（ダイナミック レンダリング）は、JavaScript で生成されるコンテンツを確実にインデックスさせるために利用できる仕組みです。 しかし、一時的な回避策としてみなしたほうがいいでしょう。 数年後には必要性が薄れているかもしれません。 最終的には、Server-side Rendering（サーバー サイド レンダリング）の実装が望まれます。 ダイナミックレンダリングよりも SSR JavaScript が関わってくるコンテンツのインデックスに特に問題を感じていないのであれば、Googlebot のレンダリング（正確には、Web Rendering Service）に任せて構いません。 特別な構成は不要です。 しかしながら、Googlebot が実行できない JavaScript を使っていたりインデックスされるまでに時間がかかりすぎ
Passage IndexingをGoogleが導入。ページ内の特定の部分だけをランキングの対象に。検索結果の 7 %に影響。
[レベル: 中級] 一般的に言って、ページ全体を Google はインデックスしてクエリに対する関連性を評価します。 しかし、ページの中の特定の一部分だけを対象にして関連性を評価できるように検索システムを変更します。 検索のさまざまな新機能を紹介する Search On 2020 というイベントを 10 月 15 日に Google はオンラインで開催しました。 このイベントのなかで発表された機能の 1 つです。 限定したクエリに対応する Passage-Based Indexing ページの特定の部分だけを評価対象にする仕組みのことを Google は “Passage-Based Indexing” と表現しています。 “Passage” は、一節の意味です。 ここでは、一文とか一段落と置き換えてかまいません。 非常に限定的なニッチなクエリでユーザーが検索したとき、そのクエリに対して最
D. M. です。今回は新人研修で扱う DB のパフォーマンスチューニングについてのお話です。 この記事を書こうと思ったキッカケ 私はここ数年新人やインターンの学生のメンターをよく担当しているのですが、学生と会社員エンジニアの間にはデータベース（ RDB ）の知見に大きな溝があると感じています。 研修で「とりあえずサービスを作ってみよう！」という課題を出すと、最近の新卒の方は平均的なレベルが高く、いいアイディアでさらっと Web サイトを立ち上げることができます。 ただそのサイトが毎日 100 万人が使うことを想定して充分なチューニングができる人は新人段階ではほんのわずかです。毎回同じようなことを指摘するのですが、特に多いのが DB 関連です。多くの方が DB の経験がほとんどなくあまり扱えないのです。コンピュータサイエンス専攻出身の方はプログラミングスキルをはじめとした技術的な知見を持っ
PostgreSQLの行レベルセキュリティ(RLS)が実行計画に与える影響を確認してみた | DevelopersIO
マルチテナントなECサイトの注文データをイメージしています。tenant_nameのカラムにテナント名が入り、このカラムとDBユーザーの一致を行セキュリティポリシーよってチェックするようなイメージです。 テストデータ等の準備 それでは検証環境を準備していきましょう。今回の検証にはPostgreSQLバージョン11.11を利用しています。 まずはテーブルを作成 CREATE TABLE orders ( id SERIAL PRIMARY KEY, tenant_name text, product_code text, order_date timestamp ); CREATE TABLE 続いてマルチテナント用のDBユーザーを作成 CREATE ROLE user01 LOGIN; CREATE ROLE CREATE SCHEMA "saas"; CREATE SCHEMA GRAN
松井証券はA級IPO取扱いが増え、当選者をネットで見かけるようになりました。 私も過去に何度か松井証券で当選を頂いたことがあります。 資金が少ない頃でしたので本当に【続きを読む】
MySQL 5.7とそれ以前では、テーブルの結合を実施する際に、INNER JOINの場合はSTRAIGHT_JOINを利用し結合することで、テーブルのなかで先に読み取りを行うテーブルを決めることができました。最新バージョンのMySQL 8.0からは、Join-Order オプティマイザヒント句を用いてJOINする順番を決めることができるようになりました。 今回は、従来のSTRAIGHT_JOINとJoin-Order オプティマイザヒント句の使い方を確認していきたいとおもいます。なお、使用しているMySQLは8.0.15,OSはCentOS7を利用しています。 STRAIGHT_JOIN STRAIGHT_JOINは、JOINを行う際に対象のテーブルの駆動表を固定したいときに使われる構文です。STRAIGHT_JOINを用いてJOINを行うと、先に出てきたテーブルを駆動表として扱い、IN
2013年から始まったJuly Tech Festaは、ITエンジニアに情報交換と人脈構築の場を提供するとともに、ITに係るエンジニアの知的興味を満足させるための祭典です。セッション内容はIoT、AI、機械学習、クラウド最新事情、コンテナ技術、DevOpsなど多岐に渡ります。橋本氏は、データベースにおけるインデックスについて発表をしました。 自分自身が「今さら聞けない」と思っているインデックスについて発表 橋本拓弥氏：では私、橋本から「結局インデックスってなんなんですか？」というお話をしようと思います。お願いします。 簡単に自己紹介だけさせてください。橋本と申します。株式会社サーバーワークスという、AWSのインテグレーションをやっているSI企業に所属してます。ロールは今Corporate Engineerです。 ふだんの業務ではこんな感じのことを触っています。業務フローとか、コーポレート的
SQLのJOINには3種類のアルゴリズムあるということを最近知ったのでまとめてみる。 JOINのアルゴリズム Nested Loop Sort/Merge Hash 基本知識 DBMSごとの実装状況 Oracle 3種類全部 MySQL Nested Loopのみ PostgreSQL 3種類全部 外部表(駆動表)と内部表 外部表(駆動表) JOINするときのベースになる表。以下のSQLでいえば、table1 内部表 外部表にくっつける表。以下のSQLでいえば、table2 特徴 Nested Loop Join 外部表にある全行に対して、内部表から結合キー列の値がマッチするものを探して結合する 上記に関連して、外部表にあるレコードが少ないほうがループ数を少なくできるため高速にできる 内部表の結合キー列にインデックスがある場合、インデックスを用いて検索できるため高速に処理できる Sort
![[SQL]JOINの3種類のアルゴリズムについて](https://cdn-ak-scissors.b.st-hatena.com/image/square/584c3d5d6610b3cf7bb2d1c5109eb598fde56373/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--lpDahPPq--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BSQL%25255DJOIN%2525E3%252581%2525AE3%2525E7%2525A8%2525AE%2525E9%2525A1%25259E%2525E3%252581%2525AE%2525E3%252582%2525A2%2525E3%252583%2525AB%2525E3%252582%2525B4%2525E3%252583%2525AA%2525E3%252582%2525BA%2525E3%252583%2525A0%2525E3%252581%2525AB%2525E3%252581%2525A4%2525E3%252581%252584%2525E3%252581%2525A6%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%2525B6%2525E3%252582%25258B%2525E3%252583%2525BC%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2ExYjQxNmE0NzYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
はじめに なぜカスタムURLにすべきなのか Googleにインデックスされないリスクがある 記事のリライトが楽 ブログ分析で困まる 記事URL変更のリスク 旧記事URL→新記事URLの自動転送はできる？ 自動転送と404 Not Foundの対応方法 事前準備 自動転送のコード 第一部（自動転送）の構成 第二部（お詫びと別記事表示）の構成 使用方法 お詫びの表示サンプル まとめ ♡いいねはこちら 2020/05/06追記 はじめに はてなブログを始めて約26カ月（2年弱）が経過しましたが、ブログ運営で今一番気になっていることがあります。 それは何か分かりますか。 記事が少ない ・・・まったく思ってません はてブが少ない ・・・少し思ってます アドセンス収益が少ない ・・・今はしかたないと思ってます 読者数が少ない ・・・あまり思ってません アクセスが少ない ・・・多少気にしてます 独自ドメ
世の中のWebサービスの中には、抽選応募や割引クーポンのように、ユーザー獲得を狙ったり、オフラインとオンラインを結びつけたり、マーケティングの施策がいくつかあります。 本の付録に特典コードが付いており、購入者のみがWeb診断テストを受けることができるオンラインショッピングで買い物をすると、次回使える割引クーポンがメールで送られる商品のラベルやレシートに抽選IDが付いており、Webからプレゼントの抽選応募ができる 運営側の立場からすると、上記のようなクーポンコードやアクティベーションのためのアクティベートコードなど、ユニークでランダムな文字列を使って管理することがあると思います。 C6nwEPaQ 例えば上記のような文字列ですね。 このような文字列リストを生成したいとなった場合、ランダムに文字を繋ぎ合わせて、重複のない文字列を発行するプログラムを組むことで実現できるでしょう。 また、Webサ
☆ランキング参加中☆ にほんブログ村 #ライフスタイル 【Google検索人気ページ】 hatch51.com hatch51.com 証拠画像 サチコからの警告(Core Web Vitals) こんばんわ、皆さん。読者の方が、朝一の爽やかな天気の時間帯にこれを読んだとしても、挨拶はこんばんわでお願いね。そのくらい、暗く凹んでいるってことだよ。やぁ、やられたよー、基本的に放置プレイの不思議ちゃんことHatenaブログさんが、珍しく新企画「グループランキング」を提案してきたものだから、素直な僕は早速応じたのだった（が失敗だったかもしれない）。２月第4週の話だよ。詳細は前回サチコリンクを見てくれたまえ。 前回サチコリンク hatch51.com 新企画だから、仕方ないと言えばそれまでかもしれないが、僕を取り巻く、ネット・マーケティング女子連のサチコ・アド・不思議ちゃんの関係性に、またもや、暗
インデックスとは？仕組みをわかりやすく解説
データベースにおけるインデックスとは、目的のレコードを効率よく取得するための「索引」のことです。テーブル内の特定の列を識別できる値（キー値）と、キー値によって特定された列のデータが格納されている位置を示すポインタで構成されています。インデックスを参照することで目的のデータが格納されている位置に直接アクセスすることができ、検索を高速化することができます。 テーブルのある行へのアクセスを集合住宅での荷物の配達に例えると、インデックスの有無は以下のように表現することができます。 ・インデックス無 集合住宅を歩き回り、各戸の表札を見て配達先かどうか確かめる ・インデックス有 住民の情報が書かれた見取り図で配達先を確認して向かう インデックスの効果は以下のような特徴を持つ表で特に現れやすいです。 ・行数が多い ・検索対象の項目に値の重複、偏りが少ない ・表の更新・追加・削除が少ない 一方以下のような
TechCrunch
NASA is kicking off a formal environmental assessment of its facilities on Wallops Island, Virginia, to increase the number of authorized rocket launches at the site by almost 200%, according to slide
MySQLのインデックスの使い方について、サンプルSQLを紹介しながらまとめています。 以下、データベースとして、MySQLのサンプルデータベースEmployeesを使っています。SQL実行結果の表示にはphpMyAdminを使用しています。 MySQLのインデックス作成の構文は以下のとおりです。 ALTER TABLE employees ADD INDEX `birth_date_index` (`birth_date`); 上記のSQLは、employees（社員）テーブルのbirth_date（誕生日）カラムにbirth_date_indexという名前でインデックスを設定します。 適切にインデックスを設定することによって、テーブルの検索やソートのスピードが速くなります。 SELECT first_name, last_name, birth_date FROM employees
エンジニアの小張です。多くのデータを扱うアプリケーションにとって、ユーザーが求めるデータを返すまでの速さは生命線とも言えます。 試行錯誤を重ねデータの蓄積量が増えれば増えるほど、アプリケーションが使いづらくなってしまったら、悲しいですよね。。。 今回はそんなレスポンス速度向上に必須の知識であるインデックスについて、構造からおさらいしていきたいと思います。 インデックスとは、 データベース上でのSELECT、WHEREなどの操作による データの集計・検索の高速化に貢献する技術の1つです。 ここでは、MySQLで使用されるInnoDBのインデックスについて説明します。 B+木(B+Tree)について MySQLのInnoDBエンジンで使われるインデックスは、B+木というデータ構造で実装されています。 InnoDBのインデックスは、以下の種類があります。 クラスタインデックス セカンダリインデッ
こんにちは、あおいです。 最近、弊社でAWS資格取得カーニバルが開催されそうなので、AWS認定資格のAssociateを勉強します。 さて、DBのパフォーマンスチューニングでインデックスの作成は非常に重要です。 とは言え、自分も最初はインデックスの構造について深く理解していなかったので、改めて調査と実践を繰り返しました。 そこで、今回はSQL Serverのインデックスの仕組みについて紹介しようと思います。 インデックスとは テーブルへの検索処理を高速化するための索引です。 国語辞典で例えると、五十音索引を使って特定のページに載っている単語を探します。 しかし、一定の規則に沿った索引がなければ全ページを順番に調べる必要があるので、検索に非常に時間がかかります。 インデックスを使用しない検索 大量のデータを順番に検索して、該当のデータを探します。 線形探索で計算量はO（n）となるので、最悪、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQL のインデックス肥大化と実行計画のコストへの影響 - ぱと隊長日誌
インデックスの買い時とドルコスト平均法について - ゆとりずむ
データ分析の前処理を行えるPythonライブラリ「pandas」、最も基本的なデータ構造「シリーズ」を解説
ブログ開設２周年！！ ２年雑記を毎日更新したらいろんな数値がどうなるの？ - 育児猫の育児日記
ダイナミックレンダリングは一時的な回避策、最終的にはSSRの実装を
新人研修でマスターするDBのパフォーマンスチューニング - GMOインターネットグループ グループ研究開発本部
米国株・インデックス・積立ニーサへ2000万円投資！【毎日更新】 | あかぱんのIPO&優待投資日記
第97回 JOIN_ORDERを使ってJOINの順番を決める | gihyo.jp
雑なクエリやインデックスは意味がない 原理を理解してB−Treeインデックスを正しく利用する
[SQL]JOINの3種類のアルゴリズムについて
【悲報】ブログの自動生成URLは便利だが、後で地獄を見るかも知れない。 - after work Labo
サーバー負荷を減らすための簡易的クーポンコード発行とチェック機構のつくり方
凹むね～2 サチコとの関係性の暴露その陸20230305 - ハッチsunのブログ
MySQLのインデックス作成方法 効いてないと思ったらexplainで確認する | ポテパンスタイル
【MySQL】InnoDBのインデックス
SQL Serverのインデックスの仕組みを理解する