MySQL 5.7 の全文検索で不正確な郵便番号に立ち向かう - Qiita
OPENLOGI Advent Calendar 2017- Qiita の6日目の記事です。 「物流の未来を、動かす。」をミッションに、日夜物流の課題に取り組んでいるOPENLOGIのエンジニアの@hmarui66です。 今回は皆さんにも身近な存在である「郵便番号」を取り上げようと思います。 OPENLOGIが取り組んでいる事業の一つである物流代行サービスでは、ECなどで販売された商品を購入者に向けて宅配便で発送する業務がおこなわれています。郵便番号はこの宅配において重要な役割を果たしている存在です。 郵便番号の役割 Wikipedia: 郵便番号に詳しい説明が載っていますので、ここでは軽く触れるだけにします。 郵便番号は郵便物を配送先の地域ごとに分類するために使われており、配送の効率を上げるために役立てられています。番号を割り振っているのは郵便局ですが、その他の配送業者でも広く利用され
MySQL 5.7のngramパーサーはアルファベットを含む文章を上手くトークナイズできない
MySQL Bugs: #82330: Don't recursively-evaluate stopword after tokenize ngramパーサー を使ってアルファベット混じりの日本語全文検索をしようとすると悲劇が起こる。デフォルトのストップワード一覧は このへん 。 MySQL 5.7.13で全文検索INDEXを使ってるんですけど半角英字でヒットする奴とヒットしないやつが居るんですけどこれって何ででしょう… ちなみに NGRAMを2文字 です。 例えばbabyって単語が含まれてる文章でbabyって単語がヒットしません。 stop wordsには含まれてないんですがなんでだろうと… http://mysql-casual.slackarchive.io/general/-/1466580139/1469433820/1469174336000008/ mysql57> CRE
MySQLのN-gramを使った全文検索について調べてみました | Simple is Beautiful.
今回MySQL5.7.22を用いて検証しています。 初期設定 データベース作成 mysql> CREATE DATABASE fts; Query OK, 1 row affected (0.00 sec) mysql> use fts; Database changed テーブル作成 テーブル作成時に全文検索をするカラムの型をFULLTEXTにし、パーサーにngramを指定します。 mysql> CREATE TABLE documents (id SERIAL PRIMARY KEY, content VARCHAR(255), FULLTEXT(content) WITH PARSER ngram) CHARACTER SET utf8; Query OK, 0 rows affected (0.10 sec) レコード挿入 レコードの挿入は通常の文字列同様に入れられます。 mysq
MySQL InnoDB の全文検索機能をサクッと試してみました
こんにちは、GMOアドマーケティングのK.Mです。 最近は久しぶりにMySQLを使ってます。 そういえばMySQLといえば、バージョン5.7からInnoDBの全文検索機能に日本語パーサーが搭載されとても使いやすくなったと聞いていたので、本日はそれを試してみたいと思います。 以前はサービスで本格的な全文検索をやりたいと思ったら、Elasticsearchなど専用の全文検索エンジンを立てたりとミドルウェア構成が一段リッチになるような印象もありましたが、もう少しお手軽に、既存RDBMSからSELECTしてくるくらいのイメージでスモールスタートしたいようなケースも結構ありそうです。 そういったときに検討できる一つの選択肢になるんじゃないかと思っています。 既存テーブルを検索してみます MySQL5.7から日本語パーサーとしてN-gramとMeCabが使えます。特にN-gramの場合、デフォルトで有
Prepare MySQL for a Safe Shutdown
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
mysqlをdisる会 - Qiita
はじめに やあ （´・ω・｀) ようこそ、バーボンハウスへ。 このmysqlはサービスだから、まずsystemctl start mysqld して落ち着いて欲しい。 うん、「また」なんだ。済まない。 仏の顔もって言うしね、謝って許してもらおうとも思っていない。 でも、このタイトルを見たとき、君は、きっと言葉では言い表せない 「ときめき」みたいなものを感じてくれたと思う。 殺伐とした世の中で、そういう気持ちを忘れないで欲しい そう思って、この記事をかいたんだ じゃあ、注文を聞こうか。 というわけでmysqlをdisります。disるだけなので内容はありません。いいね？ mysql には罠がいっぱい そうなんですよ罠がいっぱいなんですよ奥さん。 いやこれはおそらくmysqlに限った話ではないんですけど例えばこういうの！ MySQLのチューニングなんてしたらパフォーマンス落ちるだけだし、デフォル
MySQLのVARCHARについて調べ直してみた | kanonjiのブログ
MySQLにはストレージエンジンがいくつかあるので、その辺はちょっとごっちゃになってると思います。InnoDBかMyISAMかで、少し話が違ってくるとは思うけど、そこまでは追えてません。 VARCHAR(n)は文字数 昔はバイト数だったような気もするけど、今は文字数を設定します。 VARCHAR(255)で良いと思う CHAR とは対照的に、VARCHAR 値は必要な文字数と、長さを記録する為の1バイト(255よりも長いカラムは2バイト)だけを利用して格納できます。 http://dev.mysql.com/doc/refman/5.1/ja/char.html VARCHARは可変長なので、余分に設定してもストレージを無駄に食う事は無いと思います。ただVARCHAR(256)以上は、長さの記録が1バイト増えるみたいなので、特に理由が無ければVARCHAR(255)に設定しておくのが良い
[MySQL] テキストにはVARCHAR型と?TEXT型のどちらを使うべきか？ | プログラマの雑記帳
MySQLのテキスト型にはVARCHARと?TEXT(TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT)がある。長さの制限が違うだけで、どれを使ってもテキストを格納できるが、それぞれ特性は違うのだろう。プログラミングを実践する上でどのテキスト型を使うのが適切なのか判断できるように、これらの違いについてきちんと理解しておきたい。 ざっくりググってみると、テキスト型の違いを論じているページがいろいろ見つかる。 Takahiko HORIUCHI – Google+ – RDBMS に MySQL を採用したシステムで、VARCHAR の代わりに TEXT… https://plus.google.com/113405959631093302363/posts/E4tDXucskqb VARCHAR と ?TEXT の違い – ngの日記 http://ngyuki.hat
MySQL の VARCHAR と TEXT
RDBMS に MySQL を採用したシステムで、VARCHAR の代わりに TEXT を頻用するプロジェクトがあった。そんなに昔の話ではない。つい最近作られたシステムだ。 VARCHAR も TEXT も可変長文字列を格納する型で、アプリケーションから見るとあまり違いがない。どちらも SQL で同じように扱える。しかし、こんな場合は VARCHAR を使うのが当然じゃないか。わざわざ TEXT を使う理由がない。そう思ったのだが、調べてみると意外に複雑な問題であった。 使う SQL はほとんど同じでも、VARCHAR と TEXT の MySQL 内部における扱いは、だいぶ異なる。InnoDB の場合は、長い VARCHAR は自動的に TEXT と同じように扱われる。MyISAM の場合、VARCHAR は行の中にインラインで保管されるが、TEXT は別オブジェクトとして格納される。従
Stop using PHPMyAdmin – Dracony
It makes me cringe every time I see developers use PHPMyAdmin to administer their databases, even more if its a local database. This is a relic from the old times when people used it with their remote servers since desktop applications did not provide remote access functionality yet. Here are just a few things you have to consider if you still rely on it in your development stack: Running PHPmyAdm
誰もが一度は陥る日付処理。各種プログラミング言語におけるDateTime型/TimeStamp型の変換方法のまとめ - Y's note
日付型の変換処理 Date/Timestamp変換のまとめ - Yuta.Kikuchiの日記 10言語のプログラミング言語に対してそこそこの知識を保有している@yutakikucです。いろんなプログラミング言語を使用していると文法を覚えるのは大変ですよね。PHP書いている途中からJavaScriptの文法を誤って書き始めたり... それぞれの言語の文法の違いを事細かく覚える事は無理に近いです。今日はそんな各種言語仕様の記述で難解なDateTime/TimeStampについて紹介したいと思います。扱うのはWeb系のメジャープログラミング言語のSQL/C++/Java/JavaScript/Perl/PHP/Python/Rubyになります。Mysqlからデータを取り出した後や、WebAPIから取得したデータを表示用の日付フォーマットに変換する事があると思うのでそこで利用できる知識になるかと
MySQLのメモリ設定の勘所 – sawara.me
MySQLサーバーをダウンさせた夜は数知れず。 その度にmy.cnfの設定を見なおしてみてはトライし、治ったと思いきや突然のダウン。 サーバーがダウンしてしまう原因は何かと聞かれれば、「メモリです」と断言しましょう。 メモリ設定は諸刃の剣。 パフォーマンスを最大に引き出すこともできればそれと引き換えにサーバーをダウンさせてしまうこともできるんです。 今回はMySQLのメモリの設定の勘所というかたちで紹介しようと思います。 グローバルバッファとスレッドバッファ メモリの設定についてまず「グローバルバッファ」と「スレッドバッファ」について理解しておくことが大事です。バッファとは一時的な記憶領域・つまりはメモリの領域のことなのですが。 グローバルバッファ MySQLで使用する全体的なメモリ使用量を計算するには グローバルバッファ + (スレッドバッファ × コネクション数) = メモリ使用量 と
『【チャレンジ精神】Chrome MySQL Adminを試す。』
朝一でG+を眺めていると、 こんなニュースが流れてきた。 "Chrome MySQL Adminの新しいバージョンが今日リリースされたことを報告します。こ のバージョンでは、SSH2 Port Forwardingを使った接続ができるようになりました！公 開鍵での認証も近いバージョンでサポートできたらと思っています" 斜体で訳っぽくなってるけど日本語で流れてきた ChromeからMySQLが触れるのだろうか。 だとしたら結構楽だ。 だって、 phpMyAdminをこそこそ準備したり しなくてよくなる。 しかも無料。 俺が作るとしたら相当な金額になると思うのに。 早速試してみる。 Chromeを起動して ウェブストアを開く (当方環境はCanary) 追加されたらしい。 アプリを開いてみる。 追加されとる。 早速起動して接続先情報を入力。 いざ、TestConnection!! 失敗しとる。
Called angel and kaiser » MySQL Console Chrome application has been released!
Today, I have released a new Chrome app named “MySQL Console”. If you’re using Chrome Web browser, you can install this application from the following URL: MySQL Console – Chrome WebStore Basically, you’ll use “mysql” command to execute queries and retrieve the result from/to MySQL server in development. In order to use the mysql command, you need to install MySQL server to your PC, or need to log
FacebookやGoogle、「WebScaleSQL」をオープンソースで公開
オープンソースデータベース「MySQL」を大規模システムで利用しているFacebook、Google、Twitter、LinkedInが直面する共通の問題を解決する目的で開発中のブランチ「WebScaleSQL」をGitHubで公開した。 米Facebookは3月27日（現地時間）、米Google、米Twitter、米LinkedInと協力し、オープンソースのデータベース「MySQL」のブランチ「WebScaleSQL」をGitHubで公開したと発表した。ライセンスはGNU General Public License Ver.2。 WebScaleSQLは、MySQLを大規模なシステムで使う4社が直面する共通の問題を解決する目的で共同開発したデータベースで、MySQLに大規模な環境への導入に特化した機能を追加したものという。 関連記事 Facebook、新プログラミング言語「Hack」を
PHP＆MySQLな電話のトラッキングOSS「Opencall」:phpspot開発日誌
Opencall - Open Source Call Tracking Software PHP＆MySQLな電話のトラッキングOSS「Opencall」。 plivoという電話番号を作れるサービスと連動させて、かかってきた電話の録音や統計を取ってWEB上で表示できてしまうというもの。 plivoの日本での料金はこちら。 キャプチャを見ると電話のかかってきた時間がWEBサイトのアクセスログのように表示されたりして、使うか使わないかは別にして面白そう。 こういうことが出来るんだ、ということを知っておいてもよさそうです。 関連エントリ モダンなブログサイトが作れるデータベース不要のPHP製OSS「Dropplets」 PHP,Ruby,JS,HTML,CSSをブラウザ上で開発できるオープンソースIDEエディタ「ICEcoder」
MySQLで階層化されたデータを扱う（再帰的に検索しないで済む方法） - on the center line.
Oracleの場合は、Start With〜Connect By Prior〜というSQLで階層化されたデータを取り扱うことができます。では、MySQLではどうか？下記のサイトでしっかり解説してありました。 Managing Hierarchical Data in MySQL 階層化されたデータをMySQLで扱う（上記の日本語訳） 要約すると、 階層化データを扱うには、Adjacency List モデルとネストセットモデルの２つがある Adjacency List モデルは直感的でわかりやすい。更新も簡単。 しかし、Adjacency List モデルで表されたデータを検索するのはやや面倒（MySQLでは。） 一方、ネストセットモデルで表されたデータは検索しやすい しかし、ネストセットモデルは更新が面倒 といったところです。どちらの方法にもそれぞれメリット・デメリットがありますが、Ad
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL の FULLTEXT インデックスを MATCH AGAINST で全文検索をする方法まとめ
LIKE検索より50倍速い！？MySQLでラクラク高速な日本語全文検索 - bitA Tech Blog
文字コードに関する設定を記述する
