AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
SQLデータベースに正しインデックスを作るのは 誰の役割？
SQLのパフォーマンス問題は、SQLそのものと同じぐらいの歴史がある―― ある人は、SQLはそもそも遅いものだとすら言うかもしれません。これは、SQLの歴史が始まった頃は正しかったかもしれませんが、今となっては全く 当てはまらないでしょう。にもかかわらず、SQLのパフォーマンス問題は今も一般的でよくあることです。どうしてそうなってしまうのでしょうか？ SQL言語は、恐らく最も成功した第4世代言語(4GL)でしょう。その最大の利点は、「何を」と「どのように」 を分離できることです。SQL文は、どのようにそれを実行するかを記述せずに、単純に 何を必要としているかのみの記述になっています。以下のような例を考えてみましょう。 SELECT date_of_birth FROM employees WHERE last_name = 'WINAND'SQLのクエリは、データを要求する英語の文として読
MySQLでのレプリケーション - 日常メモ
目次 ◎レプリケーションとは ◎レプリケーションの用途およびメリット・デメリット ◎レプリケーションの設定方法 ◎レプリケーションの運用 ◎レプリケーションとは レプリケーションとは、あるMySQLサーバで更新されたデータを別のMySQLサーバに複製する機能。 MySQLではマスタからスレーブヘの複製は非同期に行われるのが標準である*1。 ここで、レプリケーションの種類と仕組みについて整理する。 片方向レプリケーション 双方向レプリケーション 非同期レプリケーション ・マスタ→スレーブという片方向でのレプリケーション。 ・I/Oスレッドによる「スレーブでのバイナリログの受信」とSQLスレッドによる「スレーブでのバイナリログの実行」という2段階のステップが非同期に行われるレプリケーション。 ・マスタを2個以上持たせて、それぞれのマスタを更新できるようにした構成。MySQL Clusterが双
人口減で政府「地方に住もう」 空き家情報や支援員事業 （朝日新聞デジタル） - Yahoo!ニュース
政府は来年度、地方の人口減少対策の柱の一つとして、都会から地方への移住を促す新規事業を相次いで打ち出す。移住に役立つ情報を集めたデータベースをつくり、移住の相談に乗るコーディネーターを置くなど各種の新制度を来年度予算の概算要求に盛り込む。 【写真】「まち・ひと・しごと創生に関する有識者懇談会」の初会合の冒頭、あいさつする安倍晋三首相（左手前から４人目）＝２６日午前、首相官邸、関田航撮影 安倍晋三首相は２６日、官邸に北海道ニセコ町の片山健也町長ら有識者７人を招き、人口減対策などで意見を聴いた。首相は冒頭、「地方に仕事を作り、新しい人の流れを作る。東京への人口一極集中に歯止めをかける」と述べ、移住促進策を進めていく考えを示した。 総務省が新たにつくる移住情報のデータベースには、（1）ハローワークが持つ地域の求人情報（2）国土交通省が提供してきた空き家の情報（3）各地方自治体の医療費助成制度
グラフDBのNeo4jを1日触ってみた - Wantedly Engineer Blog
こんにちは！Wantedlyで12月中にインターンシップをしていた後藤です． 今回，業務の一環としてグラフDBであるNeo4jを1日触ってみたので，それに関してつらつら書いてみたいと思います． Neo4jって？ Neo4jはグラフDB（データの構造が全てグラフ構造で表されるDB）の1つです． Javaで実装されており，オープンソースとして公開・開発が進められています． Neo4j公式 グラフDBの位置付け，及びその性質に関しては次の記事が分かりやすいでしょうか． SQLかNoSQLかという分類だと勿論NoSQLに分類されます．が，Key-Value型やドキュメント指向のものとはまた異なります． InfoQ グラフデータベース、NOSQL、Neo4j RDBやKey-Value型のDBなど，他のタイプのDBとの比較については公式マニュアルに簡単にまとめられています． 2.2. Compari
MongoDBでECサイトを実運用する3つのテクニック | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。 どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + MongoDBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、MongoDBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。 しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。 そ
Wall Street Journal紙に不正侵入、データベースの脆弱性を悪用
WSJから情報を盗み出した人物は、ユーザー情報やサーバを操るためのログイン情報を売りに出していたとされる。 米紙Wall Street Journal（WSJ）のシステムが何者かに不正侵入される事件があった。データベースの脆弱性を突いて不正アクセスされたと同紙は伝えている。 同紙が7月22日付でオンライン版に掲載した記事によると、不正アクセスされたのはニュース写真のシステムで、攻撃を隔離するため同システムをダウンさせて調査に当たっているという。写真が改ざんされるなどの被害はこれまでのところ確認されておらず、Dow Jonesの顧客や顧客の情報に影響が及んだ形跡もないとしている。 これに先立ち、Twitterの「w0rm」というアカウントに「wsj.com #hacked」というツイートが投稿され、WSJのデータベースとされる画像が掲載された。w0rmは盗んだユーザー情報やサーバを操るための
ベネッセ情報流出 派遣システムエンジニア逮捕 NHKニュース
「ベネッセコーポレーション」の通信教育サービスを利用している顧客の個人情報が大量に流出した問題で、警視庁は顧客のデータベースの保守管理を担当する外部業者に派遣されていたシステムエンジニアが営業秘密に当たる個人情報を名簿業者に売り渡す目的で記憶媒体にコピーした疑いが強まったとして、不正競争防止法違反の疑いで逮捕しました。 逮捕されたのは、ベネッセコーポレーションの顧客データベースの保守管理を担当する外部業者に派遣されていたシステムエンジニアで、東京・府中市に住む松崎正臣容疑者（３９）です。 警視庁の調べによりますと、松崎容疑者は、勤務していたベネッセのグループ会社「シンフォーム」の東京・多摩市にある事業所で、営業秘密に当たる個人情報を名簿業者に不正に売り渡す目的で記憶媒体にコピーし、流出させたとして不正競争防止法違反の疑いが持たれています。 警視庁のこれまでの調べで、顧客データベースへのアク
［1］RDSやRedShift、サービスの幅広さならAWS（Amazon Web Services）
パブリッククラウドサービスといえばAWS（Amazon Web Services）が“老舗”である。Microsoft AzureやGoogle Cloud Platformも定着してきた。最近になりIBMがCloud FoundryをベースにしたBluemixをオープンベータで提供していたが、2014年6月末には正式版として発表されたところだ（関連記事：BluemixにDaaSも追加、アプリ開発コンテストも実施）。 直近ではIaaS（インフラストラクチャー・アズ・ア・サービス）だけではなくPaaS（プラットフォーム・アズ・ア・サービス）の発展が目ざましい。クラウドサービスは試用の段階から、プラットフォームとして実用できる段階へと着実に歩みを進めているように見える。 クラウドでデータベースを使う場合、クラウドの仮想マシン上に何らかのデータベースをインストールするか、サービスとして提供される
LevelDB入門 (基本編) - from scratch
さて、今回は比較的新しいデータストアであるLevelDBについてまとめてみました。 LevelDBは1年ほど前からNode.js界隈ではブームが来ていて、理由がよくわかっていなかったんですが、まとめている内に分かるかなと思ってまとめました。今回はNode.js無関係でLevelDBの基礎的なことだけ調査した結果をまとめてみました。 Node.jsで使ってみる話は後に回します。 LevelDBとは? key-value型のデータストアの一つです。 Googleの研究者である、Jeff DeanとSanjey Ghemawatが開発し、2011年に公表されました。C++で書かれており、多くのプログラミング言語でbindingsが書かれています。もちろん、JavaScript/Node.jsでも書かれています。 LevelDB は Google のBigTableをベースにしたアーキテクチャを持
テーブル設計のテクニックについて
これまでクライアントサイドのプログラミング中心できたこともあり、あまりサーバーサイドやDB設計をした経験がないのですが、最近になって基幹系のDB周りの業務も担当するようになってきました。 直近では、すでにあるTBLに削除のフラグのような列があるのを見たとき、最初は何に使うのかわからなかったのですが、インターネットで色々調べるうちに"論理削除"というやり方があるのかと知ったぐらいです。現状がこんな状態なのですが、識者の方に質問があります。 １．登録日時・ユーザー、更新日時・ユーザーのカラムについて ２．TBLやDB設計について現場で利用するようなテクニックが記載された本やリソースについて １．登録日時・ユーザー、更新日時・ユーザーのカラムについて 参考にするために他システムのTBL定義などを見ているのですが、多くのTBLにレコードの登録日時と登録ユーザー、レコードの更新日時と更新ユーザーとい
Googleに載っていない情報を「人力」で集めてサイト作るとビジネスになると思うよ : まだ仮想通貨持ってないの？
imitsuがホント面白いなぁ、と思っています（リブセンス＆ユニラボが仕掛ける「B2Bの価格コム」的サービス「imitsu（アイミツ）」の人力感がヤバい） Googleに載っていない情報は山ほどある 当たり前といえば当たり前ですが、Googleに載っていない情報というのは、まだまだこの世に山ほど存在します。 imitsuは「発注先の情報」を、一件一件問い合わせをして収集し、それらをデータベース化してサービスをつくっているそうです。 imitsu（アイミツ）は、インターネット上の情報を収集するだけでなく、 電話・訪問などの手段もあわせて細やかな調査を実施しています。 人力調査の強みを生かし、「知りたいこと」がもう調べてあるサイト、それがimitsu（アイミツ）です。 専門家・有識者の意見もまじえ、徹底的に業者（企業）・サービスを比較しています。 日本最大級のサービス比較・発注サイト【imit
DB設計の難しさ
今日は徒然なるままにDB設計について思っていることを並べてみようと思う。 ようやくWEB+DB Pressの次号の原稿を書き終えた。2年間の連載であるが、来年はプライベートが忙しくなる予定なので、連載はこれにて終了とさせてもらうつもりである。 「なぜ人はリレーショナルデータベースを使いこなせないのか」 このところ執筆や講演を通じてリレーショナルモデルについて説明する機会を色々頂いているが、それらの活動の根源となっているのが、この素朴な疑問である。その疑問をパワーにしてこれまで活動を行なってきた。 現時点での自分の回答は「データベース設計が難しいから」である。もちろんリレーショナルモデルそのものの難しさというのもあるが、それよりは「適切な使い分けができていない」ということが大きいように思う。言葉を変えると、リレーショナルモデルを適用すべきデータとそうでないデータの判断ができていないからDB設
俺の脳内選択肢が、SQLインジェクション対策を全力で邪魔している — A Day in Serenity (Reloaded) — PHP, CodeIgniter, FuelPHP, Linux or something
PHP Advent Calendar 2013 in Adventarの19日目です。昨日も私の「PDOでの数値列の扱いにはワナがいっぱい（2）」でした。 うっかりtogetterなんか見てしまい、無駄に時間を使ってしまったと後悔した上に混乱してしまい余計にわからなくなってしまった人もいるかも知れません。 そこで、せっかくの機会なので、SQLインジェクション対策について、現在の私の考えをまとめておこうと思います。 選べ ①SQLインジェクション対策にプリペアドステートメントを使う ②SQLインジェクション対策にエスケープを使う もし、上記のような選択にはまってしまったら、あなたのSQLインジェクション対策は、現実的には、ほぼ100％間違っていると言えるのではないでしょうか。プリペアドステートメントとエスケープは、このような対立構造にはありませんから。 なお、この記事は、SQLインジェクシ
IDの設計についてのさらに突っ込んだ議論
今日も前回に引き続きデータベース設計の話をする。今回の話で一旦データベース設計については筆を置くつもり（ブログ書いてないで原稿書けよ＞俺）であるが、その前に話をすっきりさせて置きたいと思う。最後を飾るテーマはIDの設計である。 数字しかないのに意味を含んだID前回のエントリを見ていただいた方から、次のような構造を持った学籍番号があるというフィードバックを頂いた。 全部数値で"入学年度下2桁"+"学科コード"+"学科内のあいうえお順の順位" このようなルールで割り当てた学籍番号を、単なる数値として扱うのであれば大きな問題はない。これは数値しか含まれていないので、SQLのデータ型としては単に数値型を使えば良いだろう。だが、学籍番号から入学年度を判断する、あるいは学科を判断するといった用途で使われるのであればやはり適切ではないといえる。リレーショナルモデルの観点だけからではなく、IDとして適切で
MySQLでMyISAMからInnoDBに乗り換える際に知らないとハマる、怖い話 - Y-Ken Studio
photo by byte MySQLといえば、巷ではInnoDBばかり注目され、MyISAMの地下アイドル化がにわかに語られる今日この頃、皆様いかがお過ごしでしょうか。 まあカジュアルにストレージエンジンを変換するだけで済むなら、簡単なのです。 -- legacy_my_tableをInnoDBストレージエンジンに変換する ALTER TABLE legacy_my_table ENGINE=InnoDB; よし終わった！さあランチタイムだ！ ・・・と片付けてしてしまうと、悲劇が起こるかもしれません。(>o<;) それでは本日、MyISAMからInnoDBへ移行するなら知っておきたい意外な落とし穴とTipsを紹介します。 AUTO INCREMENTの挙動が違う落とし穴 以下に該当するクエリを利用している場合には、注意が必要です。私はハマりました。 INSERT IGNORE INTO
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLの観点から「Oracle Database」「PostgreSQL」 「MySQL」の特徴を整理しよう！
ベネッセ情報漏えい:顧客ＤＢ再委託先から不正持ち出しか - 毎日新聞
TechCrunch | Startup and Technology News
SQLインジェクション対策について
