データ民主化の負の側面 - wyukawa's diary
データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの問題で、Hadoopエンジニアを採用するのが難しいというのが背景にあります。 SQL書ける人はそれなりにいるけど、インフラ側の人材不足ですね。この状態でデータの民主化が進むとどうなるかというと、 クエリの数が増える -> なかにも重いクエリも結構ある -> 管理者がそれをチェックするのに疲れて放置するようになる -> クラスタの負荷が増えて障害も出るようになる -> クエリ実行にも時間かかるように
オラクル、人手不要の全自動運用を実現するOracle Databaseをクラウドで提供すると発表
米オラクルは9月20日（日本時間）、オンラインでの記者発表を開催。同社創業者兼CTOのラリー・エリソン氏は、クラウドサービスで提供される次期Oracle Databaseが世界で最初の全自動運用を実現するデータベースになると説明しました。 ラリー・エリソン氏。 「それは世界で初めての自律的なデータベース（autonomous database）であり、完全な自動運用（completely self driving）になる。 実行に人手を必要とせず、管理に人手を必要とせず、構成も、アップグレードも、パッチも、チューニングもそれ自身で実行する。 もうセキュリティパッチを当て忘れることも、遠隔地へのディザスタリカバリを忘れることも、バックアップを忘れることもできなくなる」 SLAは99.995％を保証。つまり、年間の計画停止、無計画停止は合計で30分以内。 今年12月から提供予定。詳細は10月1
東電システムの「コピー失敗」はなぜ起きたか
電力小売りの全面自由化が始まった2016年4月以降トラブルが続いていた、東京電力パワーグリッド（東電PG）の「託送業務システム」。新たに小売り事業に参入した企業が、顧客の電気使用量を入手できず、料金を請求できない事態に陥った。 本来なら、電力メーターから集められた電気使用量のデータは託送業務システムに集約され、小売電気事業者に通知されるはず。しかし、その機能が正常に機能しないケースが多発した。未通知件数は、最大時に3万件にのぼったという。 その東電PGが2017年6月9日、システムの不具合や再発防止策などをまとめた報告書資料を公表した。東電PGは「これが（一連のトラブルの）総括となる」としている。 東電PGのシステムで何が起きていたのか。その原因が見えてきた。 一部データのコピー処理ができない 託送業務システム内部における不具合のうち、最も大きなものは、内部に複数あるデータベース（DB）間
米国の地方警察で独自のDNAデータベース構築が進む | スラド YRO
米国では警察が犯罪者を追跡するため、DNAデータベースを独自に構築しつつあるという（AP、EFF、Slashdot）。 このローカルなデータベースは独自のルールで運用され、犯罪で逮捕されたことのない人からもサンプルの採取が行われていると指摘されている。また、サンディエゴ警察が、黒人の子どもに対して不法なDNA収集を行ったという指摘もあるそうだ。 こういったシステムを早期に採用した警察の1つが、ペンシルベニア州ベンサレム郡共安全局だ。窃盗犯のDNA鑑定を研究所に依頼すると18か月の期間が必要になるが、警察内であれば一か月以内に鑑定結果が出るという。同局は2010年にローカルDNAデータベースを構築した結果、盗難や泥棒が激減したと主張している。また、関係者によると独自のDNAデータベースを持つ警察は60を超えるという。
「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現
「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 Googleは、クラウド上で高度なスケーラビリティを実現する、ミッションクリティカルな業務に対応したリレーショナルデータベースサービス「Google Cloud Spanner」を発表しました。 Google Cloud Spannerは、地球規模の大規模分散処理データベースとして、NoSQL並の非常に高いスケーラビリティと高い可用性、そして高速な処理を実現しつつ、SQLに対応。強い一貫性を持つトランザクション処理も実現。企業のミッションクリティカルな業務にも使えると説明されています。 地球規模に分散したリレーショナルデータベース 一般に、ミッションクリティカルな業務に対応したリレーショナルデ
なぜ「システムが無事に動いている」ことの価値は理解されないのか
最近はあまり技術的な仕事をしていないんですが、実は私は元々DBエンジニアです。 OがつくDBとか、PがつくDBとか、mがつくDBとかをいじくって、クエリを書いたり、テーブルの設計をしたり、パフォーマンスのボトルネックをあれこれ調べて解消したり、INDEXヒントを総とっかえして頑迷なオプティマイザをぶん殴ったりすることが主なお仕事でした。今でもたまーにそういうことをします。 同業の方であればお分かりかと思うんですが、DBのパフォーマンスは凄く唐突に、かつ多くの場合極端に落ちます。そして、DBのパフォーマンスが落ちると物凄く広範囲に影響が及びます。 アプリケーションサーバ、重くなります。クライアント、ろくに動かなくなります。お客様、切れます。カスタマーサポートにはわんさか電話がかかってきます。 ただ「遅くなる」だけでも十分に影響は甚大なのですが、それ以上のトラブルが発生するとまあエラいこっちゃ
オラクル、AWSとAzureでのOracle DBライセンス体系を変更。コア係数が適用外になり、ライセンス価格が2倍に
オラクル、AWSとAzureでのOracle DBライセンス体系を変更。コア係数が適用外になり、ライセンス価格が2倍に オラクルはAmazonクラウド（以下AWS）とMicrosoft Azure（以下Azure）でOracle Databaseなどを利用する際のライセンス体系を変更、新しいライセンス体系（Licensing Oracle Software in the Cloud Computing Environment）（PDF）を明らかにしました。 オラクルは以前からAWSとAzureを認定クラウド環境としており、これは新ライセンス体系でも変わっていません。新ライセンス体系での最大の変更点は、AWSとAzureでは「コア係数」が適用外になったことです。 When counting Oracle Processor license requirements in Authorized
全国の医師の勤務先などの情報集めたデータベース作成へ | NHKニュース
地域や診療科によって医師の不足や偏りが深刻化するなか、厚生労働省は全国の医師の専門分野や勤務先などの情報を集めたデータベースを初めて作成し、都道府県などが医師を確保する際に役立ててもらうことになりました。 厚生労働省は医学部の定員を増やすなど対策を進めていますが、これまでは医師の配置を正確に把握する仕組みはなかったということです。このため、厚生労働省は、医師の適正な配置に向けて全国の医師の勤務先や専門分野などをまとめた、初めてのデータベースを作成することを決めました。 データベースの情報は、都道府県や医療機関などに限って提供するということで、どの地域や診療科でどれくらい医師が不足しているかを正確に把握したうえで、医師の採用などに役立ててもらう方針です。 厚生労働省はデータベースを作成する経費として、およそ１億８０００万円を来年度予算案の概算要求に盛り込むことにしています。
［速報］オラクルと富士通がクラウドで戦略的提携。富士通が国内データセンターからOracle Database Cloud Serviceを提供
戦略的提携の柱は3つ。1つ目は富士通の国内データセンターにOracle Cloudを設置することで、データを国外に持ち出すことなく利用できること。2つ目はOracle Cloud Database Serviceを富士通のサービスとして提供すること、3つ目は人材管理サービスのOracle HCM Cloudを富士通グループで採用し、そのノウハウをもとに外販していくことです。 富士通 代表取締役会長 山本正巳氏は、今回の提携の発端がラリー・エリソン氏と昨年4月に話をした時にクラウドで一緒にやろうという話からであり、1年かけてそれが実現したと説明。 ラリー・エリソン氏は、富士通とオラクルは長期的なパートナーであり、次世代のコンピューティングを一緒に進めていけるのをとても嬉しく思うと発言しました。 オラクルとしては実質的にはじめてOracle Cloudのデータセンターが日本国内に設置されること
カプコンオンラインゲームズ：『モンスターハンター フロンティアＺ』（MHF-Ｚ）メモリアルサイト
『モンスターハンター フロンティアＺ』(MHF-Ｚ)メモリアルサイト
Microsoft、Linux版「SQL Server」のプレビュー開始 提供は2017年半ば
Microsoftは、「Linux版SQL Serverの提供は、Microsoftの製品とイノベーションを幅広いユーザーに届けるための新しい方法だ。先日にはマルチプラットフォームのモバイル開発プラットフォームを手掛ける米Xamarinを買収し、1月にはHadoop、Red Hat Linux、SUSE Linux、Teradataをサポートする統計用ソフトウェアMicrosoft R Serverを発表した」としている。 関連記事 Microsoft、マルチプラットフォームアプリ開発プラットフォームのXamarinを買収 サービスのクロスプラットフォーム化を推進するMicrosoftが、iOS、Android、Mac、Windowsアプリの開発環境を手掛けるXamarinを買収すると発表した。XamarinとMicrosoftのサービスの統合を強化し、エンドツーエンドのアプリ開発環境を提
アイドルマスターシンデレラガールズ プロデューサー＆プロダクション データベース
PPDBって？ アイドルマスター シンデレラガールズ 内のプロデューサー・プロダクションのデータを集めています イベント対戦相手のリサーチ、入社希望者の経歴調査、嫁プロ探しなどにご活用下さい 最近のデータ データ名 プロデューサー プロダクション さらに昔のデータはこちらから コンテンツ 詳しい使い方はコチラ アイドルを検索 過去のイベント順位ボーダー アクティブユーザー数の推移 全データのダウンロード データの外部利用(PPDB API v2) 情報 @sekaiasiaさんのツイート 更新履歴 日時 作業内容 詳細 更新予定 日時(予定) 作業内容 詳細 その他 ご意見・ご要望などお待ちしております データに異常を見つけたらご連絡頂けると大変嬉しいです PPDBの システムログ が見られるようになりました 連絡先はページ一番下にあります
日本オラクルがDBライセンスを変更、費用増迫られる中小規模システムも
日本オラクルが1月30日にデータベース（DB）ソフト「Oracle Database」のライセンス体系を変更した。中小規模システム向けで安価な「Standard Edition One（SE1）」を廃止。「Standard Edition（SE）」のライセンス内容を変更した「Standard Edition 2（SE2）」に一本化した（図）。 同社は2月29日に、旧ライセンスであるSE1とSEの販売を終了。3月1日からSE2と大規模システム向けの「Enterprise Edition（EE）」だけを販売する。 SE2に移行する場合、SE1のユーザーにとっては機能が高まるが、保守料が上がる分、費用増となる。SEユーザーは費用は変わらないが機能面での制約が増す。結果としてライセンスの追加購入やシステム構成の見直しを迫られる可能性がある。特にSE1は国内で中小規模のサブシステムなどで多用されてお
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
新著が出ます：『SQL実践入門』 - ミックのブログ
4月中旬ころになりますが、新著が出ます。SQLのパフォーマンスを主題にした本で、実行計画を読むことで、なぜこのSQLは遅いのか、あるいは速いのかをデータベースの内部動作まで把握して理解しよう、という趣旨です。 リレーショナルデータベースというのは、SQLという自然言語を模したインタフェースによって、低次のレイヤーを隠蔽する意図で作られたミドルウェアなので、本当は実行計画などという手続レベルの世界をユーザが覗き見るのは、本末転倒なところもあります。ただそうはいっても、現実にSQLが遅かったら原因を解析せざるをえないわけだし、大体本当にブラックボックスにしたいなら、なんでどのDBMSも実行計画を見られる手段なんか用意してるんでしょうね不思議ですね、という理想と現実の狭間で悩むエンジニアの方々に少しでもベターな解に辿りつけるアプローチを提示できれば、と考えております。 以下まえがきと章立てです。
データベース界の巨匠 マイケル・ストーンブレイカー氏がチューリング賞を受賞
米国の著名なコンピュータ学会の1つであるACM（Association for Computing Machinery）は、毎年コンピュータの分野で優れた功績を残した人物に「チューリング賞」を贈っています。 チューリング賞とは、現代型コンピュータの基礎を築いたアラン・チューリング氏の名前を戴く賞で、コンピュータ分野で最高峰の賞ともコンピュータ分野のノーベル賞とも言われています。 そのチューリング賞を、MITの教授をつとめるマイケル、ストーンブレイカー氏が受賞したことが発表されました（ACMのプレスリリース、MITニュース）。 ストーンブレイカー氏はデータベース研究者のパイオニアで、初期のリレーショナルデータベース実装の1つであるIngresを1970年代に開発し、1980年代にはオブジェクトリレーショナルデータベースのPostgresを開発。InformixのCTOなどデータベースベンダの
論理削除がデータを汚している - jfluteの日記
ベクトルの違うデータ まあ、それは事実。 ただ、履歴をそのまま残したいということも事実。 いちいち削除履歴テーブルなんて作ってられないのも事実。 ※ここでの論理削除は、復活する論理削除じゃなく、物理削除の代わりとして履歴のための論理削除を指します。(復活する論理削除って、そもそも削除とは言えないって気も...) 本来、論理削除されたデータって... そのテーブルの定義するデータとはベクトルの違うデータ である考えます。 でも、わざわざ削除されたデータを保持するテーブルを作ると、それはそれで面倒なのでそのまま同じテーブルに持ったままにする。その方が扱いが簡単なことが多いから。削除フラグを true にするだけで済むから。 個人的には、業務上重要なテーブルに関しては、しっかりと「削除履歴テーブル」を用意して、本体のテーブルには常に有効なデータだけがある状態の方が、データメンテもプログラムも遥か
主キーはインデックスではない - 設計者の発言
仕事柄、奇妙なDB構造を目にすることが多い。どういう発想からそんな設計がされるのかを理解したいと思っていたのだが、モデラー仲間の秋里さんが先日うまい指摘をした。「主キーをインデックスみたいなものと勘違いしているからではないでしょうか」。インデックス（キー）というのは、レコードの並び順を規定するキーのことだ。 たしかに思い当たる節がある。「こんな順にレコードが並んでいれば処理上都合がよさそうだ」という考えで主キーが設定される。さらに主キーはユニーク制約でもあるので、重複が起こらないように「多め」に項目を突っ込んでおく。つまり「ユニーク制約をともなう代表的インデックス」程度に主キーが理解された結果として、グダグダなDB構造が出来上がるのではないか。 じっさい、昔こんなことがあった。{a,b,c,d}の複合主キーをもつテーブルＸがある。ところが、別のテーブルＹからテーブルＸの特定レコードにアクセ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ネットゲームデータベース設計むかしばなし、あるいはとんでもないMMORPGの設計の話: 不倒城