どのようにOracleを勉強してきたか - kagamihogeの日記
一昨年から去年にかけては、リレーショナルデータベースの分野の学習に注力すべく活動を続けてきた。具体的なRDBMSのプロダクトはそのときの仕事で使っていたという理由でOracleを選んだ。学習内容としてブログでまとめたものは、主に実行速度に影響を与える要素を中心にした。年末年始ということもあり、このエントリでは、Oracleのパフォーマンスに与える影響をどのようなやり方で学習を進めてきたか、を振り返りたい。 まずはインプット 当初の俺のOracleレベルは「スキーマってなんだ、カレーの一種か？」とかそういうレベルであったが、この程度の状況だとそもそも何を学習したいのかを自分で判断できない。だから、ともかく分かんないことがあってもいいから、最初は情報を沢山仕入れることから始めた。俺は、俺にとっては新しいことを学ぶとき、まずインプットを多くすることから始めるタイプである。たいてはまず書籍を読むこ
Rollupちゃんと理解してる？ - Qiita
はじめに SQLには、単純なGroup byによる集計計算に加え、Rollup, Cube, Grouping Setsなどの指定カラムに対して追加集計計算を行う便利な機能があります。特にRollupは小計や総計を取得するのに便利で身近な存在ですが、動きをしっかり把握していないと集計対象が複雑になった場合にピンポイントで必要な集計を得るのが難しくなります。 例えば、以下の例では一つのカラムだけを対象にRollupを使用して総計を取得していますが、Group Byの対象が複数カラムになった場合に総計だけを取得するにはどう記述すればよいでしょうか？ また、4つの複合カラムで集計する場合に総計と特定のひとつのカラムの小計だけ取りたい場合はどうでしょう？ select item, sum(qty), count(*) from test_rollup group by rollup(item);
ルーターに USB を生やせ！ - Zopfcode
本記事はルーターハックAdvent Calendar 8日目の記事です。 わやくそ遅れていて申し訳ない。 さて。今日は もともと USB ポートのないルーターに USB を生やす 回である。SoC に USB PHY があるのに使わないというのはもったいない。ハードオフの青いかごで眠っていた324円のルーターと一緒に、次なる高みを目指そうじゃないか。 おことわり 技適 に関する筆者の配慮や考えについてはカレンダー1日目「技適とルーターハック」をご覧ください。本記事で紹介する内容は、法を遵守するための慎重な注意をもって書かれています。 www.zopfco.de おことわり ひとまずはんだ付け ファーム側でUSB有効化…のはずが 初期化コードを加工する カーネルモジュールを追加する 挿してみる USBは無限大 ひとまずはんだ付け 先日からハックの犠牲になってもらっている Buffalo WH
DMARC+GASによる大規模メールトラフィックの監視 - pixiv inside
こんにちは、pixiv開発支援チームのmipsparcです。 ピクシブからは月に2000万通程度のメールが送信されています。しかし、送ったメールが本当にユーザーに到達しているかという不安がありました。また、pixivになりすましてメールを送信している悪意のある人がいないかというのも重要な関心事です。 すでにバウンスメールなどはモニタリングしていましたが、追加の対策としてなりすましメール防止に使用されるDMARC(RFC 7489) を使って監視する仕組みをGoogle App Script(GAS)で作りました。 DMARCとは、保有しているドメインがユーザーに見える送信元メールアドレス header-from に設定されたメールについて RFC5321 from (envelope-from; 受信したメールのReturn-Pathに同じ内容が書かれている)と header-from が
MySQLのパケットを読んでいく - tom__bo’s Blog
この記事はMySQL Casual Advent Calendar 2018 10日目の記事です。 最近golangでMySQLのclient/serverプロトコルのでシリアライザを作っていて、この記事ではclient/serverプロトコルを解説しつつ、そのデシリアライザの紹介をしようと思っていました。 ですが、思っている以上に進捗出せなかったので、今回はMySQLのpacketを読む面白さと参考にすると良い資料を紹介しようと思います。 なんでパケットを読むのか MySQLの通信プロトコルを知ることでMySQLの運用が楽になったり、知らないと困るようなことはまずありません。 とはいえ、プロトコルを解釈できればclient/server間の通信を中継したり、キャプチャすることで分析することができます！！ 僕がプロトコルを理解しようと思ったきっかけは、プロダクション環境で実行されているクエ
Recent Topics on Internet Domain Names
1. ドメイン名システム 歴史 1970年代、ARPANETはわずか数百台のホストから構成される、 非常に小さなネットワークであった。 これらのホストに関する情報はすべて HOSTS.TXTという一つのファイルに収められていた。 ファイルの体裁はUnixの/etc/hostsとよく似ていた。 すなわち、ホストの名前とIPアドレスとの対応がずらずら並んでいたのである。 このファイルはSRI-NIC (Stanford Research Institute - Network Information Center)によって一元管理されていた。 ARPANETの各サイトの管理者は、自分のサイトのホスト情報に変更が生じると、 それを電子メールでSRI-NICに連絡し、 SRI-NICの担当者は手動でその変更をHOSTS.TXTに反映させたのである。 また、各サイトの管理者は定期的にSRI-NICか
チームでの共同編集を行うアプリケーションのUndo/Redo - Qiita
この記事はGoodpatch Advent Calendar 2019 4日目の記事です。 私は普段Ruby on RailsのREST APIのインフラ・バックエンド周りが多いですが、最近は、TypeScriptでフロントエンドとバックエンドをつなぐ部分なども担当しています。 今回は、まだ実装中ですが、 チームでの共同編集が必要なアプリケーションのUndo/Redo の設計と実装について簡単に紹介します。 （アプリケーションの内容はまだ詳しくかけないので、その辺は察してください ） 前提条件など Undo/Redoとは まず一般的なUndo/Redoは以下のような解釈でほとんどのユーザーでズレがないと思います。 Undo コンピューターの用語で直前に ユーザが 行った 操作を取り消し 、 元に戻す こと。データベースの専門用語ではロールバック。 Undo - Wikipedia Redo
Charles でネットワークデバッギング
iOSDC Japan 2018 2018/09/01 13:30〜 Track C レギュラートーク（15分） Charles Proxy http://charlesproxy.com/ iOSアプリ内で不正なSSL証明書を検知する / SSL Pinning for iOS apps - Speaker Deck https://speakerdeck.com/kobakei/ssl-pinning-for-ios-apps
動的計画法の実例: QRコードの最適なエンコードを求める - Qiita
はじめに 最近、実生活で競技プログラミングが役に立ちました。 趣味の一環で長方形のQRコードであるrMQRコードを生成するPythonパッケージを作成しています。その中で「ビット列が最も短くなるようにデータをエンコードする」という処理に動的計画法を用いました。大学時代に競技プログラミングをやっていた身としては「競プロが役に立った！」と嬉しかったので、実例として共有したくてこの記事を書いています。動的計画法のDPテーブルの定義から遷移のしかた、解の復元までを図や実装とともに説明しています。動的計画法自体は説明していません。実装の全体はこちらでご覧いただけます。 この記事に出てくるrMQRコードの仕様に関する記述はISO規格1に基づいています。最適なエンコードを求めるアルゴリズム自体は仕様に含まれるものではなく、オリジナルのものになります。 ※QRコードは(株)デンソーウェーブの登録商標です。
mDNSを使ってローカルDNSサーバーを廃止する - Qiita
はじめに ローカルネットワーク内のホスト名でのアクセスはNetBIOS時代から試みてきたものの、WindowsとmacOSの間は統一された規格がなく相互通信が出来ない状態が続いてきた。 突然消失するかもしれないブログさんの記事の説明を拝借 その状態が、Windows10 1803(April 2018 Update/Redstone 4/RS4)が出荷されたことで、ようやくmDNSという規格により統一され、Windows macOS Linux間のホスト名でのアクセスが可能になりました。 mDNSはDNSの代わりにIPアドレスを返してくれるため、今までローカルにDNSサーバーを立て、ローカルエリア内の名前解決をされていた方はDNSサーバーの撤去が出来ます。 Windows10 1803でもほぼ動作に支障ない状態でしたが、Windows10 1909(Windows 10 November
sshuttleでDNSリクエストを転送する - ぶていのログでぶログ
VPNからsshuttleに切り替えてから、不便だなぁと思っていたのはDNSリクエストを転送できないことだった。 VPNの接続先のDNSサーバに接続して、リモート先の内部で利用しているドメインを正引きするのに使っていた。 sshuttleはSSHのポートフォワードを元にしたツールなので、UDPなDNSリクエストを転送できないと思いこんでいた。 が、なんとDNSリクエストを転送できることに気がついた！ --dns capture local DNS requests and forward to the remote DNS server --ns-hosts IP[,IP] capture and forward DNS requests made to the following servers --to-ns IP[:PORT] the DNS server to forward re
退屈な監視はPrometheusにやらせよう――アプリケーションエンジニアのためのcustom metrics入門 - LIFULL Creators Blog
エンジニアの島です。AI戦略室でバックエンドシステムの開発をしています。 本記事ではPrometheusを利用して、独自のメトリクスを計測することで監視を効率よく行えることを紹介します。 背景 チームで作っているもの 社内共通基盤の活用 効果的な監視で得られるもの 問題の予兆に気付けるようになる 問題の原因特定につながる 時系列での傾向を把握できる Prometheusとは 思想 メトリクスの公開 custom metricsを追加しよう Prometheusで監視しよう custom metricsで計測すると嬉しいもの 外部IOに関して 内部状態に関して 外部起因ではないアプリケーションのエラーの数 有効データのうち、モデルが値を返せている割合 機械学習モデルのスコア(histogramを利用) そのほか 終わりに 最後に宣伝 背景 チームで作っているもの LIFULLのAIチームでは
AWSと自宅をSite to Site VPN 接続してみる - Qiita
AWSのSite to Site VPNのサービスを使って、VPCと自宅のネットワークを接続してみた時の備忘録です。 自宅のVPNゲートウェイは、古いPCにvyosをインストールしたものを使いました。2022/06/27現在、AWSが出力するカスタマーゲートウェイ用の設定を使うためには1.3系のvyosが必要です。1.4系ではvyosのコマンドが変わっていて、うまく設定できませんでした。 ベースとする環境 下記がベースとする環境です。 仮想プライベートゲートウェイによるSite to Site VPN接続 仮想プライベートゲートウェイを使って自宅のネットワークとSite to Site VPNをしてみます。 下記が最終的な構成です。 [AWS] 仮想プライベートゲートウェイの作成 AWSマネコンでVPCを選択します 仮想プライベートネットワーク -> 仮想プライベートゲートウェイを選択しま
Wiresharkを使い熟すために読みたい書籍 - Qiita
この記事は Wireshark Advent Calendar 2021 第11日目の記事です。 ネットワークスペシャリスト試験受験に備えてコンピュータネットワークをもっと深く理解したいと予てから思っていました。しかし、新人だった頃研修で少しWiresharkを触った経験が有るのと、社外講習会でWiresharkを使ったパケット解析の方法を学ぶ研修に参加した時に操作して以来あまり触れる機会が有りませんでした。そこで2022年春のネットワークスペシャリスト試験に備えるべく、Wiresharkを用いてパケットを解析し、コンピュータネットワークへの理解を深めることにしました。筆者の手元にはWiresharkの書籍が数冊。。。押し入れの肥やしにしてしまうのは勿体ないので、この際活用方法を検討したいと思います。(書籍の画像はAmazon.comより) 1冊目: 実践パケット解析 第3版 チームのリー
システム理論の続き - 宣言的ネットワーキング - Qiita
Cisco Advent Calendar 2019 第24日目！ 1. はじめに 2019年も早くも年末となりました。Cisco有志で綴るAdvent Calendarも今年は3回目。私はこの、年末恒例行事になったわくわくするAdvent Calendarに、わくわくする(?!)システム理論的なことを書くことにしています。過去二回のエントリーもぜひご覧いただけたら嬉しいです。 2017年 ネットワーク・エンジニアリングから学ぶこと − システム理論の見地から 2018年 システム理論の続き - 生命モデルの限界と克服 2. システム理論って何？ 「わくわくするシステム理論」などと言いながら、そういえば「システム理論とは何か」についてきちんと記述していませんでした。Wikipediaによる「システム理論」解説 によると「現象のマクロな挙動を直接的にモデル化して扱う科学理論のこと」と書かれて
インターネットのフルルートを確認してみる
IPv4が枯渇すると言われて早10年以上経っただろうか？ IPv6が主流になるとか言われつつ、未だにIPv4健在だ。 おかげでIPv6を使う機会がなく、まったく覚えられていない(笑) そんなこんなで今現在のフルルートってどんだけあるの？ と少々疑問に思ったので、調べてみた。 世界各国のISPにてフルルートに関する情報を公開しているが、 ふとAT&TのBGPルータにログインできることを発見したのでやり方を載せておく。 インターネットに繋がる端末からであればどこからでもログインできるので便利。 まぁそんなに頻繁に見るものでは無いとは思うが・・・。 まずはターミナルソフトから"route-server.ip.att.net"へTELNETアクセスする。 すると下記のようなログインバナーが表示される。 -------------- route-server.ip.att.net ---------
RFCを調べるときは IETF の Datatracker がすごく有用なことに今更ながら気がついた - 理系学生日記
新卒で入社した会社の新人研修で心に残っているのは、 "一次情報源にあたれ" という話でした。 要するに Blog 記事とか Qiita とかでノウハウを吸収するのは効率良いんだけど、そうする理由は何？とか、仕様として正しいの？と言われたときに、 このエントリに書いてありました、とかいうのはプロじゃないよね、という話で、そういうのは今でもできるだけ気をつけていたりします。 1 そういうわけで、RFC 参照しなきゃって気になるときは多くあるんですが、RFC を読みたいっていうとき、だいたい WebSocket rfc とかのキーワードで検索することが多かった。だいたいそれで要は足りるんですが、不安になるのは「これって他の RFC が出てたりしないかな」ってことでしたが、 そういうのの不安を軽減するのに IETF Datatracker が便利っぽい。 たとえば、oauth 2.0 について調べ
データ分散アルゴリズムASURAの実装
最近、 仕事がピリっとしないからか、 趣味で分散ストレージでも作ってみようかなぁと思って色々と思考を巡らしている。 分散ストレージには大きく分けて２つの実装がある（と思う）。 １つは、どのデータがどこにあるかなどのメタデータを持つメタデータサーバを 保持し、そのメタデータサーバを参照・更新しながらレプリケーションや、ピースの分散を行うというタイプのもの。 もしこれをやるのであれば、メタデータはTiKVを使おうかなと考えていた。 TiKVはRustで実装された分散KVSだが、 レプリケーションを行う単位をRaftグループとして、これを複数持つMulti-Raftという構成をとっている。 外にはプレースメントドライバというプロセスがデータや負荷の分散具合を監視し、 必要に応じてマイグレーションを行っているらしい。 Raftを使っていれば、マイグレーションは簡単だろうと想像する。 もう１つは、そ
NetFlowを使ってネットワーク機器のトラフィックを見てみる
はじめまして、プラットフォームサービスの恩田です。 今回はNetFlowを利用してネットワーク機器を通過するパケットを コレクタサーバに収集し、elasticsearch＋kibanaで可視化してみようと思います。 NetFlowとは？ NetFlowとはネットワーク上を流れるトラフィックフローを受動的にモニタできる機能です。 これまでもSNMP等でネットワーク機器を通過するパケットのトラフィック量や CPU、メモリ使用率などについては情報を取得できました。 NetFlowでは、SNMPでは取得できなかったクライアントPCのIPアドレスや宛先IPアドレス、 ポート番号(TCP/80番ポート)などネットワーク機器を通過するパケットの 詳細な情報を取得することが可能です。 検証環境 今回はVM環境に以下のような検証環境を構築してみます。 VyOS ： OSSのソフトウェアルータ。今回NetFl
作って理解するWireGuard
比較的最近登場したL3VPNの手法WireGuardがどのような物であるかを解説します これは2018年7月21日に行われた 第14回 カーネル／VM探検隊の発表資料です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
