データ(基盤)エンジニアが高給を得るためのスキルセット一覧 - データエンジニアの酩酊日記
なぜかキャリア論みたいな与太話ばかり書いてしまう。 ということで、今回はデータ(基盤)エンジニアが高給を得るためのスキル要件をリストアップしてみたいと思います。 ちなみに僕は求人情報調べるのが趣味で日々多くの求人を見てるので、データ(基盤)エンジニアの求人に関して言えばたぶんその辺のキャリアコンサルタントよりよっぽど情報量多いと思う。全然自慢にならないけど。 以下、重要度が高い順で並べます。 1.データ基盤のアーキテクチャ設計の経験 システム全体のグランドデザインを描いて、技術面を主導する立場でデータ基盤の立ち上げを行った経験を持っている人は今引っ張りだこ。なぜかというと、今まさにデータ基盤の立ち上げ段階にあったり、今後立ち上げを予定している企業がたくさんある時期だから。 2.NoSQLの設計、運用経験 HBase、Cassandra、MongoDB等のNoSQLの経験があると望ましい。分
人間の体をネットワークに接続して触るだけでデータを送受信できる人体通信技術「Connected Me」が最大通信速度10Mbpsを達成
By WebWizzard スウェーデンの通信機器メーカーエリクソンが開発している、人体を通信ネットワークの一部として使用する技術「Connected Me」のデモンストレーションで、6～10Mbpsの通信速度を達成するというコンセプトが初めて実証されました。人体が通信ケーブルの役割を果たすということで、技術が普及すればいろいろなケーブルが不要になります。 人体でネットワークに接続する方法 - エリクソン Connected Meのデモでは、片手に携帯電話を持ち、もう片手で信号受信デバイスに触れることで、体内を微弱な信号が通過することを示しています。実際に試しているムービーがコレ。 Connected Me - Ericsson REDEFINING TOUCH(接触の再定義) デバイスに触れ人体経由で通信をするというのが「Connected Me」のコンセプト。容量性カップリングと呼ばれ
グーグル、「Chrome」での「H.264」サポートを打ち切りへ
ビデオエンコーディング技術「WebM」を擁するGoogleは米国時間1月11日、WebMと競合し、広く利用されているコーデック「H.264」のChromeでのサポートを中止する計画を発表した。AppleやMicrosoftはH.264を支持している。これによりGoogleは、基本的なウェブ技術が特許の制約に縛られないことを強く望むブラウザメーカーのMozillaやOperaの立場を、明確に支持することになる。 Googleの製品マネージャーを務めるMike Jazayeri氏はブログ投稿で、「H.264はビデオにおいて重要な役割を果たしているが、われわれの目標はオープンな革新を可能とすることであるため、同コーデックのサポートを廃止し、われわれのリソースを完全にオープンなコーデック技術の推進に向ける」と述べた。 AVCとも呼ばれるH.264は、ビデオカメラやBlu-rayプレーヤーなどの多く
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
Apache リバースプロキシ→ Lighttpd + Rails の設定方法 - WebOS Goodies
今週はあまり時間がないので、 Rails 関連の Tips でお茶を濁すことにします。 以前投稿した Apache のリバースプロキシの設定方法という記事では、 Apache ベースのサイトの一部として Rails アプリケーションを公開する方法をご紹介しました。今回はその mongrel を Lighttpd で置き換え、 Apache → Lighttpd + Rails という構成にする設定をご紹介します。まあ、仕事でやった作業の覚え書きです。 Lighttpd ならパフォーマンスも出るので、一般公開するサイトでもじゅうぶんに使える方法です。 Apache で運用しているサイトに Rails アプリケーションを組み込みたいという際は、参考にしていただければと思います。 なお、 Lighttpd や Ruby fcgi ライブラリのインストールは OS のパッケージ管理コマンド等で一発
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
あらゆるものを変える可能性のある知っておくべき15個の最新テクノロジー - GIGAZINE
第4の回路素子「memristor」、32コアのCPU、グラフィックボードの終焉、USB 3.0、ワイヤレス電源、64ビットコンピューティング、Windows 7、Googleの提供するデスクトップ向けOS、ジェスチャーベースのリモートコントロールシステム、双方向配信プラットフォーム「tru2way」、DRMの終焉、などなど、テレビや新聞などではあまりIT系の最新テクノロジーというのは思っているよりも報道されていないわけですが、やはり事前に知っておけば必ず役立ちますし、知っておいて損はありません。 というわけで、PC Worldの「15 Hot New Technologies That Will Change Everything（すべてのものを変える15の熱い新技術）」という記事を元にして、あらゆるものを変える可能性のある知っておくべき15個の最新テクノロジーを紹介しておきます。 詳細
青春の日々 - 最速配信研究会(@yamaz)
大学入って初めてまともに触るコンピュータ.「lsってなんだ？dirじゃないの？」. 勉強なんかほとんどせず,マンガとゲームと週6回の合気道の稽古に励んだ.青春だ. 4年になって友達と学内に散らばるネットワークの整備をみんなでひたすらやった. 時給換算したら250円くらいだったけど,学内のいろんな人と知り合いになり,先生たちからメシをおごってもらったりして楽しい日々だった.青春だ. 外資系半導体メーカに就職.入って1年目にしてリストラでいきなり社員の1/3がクビに. 残務処理要員として田舎工場に飛ばされ,デザイナさんの環境整備とか.でも残ってた人々はみんな優秀で,麻雀をしながら半導体に関するいろんなことを教えてもらった.青春だ. 思うところがあり,インターネットポータルに転職. 面接で「FreeBSDのカーネルコードくらいは読んだことあるんだろうな?」とか脅された.出社初日からサービス担当者
工学ナビの中の人の研究と周辺 拡張現実感システムを使って実世界でスターを集める「電脳スターラリー」
先日の勉強会で実世界はてなスターのお話をしてくださった佐藤さんから 明日（8/30～），面白いイベントを開催しますよという情報をいただきました． その名も「電脳スターラリー」． 世界初！電脳メガネ de 24時間自転車旅行！ http://d.hatena.ne.jp/gaziro2000/20080819 電脳スターラリー 公式サイト http://star.yuiseki.net/ ジオクリを使って実世界の緯度経度上にみんなで「スター」を登録して，それを電脳メガネを つけた人が自転車に乗って24時間回収してまわるというなんとも面白そうなイベントです． スターを拾って一定時間は無敵ですのでプレイヤーに近づいてはいけません． WEBからリアルタイムで閲覧できる仕組みになっている模様． 8/30朝の時点で観戦をオープン予定だそうです． 注目のポイントはこちら↓ ◆特徴3！(Hacker's
グーグルの「1000ページの壁」を破るsite:やurl:検索の使い方 | Web担当者Forum
大規模なウェブサイトのSEOをやっていて不満を感じるのは、グーグルが検索インデックスのごく一部しか見せてくれなくて、もっと多くの検索結果を見ようとすると、すごく難しいっていうことだ。 Webmaster Toolsを使っていても、グーグルのインデックス検索はウェブ検索と同じ仕組みで作られているから、どんな検索結果であろうと最初の1000ページ分しか見られないようになっているんだよね。 1万ページ以上がインデックス化されてるサイトを手がけている場合、この「1000ページの壁」が立ちはだかることがあるんだ。これは、SEO担当者がページを見つけてもらおうと努力していても、複製コンテンツと闘っていても、「robots.txt」の変更点を確認したり最先端のインデックス操作を施したりしていても関係ない。 では、インデックスをより深く掘り下げ、全体像をきちんと見るためにはどうすればいいんだろうか？ ツー
Kikker の学習の仕組みと Rocchio アルゴリズム - naoyaのはてなダイアリー
先日のソーシャルブックマーク研究会では id:kanbayashi さんによる発表がありました。id:kanbayashi さんは Kikker や はてブまわりのひと などの開発をされている方です。最近情報検索理論に入門した自分にとっては、非常に面白い発表でした。 発表の中で Kikker の学習の仕組みについての解説もありました。Kikker は Cosine similarity で推薦するドキュメントを検索しているそうですが、ユーザーのクリックデータを使って、ユーザーごとに推薦対象を最適化するようにしているそうです。この学習は、ユーザーが見たページのベクトルを、そのユーザーの趣向ベクトルに足し込むことで実現している、とのことでした。 SBM研究会で発表した"私がチャレンジしたSBMデータマイニング"のスライド - Ryoの開発日記 Neo! 発表ではベクトルを加算することについて「
『サーバ/インフラを支える技術』出版と発売記念Tech Talk開催のお知らせ : DSAS開発者の部屋
KLab(株)のDSASチームと(株)はてなさんのインフラチームとで書いていた本が、とうとう8/8(ごろに)発売されます！ [24時間365日] サーバ/インフラを支える技術 ~スケーラビリティ、ハイパフォーマンス、省力運用 作者: 安井真伸, 横川和哉, ひろせまさあき, 伊藤直也, 田中慎司, 勝見祐己 出版社/メーカー: 技術評論社 発売日: 2008/08/07 メディア: 単行本（ソフトカバー） また、発売を記念して、(株)技術評論社様の主催で、Tech Talk イベントを開催します。 詳しくは、開催のアナウンス サーバ/インフラ Tech Meeting［開催概要］：WEB+DB PRESS plusシリーズ新刊発売記念，サーバ/インフラ勉強会開催 をご覧ください。 もちろんスピーカはこの本の執筆者陣で、インフラにまつわるお話をする予定です。 このようなサーバ/インフラ関係の
仙石浩明の日記: 技術力が高い人こそ、ビジネスモデルの良し悪しにもっと敏感になるべき
先週参加した社外の飲み会 (私は飲めないので専らウーロン茶でしたが) で、 Linux ディストリビューションの開発や、 カーネル技術を売りにしたコンサルティングで有名な某社の カーネル技術者とお会いしました。 彼はいま伸び盛りの若手カーネル・ハッカーなのですが、 オープン・ソース・ソフトウェア (以下 OSS と略記) ビジネスについて熱く語ったり、 ディストリビューションをサポートし続ける使命感に燃えていたのが、 わたし的にはちょっと気になりまして、 ひとこと言いたくなってしまいました(お節介ですね ^^;)。 ディストリビューションのサポート体制 (カーネルのバグにも的確に即応できる体制) を維持し続けることによって、 多くの企業で Linux を安心して使ってもらうことができて、 それが OSS の発展につながるし、 それこそが自分の使命だと彼は考えているようでした。 それはそれで
オリンパス ニュースリリース： 参考資料:オリンパス（株）未来創造研究所と中央大学「インスパイア型ユビキタスサービス」の実証実験を開始
世界初！完全ワイヤレス化した眼鏡型ディスプレイ 「モバイルEye-Trek－慧眼（けいがん）－」の試作機を開発 ～眼鏡一体型でデザインされた常時装着タイプのHMDを実現～ オリンパス（株）未来創造研究所は、同所が提案する「インスパイア型ユビキタスサービス」の特徴的デバイスであるウェアラブルディスプレイ「モバイルEye-Trek」を、HMD（Head Mounted Display）では世界で初めてとなる完全ワイヤレス化にしました。この試作機は「いつでも」「どこでも」常時着用して、ユーザーが行動するきっかけを与える情報をリアルタイムで取得することができます。 本試作機は、未来創造研究所が進める「インスパイア型ユビキタスサービス」の研究に応用し、2012年を目処に未来の生活価値を高めるサービスの実用化を目指します。また、当社が長年培ってきた小型HMDの技術やノウハウを活用した新しい未来価値創出
InstallThis!: Ubuntuを使いはじめたらインストールするべく6つのソフト at Life is a Gamble
InstallThis!: Ubuntuを使いはじめたらインストールするべく6つのソフト パソコンが届いて、すっかり設定も済んだので、今日は、 Ubuntuを使いはじめたらインストールするべく6つのソフト ということで、 ソフト＋設定の方法を紹介しよう。 ちなみに、私の環境は、Ununtu Edgy Eft 6.10だ。 このソフトと、設定たちは『Lifehacker』を参考にさせてもらった。 1. Automatix２ Ubuntuはデフォルトでも、かなりの数のソフトがインストールされているのは、もう知っての通りだろう。が、同時に便利な、多くのソフトが溢れているのも知っていることだろう。そんな便利なソフトを、多くの中から厳選し、グラフィカル・インターフェースでインストールを自動で行ってくれるのが、このAutomatix2。 インストールできるソフトは、Google EarthやP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ｗｅｂラーニングプラザ 技術者 eラーニング （独）科学技術振興機構 無料
Tomoのページ - こくばん.in
eラーニング ＜ ITpro SkillUP ： ITpro
IBM Developer
トップページ｜gihyo.jp … 技術評論社
