検索技術と自然言語処理技術を駆使して話題のトピックをひとまとめ ～はてなブックマークのトピックページの作り方
はじめに 本稿では、はてなブックマークの10周年記念の第1弾として開発した「トピックページ」の作り方について解説します。トピックページとは、インターネット上で話題となったトピックを閲覧できるページです。 トピックページは、トピックに関連する記事の集合とトピックを表すタイトルから構成されます。 トピックページ生成の流れは以下の通りです。 トピック生成 トピック表すキーワード集合を獲得し、そのキーワードに関連する記事を収集する。 トピックタイトル生成 トピックに関連する記事の情報を利用してトピックを表すタイトルを生成する。 本稿では、Elasticsearchなどの検索技術を活用したトピック生成方法、および、CaboChaなどの自然言語処理技術を活用したトピックタイトル生成方法について説明します。 対象読者 Elasticsearchを利用している／したい方 検索技術、自然言語処理技術に関心の
Mackerel のフロントエンド "React化" プロジェクトを支える技術と設計 - Hatena Developer Blog
こんにちは, Mackerel 開発チーム アプリケーションエンジニアの id:susisu です. 現在 Mackerel では, Web コンソール画面の開発に使用しているフレームワークを, これまで使用してきた AngularJS から React へ移行することを中心とした, フロントエンド開発の刷新プロジェクトを行っています. このプロジェクトの立ち上げについては以前 Hatena Engineer Seminar で発表しましたが, そこでは時間の都合もあり, 技術的側面についてはあまり深く掘り下げることは出来ませんでした. ということでこの記事では, より技術的な面にフォーカスしてプロジェクトの内容をご紹介できればと思います. "React化" プロジェクトについて Mackerel の開発は 2014 年ごろから始まりましたが, フロントエンドのフレームワークとしては当初か
データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU
はてなにおける機械学習の取り組みについて - Hatena Developer Blog
こんにちは、アプリケーションエンジニアのid:syou6162です。2018年になってしまいましたが、2017年のはてなにおける機械学習の取り組みについて振り返ってみたいと思います。 機械学習サブ会とは リソース/ツール整備 定例会 プロジェクトの近況を共有、より専門的な困り事を相談 技術共有/雑談 論文読み会/専門書の輪講会 社内で機械学習ハッカソンの開催 おわりに 機械学習サブ会とは はてなではより専門的な内容に関するエンジニアの小集団として、サブ会という制度が昨年から開始されています。昨年までは個人的に機械学習勉強会をランチタイムに運営していましたが、社内で正式にサブ会として認定されたことにより、業務時間内に活動しやすくなりました。このエントリではサブ会発足からの約八ヶ月の活動を振り返りってみたいと思います。 簡単に背景について説明しておきます。はてなは現在のところ、研究開発専門の部
はてなエンジニアの愛用キーボード調査（後編） 人気3機種の愛用者に使い心地を聞いてみました - はてなニュース
「はてなエンジニアの愛用キーボード調査」後編では、アンケートで特に人気だった上位3機種「Happy Hacking Keyboard」「MacBook Pro内蔵キーボード」「kinesis（Contoured Keyboard）」を愛用中のエンジニアに取材。各機種の使い心地や一押しポイントを聞きました！ ■ 前編で発表したアンケート結果をおさらい 前編では、はてなエンジニアに向けて実施したキーボードについてのアンケート結果を発表しました。「仕事用にメインで使っているキーボード」を尋ねたところ、「Happy Hacking Keyboard」と「MacBook Pro内蔵キーボード」が同率1位、2つ合わせて回答全体の75％を占めるという結果に。外付けキーボードを使わず、ノートPC内蔵のキーボードをそのまま使っている人も多いようです。 ▽ はてなエンジニアの愛用キーボード調査（前編） HHK
はてなのサーバ・ネットワーク基盤技術を探究するインターンの紹介 - Hatena Developer Blog
Webオペレーションエンジニアの中で唯一のはてなインターン出身者である id:y_uuki です。この記事では、応募締め切り間近のはてなインターン2017の大規模システムコースを紹介します。 大規模システムコースは、はてなのサービスを支えるサーバ・ネットワーク基盤技術の開発・研究にチャレンジするコースです。 大規模システムを抱えるはてなならではの生の技術的課題を体感していただき、それらの課題の解決を通して、現場で通用する技術を学び、ウェブシステムの基盤技術に興味を持っていただきたいという思いで、このコースを開催しています。 はてなは、はてなブックマークやはてなブログをはじめとした多数のサービスを開発・運用しており、日々増加するワークロードに耐えられるようなシステム開発・運用を求められます。 システム自体が落ちずに24時間365日動き続け、ユーザーの皆様に快適にサービスを利用していただくため
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
はてなブックマーク REST API | Hatena Developer Center
はじめに はてなブックマーク REST API を使うと、はてなブックマークのブックマーク、エントリーなどの情報を取得したり、新規に作成・投稿したりできます。 本ドキュメントに関する注意事項 API の仕様は予告なく変更される可能性があります。 過剰な連続アクセス、 User-Agent を正しく指定しないアクセスなどは予告なしに制限をかける場合があります。 バージョン 2013年8月、バージョン1が提供されました。 認証 本 API は OAuth によるユーザー認証に対応しています。OAuth 認証の詳細に関しては、はてなサービスにおける OAuth を参照してください。 提供するフォーマット JSON 形式をサポートしております。各 API の出力の例をご覧ください。 ブックマーク API 名前実行する操作
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
B!KUMA ガールズ ー 女子のニュースとガールズトークをお届け on the App Store
■iPhoneアプリのニュースカテゴリで1位を獲得！■ ガールズトーク満載のブログや、エンタメ、レシピ、インテリア、旅行などの女子向けニュースを、かわいいクマがお届け。気になる話題には、コメント機能で参加しよう！ ●おしゃれ・恋愛・エンタメなど11ジャンル 「おしゃれ・美容」「旅行・おでかけ」「インテリア・雑貨」「恋愛・結婚」「ごはん・レシピ」「スイーツ・お菓子」「暮らし・家族」「どうぶつ」「エンタメ・キャラクター」「ガールズブログ」「はてなニュース」の11ジャンルからお届けします。 ●コメントで盛り上がろう！ 気になる話題やニュースには気軽にコメント！ みんなのコメントが読めるから、同じ話題で盛り上がれます。 ●ブックマークして何度でも読めます 何度も読みたい記事や、あとでじっくり読みたい記事はブックマーク（お気に入り）に保存できます。 お気に入りの記事は、TwitterやFaceboo
はてなみたいな自作1Uハーフサーバーが完成。 - 怒涛のSyntax Error
じゃーん。 「はてながやるなら俺もやる」ということで、自作１Uハーフサーバーの設計に挑戦してきましたが、とりあえずこの通り形になりました。 はてなさんサーバーと比べて大差ないことが分かると思います。 というか、パクリです。 さてさて、このサーバーの詳細ですが、 イメージしたのは「男的サーバー」 まず、ケース本体はスチールのアルマタイト仕上げ。 写真では分かりませんが、やや輝きを放つブラックです。 ラック用ステー（耳の部分）は分離させ、ステー本体を長めに設計することで ケース本体を可能な限り広く支えます。これにより、以前のプロトタイプとは比べ物にならないくらい強度が つきました。そして、ステーの部分は可変式を採用。 ケース厚は1mmでやや薄いですが、各折り返し部分を溶接することにより、 ゆがみに対する強度を持たせています。 前回のプロトタイプでの失敗から、 ネームプレートや、放熱ファン用ステ
はてな技術勉強会 #1 資料&録画公開 - Hatena Developer Blog
前回のはてな技術勉強会 #1の資料と録画を(ようやく)公開します。 「iPhoneアプリ開発入門編」id:ninjinkun (はてなココアプリ開発者) iPhoneアプリ開発に必要となる知識の入門編です。主な内容は以下のとおりです。 iPhoneアプリ開発の流れ XCode、Interface Builder入門 UIViewの構造説明 簡単なサンプルプロジェクトの作成 iPhoneアプリ開発講座入門編View more presentations from ninjinkun. 位置情報の取説 by id:chris4403 位置情報の取り扱い方について、Geohash、mysqlのgeometry型など、はてなココでの実例をおりまぜつつ解説します。 アジェンダ 自己紹介 はてなココ紹介 位置情報の基本 位置情報を取得する 位置情報を記録する Geohash 位置情報を表示する 自己紹
インターン講義8日目「データ構造」 - Hatena Developer Blog
少し遅くなってしまいましたが、インターン講義Ustreamの最終回です。最終回はうごメモエンジニアid:birdie7による「データ構造」です。データ構造の概要から、B-Treeについてまでを解説しています。 インターン自体は、既に後半に入っており、実際のサービスのコードに機能追加を行っています。ちゃくちゃくと実装が進んでおり、来週にはリリースができそうです。 講義#8: データ構造 自己紹介 うごメモエンジニア 動画像処理 業務で使っている言語 C/C++、perl 今までやった主な仕事 うごメモ作品・コメント変換部 (C++等) うごメモ写真検出、高速点滅検出 (C++、XS) 直線検出、位置推定 (C++、XS) うごメモ検索 (Solr) ランキング (Hadoop)他、集計的業務 その他エンジニアリングディレクター的仕事 うごメモとは http://ugomemo.hatena.
はてなでの仮想化技術の使い方@AMDセミナー - とあるはてな社員の日記
先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。 はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はてなではサーバリソース利用率の向上と、システムの安定化の二つの利点を重視しています。サーバを仮想化していく際に、どのようなポリシーで一つの物理的なサーバに仮想化ホストを積み重ねているか、とか、実際どれぐらい効率を上げられているか、とか、あとAMDさんのセミナーなので、消費電力的にはOpteronが実測結果からは10〜20%程度効率がいい(負荷時にOpteron 1.82A, Xeon 2.17A)、というあたりの話をしてきました。 How to use Virtualization Technology in HatenaView more presen
はてなブックマークのお気に入り関連をゴニョゴニョといじくる。
出力結果 出力結果(2010/05/01作成) 出力結果(2010/04/01作成) 出力結果(2010/03/24作成) 出力結果(2010/03/01作成) 出力結果(2010/02/01作成) 出力結果(2010/01/01作成) 出力結果(2009/12/01作成) 出力結果(2009/11/01作成) 出力結果(2009/10/01作成) 出力結果(2009/09/01作成) 出力結果(2009/08/01作成) 出力結果(2009/07/01作成) 出力結果(2009/06/01作成) 出力結果(2009/05/07作成) 出力結果?(2009/05/01作成) 出力結果(2009/04/01作成) 出力結果(2009/03/01作成) 出力結果(2009/02/01作成) 出力結果(2009/01/01作成) 出力結果(2008/12/02作成) 出力結果(2008/12/0
さくらインターネット移行記#5 久しぶりの移転作業
だいぶ間が空いてしまいましたが、久しぶりのデータセンター移行記です。 アンテナ、カウンター、検索を移転 完全移行もぼちぼちゴールが見えて来た今日この頃ですが、先日もサーバーの移行作業を行いました。はてなアンテナの巡回システム周り一式、はてなカウンター、はてな検索などをまとめて移行しました。今回の移行も深夜作業。夜の 2:00 に集合して作業開始です。上の写真は僕のメンテナンス時の作業着です。 サーバールームからサーバーを運び出します。台車が大活躍です。 ぎっしりサーバーが詰まっていた旧サーバールームも、だいぶ閑散としてきました。まだ 70 台近くのサーバーが残っていますが、開発機などを除くと残り 40 台程度になりました。年内には全部移行できるのではないかと思います。 アンテナやカウンターともなるとはてなの中では古いサービスなので、使っているハードも古い。移転にあたって古いサーバーはハード
不都合なはてブ : 404 Blog Not Found
2007年04月20日16:45 カテゴリBlogosphere 不都合なはてブ この観点から見ると首を傾げざるを得ない特徴が一つある。 naoyaグループ - naoyaの日記 - 個別の公開と非公開 実装しようと思えば多分半日もかからないと思うなあ。じゃあ2年もサービスやっててなんで実装しないか。ユーザーの行動に制約をつけるため、と思っている。 ブックマークではなく、URIそのものが「プライベート」なものまで、そのままブックマークされてしまうことである。 その代表的なものが、以下だろう。 はてなブックマーク - mixi.jp の注目エントリー 当たり前だけど、これらでブックマークされたURIの内容は、mixiの会員にしかアクセスできない。こういった「ソーシャル」ではあるけど「パブリックでない」URIは非公開が原則なのではないか。少なくとも、SNSのURIはそうするべきである。 もちろ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブックマーク in Scala
Elasticsearch in hatena bookmark
http://www.kde.ics.tut.ac.jp/~sugiyama/sbm/hatebufriends.html