こんにちは、DSOC 研究開発部の奥田です。以前の私のブログ記事ではコーギーの動画を見ていると書きましたが、とうとうコーギーを家族として迎え入れ、現在生後6ヶ月の子犬と暮らしております。 さて私たちDSOCでは、SansanやEightの価値を高めるために様々な自然言語処理のタスクに取り組んでおります。例えばニュース記事からの固有表現抽出では、私たちのサービスに特化した固有表現を対象に研究開発しています。その他にも様々あるなかで、特に重要かつ困難とされているものの一つに「名寄せ」というタスクがあります。AIや人工知能と呼ばれるものが発達した現代においても、人間には当たり前にできるタスクが機械には難しいことがまだまだ存在します。 今回は、その「名寄せ」というタスクにおける日本語でのデータセットを作成してみました。これをきっかけに、日本語での名寄せというタスクの研究が進み分野が活性化することを

「Webサイトやアプリに提供する画像って必要最低限のサイズでいいけどそういうこと出来ないかな？」 こんにちは、タカフです。 Webサイトやアプリや作っていると、そこで表示している画像サイズって気になりますよね。 画像サイズが重ければそれだけで画面表示まで時間がかかり、Webサイトならページ表示速度という面でSEOにも響いてきます。 アプリに必要な画像サイズというのはその端末サイズでキレイに見れる分だけのサイズであればいいのです。 どういうことかと言いますと、 例えばアプリに表示すべき画像ファイルが、幅6000px・高さ4000pxのサイズで4MBもの大きなファイルだった時に、 実際アプリに必要な画像はretina対応を考慮してもせいぜい幅600px・高さ400pxの画像さえあれば良いというわけです。 こういう時に便利なサービスがあります。 アプリ側から画像サイズをパラメータとしてURLで指

利用するヘッダー CloudFrontは、リクエストヘッダーに基づいてコンテンツをキャッシュできます。 デバイス判断は、通常 User-Agent を利用しますが、User-Agent ごとにキャッシュを保存するとキャッシュ効率が悪くなります。そのため、CloudFrontでは、デバイスタイプごとにキャッシュを保存したい場合、以下のヘッダーを利用するようです。 CloudFront-Is-Desktop-Viewer CloudFront-Is-Mobile-Viewer CloudFront-Is-SmartTV-Viewer CloudFront-Is-Tablet-Viewer CloudFrontの設定 Edit Behavior Edit Behaviorを開きます。 Cache Based on Selected Request Headersの項目で設定します。 これでデバイ

こんにちは、シンクロ・フードの大久保です。 今回は実際に弊社で運用しているAWS Lambdaを使ったリアルタイム画像変換APIについてご紹介したいと思います。 リアルタイム画像変換APIについては、あまり詳しく説明しませんが、画像のサイズ変換等をURLパラメータで指定してリアルタイムに変換することです。 弊社の場合はリサイズしか行わないため、画像変換APIというよりは画像リサイズAPI、というほうが適切かもしれません。 リアルタイム画像変換の方法について 弊社の方法をご紹介する前に、リアルタイム画像変換の一般的な実現手法を挙げてみます。 Nginx, ApacheなどのWebサーバのプラグインを用いる CDNとして提供されている機能を用いる 1は、クックパッド社のmod_tofuが有名で、色々企業で実現されている手法です。サーバを用意しなければならない点や、冗長化を考えると弊社ではコスト

画像アップロード時のシーケンス図 今回は大量のuploadが同時に来ることを想定していないのと画像処理はしないものとしています。ここは単にRailsがS3に受け取った画像をuploadして保存したS3のkeyをDBに保存するだけです。このとき、S3に保存するkeyがURLの一部になるので推測不可能なハッシュ値で保存するようにしておきます。もちろん、Railsを通すのでアプリケーション側での認証が可能です。 ちなみに、この部分もオフロードしたい場合は、S3のpresigned URLを発行し、そのURLに対してuploadしてもらうのが良さそうだと料理画像判定のためのバックエンドアーキテクチャを見て作った後に思いました。 画像取得時の処理シーケンス 画像取得時のシーケンス図 署名付きURLは、画像リストの取得時にCloudFrontが使う秘密鍵と同じ鍵でURLを署名してクライアントに返します

將依所在地導向對應的站點。

Macアプリ「Microsoft Remote Desktop」を使って、MacからWindowsへリモートデスクトップ接続する方法を紹介します。 リモートデスクトップとは、スマホ・タブレット・パソコンからWindowsをネットワーク経由で操作することができる遠隔操作機能のことです。 Windowsを接続先として設定する場合はこちらを参考にしてください。 Windows 11 リモートデスクトップを有効にするWindows 10 リモートデスクトップを有効にするWindows 8 リモートデスクトップの設定と接続する Macアプリ「Microsoft Remote Desktop」 まずは、こちらからMacアプリ「Microsoft Remote Desktop」をインストールしましょう。 MacからWindowsへリモートデスクトップ接続 それでは、Macアプリ「Remote Deskt

CentOSでIRCサーバーを構築する LINEやSkypeやチャットワークなどのコミュニケーションツールが流行っていても、やはり社内チャットの定番はIRC（Internet Relay Chat）！そこで今回はCentOS6にIRCサーバーを構築する方法をご紹介します。IRCサーバーは社内にも立てられますが、さくらVPSなど外部サーバーを使った場合も想定してSSL通信で暗号化する方法も解説いたします。 ircd-hybridをインストール IRCサーバーのミドルウェアはいくつかありますが、今回はCentOS標準で用意されているircd-hybridをインストールしてみます。 $sudo yum install -y ircd-hybrid これでircd-hybridがインストールされ、/etc/ircd/ircd.confが作成されますが、標準で用意されているircd.confはかなり

Linuxで稼動させているApacheにて認証が必要なWebサービスに、Windowsドメイン(Active Directory)の認証情報を使って、シングルサインオンを実現させるまでの手順を備忘録として残しておきます。 今回、ブラウザは、IEとFirefoxにて動作確認を行いました。 Windowsドメインログオンをしているクライアントから、上記2種類のブラウザを使うと、NTLM認証※を利用しているWebサービスには、認証済みのドメインログオンの情報を利用することができ、ユーザ名やパスワードを入力する必要の無いシングルサインオン環境が実現できます。 ※NTLM認証（NT LAN Manager authentication）とは - IT用語辞典 e-Words 前提 今回利用した構成は以下のような感じ。 Webサーバ CentOS 5 Apache 2.2 + mod_auth_ntl

【2016/09/10追記】 勉強しなおして、Elasticsearchの知識についてさらにまとめた記事を書いたので、そちらを参照してもらうと良さそうです。 blog.shibayu36.org 最近Elasticsearchの勉強をした。ただ、入門のためどのような資料が適しているかを知るのが大変だった。そこでどのように勉強したかについてメモをしておく。少しまとめエントリー的なノリになりそう。 Elasticsearchの概念を知る 全文検索技術の基本を知る Elasticsearchのドキュメントのたどり方を知る の順に学習を進めていった。 Elasticsearchの概念を知る Elasticsearchの学習を始めようとした時に、まずは基本からということで以下の本を読んでいた。 高速スケーラブル検索エンジン　ElasticSearch Server (アスキー書籍) 作者:Ｒａｆａｌ

LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目の技術でもあります。 今回は、その中で全文検索サーバとしての切り口で分かりやすく解説された6つの記事を紹介します。 （追記）Hello! Elasticsearch. — Medium ナレッジワークス株式会社のKunihiko Kidoさんによるとても分かりやすい記事です。 https://medium.com/hello-elasticsearch 2014年4月に入ってから怒濤の勢いでこれらのステキな記事が追加されています。 Elasticsearch Features — 主にシステムを中心とした特徴まとめ Elasticsearch Quic

CentOS 6.5 に Elasticsearch をインストールする機会があったので、忘れないようにメモしておきます。特別なことはしてなくて、ほぼドキュメントのままです。 OS とミドルウェアのバージョンは以下のとおり。 CentOS 6.5 (x86_64) OpenJDK 1.7.0_51 Elasticsearch 0.90.11 OpenJDK のインストール Elasticsearch は Java で書かれているので、まず JDK をインストールします。今回は OpenJDK を使いましたが、Oracle Java でも大丈夫です。 # yum install java-1.7.0-openjdk # java -version java version "1.7.0_51" OpenJDK Runtime Environment (rhel-2.4.4.1.el6_5-x

[備忘録] Fluentd, Elasticsearch, Kibana の各種インストール手順 環境 Vagrant を使用した Ubuntu 14.04 下記、 Vagrantfile で立ち上げ # -*- mode: ruby -*- # vi: set ft=ruby : # Vagrantfile API/syntax version. Don't touch unless you know what you're doing! VAGRANTFILE_API_VERSION = "2" Vagrant.configure(VAGRANTFILE_API_VERSION) do |config| config.vm.box = "chef/ubuntu-14.04" config.vm.network "private_network", ip: "192.168.33.10"

elasticsearchをインストール 2013/9/24時点での最新バージョンであるelasticsearch0.90.5をインストールします。 最新バージョンに関しては公式サイトで確認してください。 wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.tar.gz -O elasticsearch.tar.gz tar -xf elasticsearch.tar.gz rm elasticsearch.tar.gz mv elasticsearch-* elasticsearch

海外で格安SIMは利用できるのでしょうか？海外旅行・海外出張に行った際の通信を安く済ませるために格安SIMでスマホを使いたい方も多いはず。この記事では格安SIMが海外で使えるかどうかのほか、海外現地の格安SIMや、海外旅行に役立つ格安SIMとデータ通信の知恵をまとめてご紹介します。 格安SIMの申し込みを検討しており海外でも使えるのか知りたいと考えていませんか。 海外出張や海外旅行が多い人にとって、国内だけでなく海外でも使えたら便利でしょう。 そこで、今回は海外でも利用できる「国際ローミング」に対応したおすすめの格安SIMを紹介します。 また、使用する際の注意点や格安SIM以外の手段についても解説します。 楽天モバイルキャンペーン実施中 iPhone SE（第3世代）が実質1円Rakuten Hand　５Gが実質1円月額1,078円(税込)～3,278円(税込)で容量無制限（ポイント支払い

2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela

Image Credit : krzysztof-mによるPixabayからの画像 Ext4のみサポートだったLinux版Dropboxがzfs、xfs、eCryptFSをサポートするアップデート Dropboxは、Linux用の公式クライアントが用意されている数少ないクラウドストレージサービスです。DropboxのLinux版クライアントは、zfs、xfs、btrfs、eCryptFSを元々サポートしていましたが、２０１８年後半にサポート対象から外されてExt4のみに対応していました。 しかし、今回公表されたバージョン（Beta Build 77.3.127）ではExt4に加えてzfs、xfs、btrfs、eCryptFSのサポートが再び追加されています。 以下がBeta Build 77.3.127で追加されている内容の一部です。公式ページからの引用となります。まだベータ版ですがいずれ