Elasticsearch の reindex をするために試行錯誤して分かったこと - Uzabase for Engineers
こんにちは。NewsPicksでエンジニアやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジン開発を担当しております。弊社は、検索エンジンとして Elasticsearch を Amazon EC2 に乗せて構築しておりますが、メンテナンスに消極的だった部分があり、これからはマネージド化や検索精度向上など積極的に取り組んでいきたいと考えております（伸びしろしかない！）。今回は、その中でも色んなタスクのボトルネックだったアルゴリズムを変更した話をしたいと思います。ただ、アルゴリズムの詳細よりもそれの変更のために行ったインフラ的な内容にフォーカスしております。ご興味ある方は是非読んでいただけると嬉しいです。 はじめに ちょっとまって、reindex とは？ 本題に戻り reindex の実験 実験環境づくり そもそも Elasticsearch のシステ
30 分でわかる！アルゴリズムの基本
このスライドは、2022/4/14 に実施されたイベント『問題解決のための「アルゴリズム × 数学」- Forkwell Library #1』の基調講演を加筆修正したものです。実際の講演（35 分）を見たい方は、以下の URL をご覧ください。 https://www.youtube.com/watch?v=2OrsR37_GdM 【目次】 第一章 アルゴリズムとは（pp. 1～19） 第二章 アルゴリズムの例 A：迷路の探索（pp. 20～79） 第三章 アルゴリズムの例 B：プログラムのデバッグ（pp. 80～126） 第四章 アルゴリズムの例 C：映画鑑賞の最適化（pp. 127～154） 第五章 講演のまとめ（pp. 155～162）
Python言語による実務で使える100+の最適化問題 | opt100
はじめに 本書は，筆者が長年書き溜めた様々な実務的な最適化問題についてまとめたものである． 本書は，Jupyter Laboで記述されたものを自動的に変換したものであり，以下のサポートページで公開している． コードも一部公開しているが，ソースコードを保管した Github 自体はプライベートである． 本を購入した人は，サポートページで公開していないプログラムを 圧縮ファイル でダウンロードすることができる． ダウンロードしたファイルの解凍パスワードは<本に記述>である． 作者のページ My HP 本書のサポートページ Support Page 出版社のページ Pythonによる実務で役立つ最適化問題100+ (1) ―グラフ理論と組合せ最適化への招待― Pythonによる実務で役立つ最適化問題100+ (2) ―割当・施設配置・在庫最適化・巡回セールスマン― Pythonによる実務で役立つ
paiza、大人気ゲーム「STEINS;GATE（シュタインズ・ゲート）」とコラボしたITエンジニア向けプログラミングゲーム「電脳言語のオルダーソンループ」を本日より無料公開！
paiza、大人気ゲーム「STEINS;GATE（シュタインズ・ゲート）」とコラボしたITエンジニア向けプログラミングゲーム「電脳言語のオルダーソンループ」を本日より無料公開！ ITエンジニア向け国内最大の転職・就職・学習プラットフォーム「paiza（パイザ）」を運営するpaiza株式会社（本社：東京都港区、代表取締役社長 片山良平）は、本日より、株式会社MAGES.が提供する大人気ゲーム「STEINS;GATE（シュタインズ・ゲート）」とコラボしたプログラミングゲーム「電脳言語のオルダーソンループ」を一般向けに無料公開いたします。 電脳言語のオルダーソンループ：https://paiza.jp/steins_gate ■大人気ゲーム「STEINS;GATE」とpaizaのコラボ「電脳言語のオルダーソンループ」について 「電脳言語のオルダーソンループ」は、プログラミング問題を解いて物語を進
個人出版した電子書籍の表紙画像をプログラムで生成してみた - karaage. [からあげ]
個人出版した本の表紙をどう作るか問題 先日KDP(Kindle Direct Publishing)で「ゼロから始める情報発信」という書籍を個人出版しました。 ゼロから始める情報発信: No Output, No Value 作者:からあげAmazon 書籍を個人出版したとき、何に一番悩んだかというと装丁ですね。電子書籍の場合は、ずばり「表紙画像」そのものです。書籍の表紙は、顔のようなものですからね。いくつかKindle個人出版関係の書籍も読みましたが、読まれる数に直結するのが表紙のようです。 表紙の重要性は、出版社から出る商業誌でも同じです。出版社から出す場合は、出版社が、それはもう力を入れて表紙を作ってくれるので、作者は悩む必要はありません（作者が表紙まで意図的にコントロールしたい場合は別）。前に、出版社から出した書籍「AI自作教室」の装丁に関しては、詳しくは以下ブログ記事参照ください
![個人出版した電子書籍の表紙画像をプログラムで生成してみた - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1a551164d3f8c9806d746114ba3160d06c458307/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20210702%2F20210702093543.png)
リバーシプログラムの作り方 サンプル
序章 はじめに リバーシのルール ソースコードの記述について 第１章 盤面の処理 1.1 定数と関数の定義 1.2 盤面の生成、初期化 1.3 石を返す処理 1.4 返せる石数を調べる処理 1.5 盤面をコピー、反転させる処理 1.6 その他の盤面処理 1.7 盤面の操作と表示 第２章 ゲーム木と探索 2.1 コンピュータ思考の関数定義 2.2 各関数の実装 2.3 ゲーム木 2.4 MinMax法とNegaMax法 2.5 αβ法 第３章 盤面の評価 3.1 評価関数の定義 3.2 パターンによる局面評価 3.3 評価クラスの構造 3.4 評価クラスの生成とファイルの読み書き 3.5 評価関数の実装 3.6 評価パラメータの更新 3.7 中盤の探索 3.8 自己対局による学習 第４章 性能改善 4.1 石数取得の高速化 4.2 着手の高速化 4.3 候補手リストの導入 4.4 終盤探索の
ディープラーニングを活用したレコメンドエンジン改善への取り組み - ZOZO TECH BLOG
はじめに こんにちは、推薦基盤部の与謝です。ECサイトにおけるユーザの購買率向上を目指し、レコメンデーションエンジンを研究・開発しています。最近ではディープラーニングが様々な分野で飛躍的な成果を収め始めています。そのため、レコメンデーション分野でも研究が進み、精度向上に貢献し始めています。本記事では、ディープニューラルネットワーク時代のレコメンド技術について紹介します。 目次 はじめに 目次 パーソナライズレコメンドとは 深層学習より前の推薦手法 協調フィルタリング Matrix Factorization SVD（Singular Value Decomposition） Factorization Machine 深層学習を使った推薦手法 ニューラルネットワーク推薦手法に対する警鐘 Recboleプロジェクト Recboleプロジェクトを用いた各アルゴリズムの検証 General Re
Diversity(多様性)のある推薦システムとは何か？ | Wantedly Engineer Blog
Wantedly の Matching Squad でデータサイエンティストをしている関根( twitter: @ndnto, github: @hiroto0227 )です。Matching Squadでは主に企業とユーザーの理想的なマッチングを実現することを目的として、検索システム・推薦システムの改善を行っています。 モチベーション去年の秋ごろに RecSys2020 に参加して最新の推薦システムの技術についてキャッチアップをしました。最近の傾向の一つとして、推薦システムはユーザーの関心の高い(適合度の高い)アイテムを推薦するだけではなく、 Diversity (多様性)や Novelty (新規性)を追求することで、ユーザーにより良いアイテムを推薦することがあるように感じました。 Wantedly RecSys 2020 参加レポート① - Wantedly Data チームで Re
近似最近傍探索の最前線
MIRU 2019 チュートリアル http://cvim.ipsj.or.jp/MIRU2019/index.php?id=tutorial 松井 勇佑（東京大学生産技術研究所）http://yusukematsui.me/index_jp.html ベクトルの集合を前にして新たにクエリベクトルが与えられたとき、そのクエリに最も似ているベクトルを高速に探す処理を近似最近傍探索という。近似最近傍探索は画像検索をはじめ様々な文脈で用いられる基本的な操作であり、速度・メモリ使用量・精度のトレードオフの中で様々な手法が提案されている。本チュートリアルでは、アプローチや対象とするデータの規模に応じて近年の手法を分類し、その概観を示す。また、各手法に対応するライブラリを紹介し、大規模データに対する探索を行いたい場合にどのように手法を選択すべきかの道筋を示す。
桃太郎電鉄の「いけるかな」を実現する高速なアルゴリズムの実装と考察 - Qiita
この記事は「データ構造とアルゴリズム Advent Calendar 2020」16日目の記事です。 15日目の記事はyurahunaさんの「木分解上の動的計画法」で、 17日目の記事はtsukasa__diaryさんの「Lawler の K-Best 列挙アルゴリズム」です。 この記事内で使用しているプログラムやそのテストプログラムは全て以下のGitHubリポジトリで閲覧可能です。プログラムの詳細に興味がある方はこちらをご覧ください（ついでにStarを押していってくれると喜びます🙂）。 Github: ashiba/Imprementation_of_IKERUKANA: Momotaro Dentetsu is a game. 変更履歴 2020/12/21に「最終的に貧乏神が付かない移動方法 ～貧乏神持ちの場合～」, 「最終的に貧乏神が付かない移動方法 ～貧乏神がついていない場合～
どのようにしてGoogleは重複URLを検出し正規化しているのか？
[レベル: 上級] Google の Gary Illyes（ゲイリー・イリェーシュ）氏と John Mueller（ジョン・ミューラー）氏、Martin Splitt（マーティン・スプリット）氏の 3 人が『Search Off the Record』というタイトルで SEO をテーマにしたポッドキャストを配信しています。 エピソード 9 では、重複コンテンツの処理についてゲイリーが詳しく説明しました。 Google 検索の内部の動きに関心がある人にはとても興味深い内容です。 この記事で内容を完結にまとめます。 Google が重複を検出し正規化する仕組み 重複コンテンツの処理は次の 2 つのプロセスで成り立っています。 重複検出 正規化 それぞれを順に説明します。 重複検出 重複検出は、URL は異なるけれど中身が同一のページを識別するプロセスです。 同じあるいはほぼ同じとみなしたペー
「実用的でないPythonプログラミング」がよかった - Stimulator
はじめに 2020/8/12に発売されたImpractical Python Projects: Playful Programming Activities to Make You Smarterの日本語訳書である、「実用的でないPythonプログラミング」をひょんな事から献本していただく事になった。（訳者が同僚である） 実用的でないPythonプログラミング: 楽しくコードを書いて賢くなろう! 作者:ヴォーン,リー発売日: 2020/08/12メディア: 単行本 ありがちなプログラミング初学者向けの本から1段上がった中級者向けの良い本だと感じたので、当ブログでたまにやっている筆者、訳者に媚びを売るシリーズの一貫として、感想を記す。 書籍の概要 「実用的でないPythonプログラミング」は、想定する中級レベルのアルゴリズムの問題を例に取り、Pythonでの美しいコードの書き方や、コンピュ
算数の教養がほとんどないプログラマが1年間AtCoderをやった結果の振り返り｜きりみんちゃんノート
こんばんみんみん。 バーチャル幼女プログラマーという肩書でインターネットをやっているきりみんちゃんというものです。 去年の7月に競技プログラミングのAtCoderを始めてだいたい1年くらい経ったので、勉強したこととかを振り返りたいと思います。 で、誰？YouTubeでAtCoderの過去問を解く配信をしたり、Twitterで無限にAtCoderについてつぶやいたりしているVTuberです。 普段の仕事での専門分野はAndroidアプリ開発です。 半年くらい前にAtCoderを普通の社会人エンジニアに布教するエントリを書きました。 また、技術書典で「AtCoderの歩き方 -数学が得意じゃないエンジニアにこそ競技プログラミングを布教したい！-」という本を出したりもしました。 現在のAtCoderコミュニティの中心層は理系の学生やもともと数学がかなり好きなタイプの人たちです。 一方きりみんちゃ
機械学習の代表的アルゴリズム「SVM」「k平均法」「アプリオリ法」とは？
関連キーワード データ分析 | 機械学習 | アルゴリズム 前編「機械学習の代表的アルゴリズム『線形回帰』『決定木』とは？」は、主要な機械学習アルゴリズム5種類のうち「線形回帰」「決定木」について説明した。後編は残る3種類の機械学習アルゴリズムを紹介する。 併せて読みたいお薦め記事 前編を見る 機械学習の代表的アルゴリズム「線形回帰」「決定木」とは？ AIで何ができるのか AIの本当のすごさ、3つのユースケースから学んだこと AIフィーバーはまだ冷めない 次はどの分野でAIが活躍するか？ 結局、人工知能（AI）技術は何を可能にするのか？ AIのビジネス活用 GoogleのAIが指南する最先端デジタルマーケティング 「キスの仕方」動画も ゲーム業界のデジタルマーケティングに「AI」はどう活用されているか 「Alexa、油汚れの落とし方を教えて」を実現 P＆Gも挑む“顧客とつながるAI” アル
挿入ソートと選択ソートは双対 - Qiita
先日 Gotanda.hs #1 @HERP というイベントがあって、そこでRecursion Schemesで考える並べ替えアルゴリズムというタイトルでA Duality of Sortsという論文の話をLTしたんですが、この記事ではそこで話せなかった論文の後半で解説されている挿入ソートと選択ソートの双対性について書いていきたいと思っています。 ソートアルゴリズムの復習 まずは主役の二人である挿入ソートと選択ソートについて見ていきましょう。 挿入ソートは与えられたリストの先頭から要素を取り出し、これまでに構築したソート済みのリストに挿入していくという処理を繰り返すことでソートを実現するアルゴリズムです。 出典: Insertion sort - Wikipedia これをHaskellで実装すると以下のようになります。 insertSort :: [Int] -> [Int] inser
モデル予測制御を並列処理する高速アルゴリズム 京都大学が開発
京都大学は2019年9月11日、同大学情報学研究科博士後期課程に在籍するトウ（漢字は「登る」にこざと編）昊洋氏と、同大学情報学研究科の教授である大塚敏之氏が、実時間最適制御（モデル予測制御）を並列計算によって高速実行するアルゴリズムを開発したと発表した。マルチコアプロセッサの性能を最大限活用でき、安価なプロセッサを複数使用することでモデル予測制御の実装コスト削減も期待できる。 最適制御問題とは、制約条件下で最適な動きを求める問題で、温度制御や制動制御（アンチロックブレーキシステム）、ロケット着陸など、さまざまな制御に応用できる。中でもモデル予測制御は、刻々と変化する状況に応じて最適制御問題を実時間で解き直しながら制御する手法で、現在最も使われている先端の制御方法だ。例えば、自動車の自動運転や電力系統の安定化、化学反応の効率化、人工膵臓（すいぞう）などに利用されている。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ルールベース画像処理のススメ
アルゴリズムビジュアル大事典
TechCrunch
アルゴリズムがつくる「公正さ」には、差別を助長する危険性が潜んでいる：伊藤穰一