Recruit Engineers Advent Calendar 2019 本記事は Recruit Engineers Advent Calendar 2019 6日目の記事です。 adventar.org 昨日の記事はPoohSunnyさんの、 poohsunny.hatenablog.com でした。 もくじ Recruit Engineers Advent Calendar 2019 もくじ Amazon SESとは Amazon SESでできること / できないこと できること できないこと ベストプラクティス&アンチパターン メールを送るとき 上限値・サンドボックス制限 送信方法 SendRawEmailの挙動 専用IPアドレス 送信ログ取得 メールを受け取るとき 受信設定 受信ルール / 受信ルールセットについて 受信ルール 受信ルールセット Eメール受信イベントのハンドリ
MySQL 8.0.18 の実装を読み解きながら簡単なストレージエンジンを自作する - それが僕には楽しかったんです。
はじめに MySQL をビルドする ストレージエンジンを自作する Example エンジンをベースにする handlerton の作成とインスタンス化 テーブルを作成する 余談・気になったところ テーブルを開く INSERT の実装 ha_tina の存在 テーブルスキャン store_lock の実装 external_lock の実装 rnd_init の実装 info の実装 extra の実装 rnd_next の実装 おわりに はじめに 卒論書くのに飽きてきて何かやりたくなったので急にストレージエンジンを書くことにしてみた。 MySQL のストレージエンジンを実装していく中で、色々できるかなと思っていたけど、やってみると MySQL の内部実装について色々知らないといけないことが多くインデックスとかトランザクションとかそういうところは実装できなかった。 github.com My
最新の情報を利用する場合は、キャッシュレス・消費者還元事業（https://cashless.go.jp/）のページより入手してください。 処理実装今回読み取りに使用するPDFは、以下のように店舗が一覧化されています。この一覧から、「No.」「都道府県」「市区町村」「事業所名（屋号）」「業種」「業種（サブカテゴリ）」「還元率」の7種類の情報を個別の文字列として取得しましょう。 ちなみにいろいろひっかかるこの一覧。「伊達の牛タン本舗」の各店でスペース有り無しが混在しているのが細かいけどすごく気になるし、No.10001にはおそらく間違いが２つ存在してます。まず気になる文字化けはハイフン。その上で「だし廊」と「だし廊 -NIBO-」は別店舗。この一覧の作者は詰めが甘いように思う。。 こんにちは！だし廊本店です！ 遅くなり申し訳ございません！ 今週の限定の献立表が出来ました！ 今週もだし廊でお待
自動テスト速度改善 - 自動テストが品質のボトルネックとならないために - freee Developers Hub
freee人事労務の品質改善を専任で活動している keik です。 freee人事労務ではアプリケーション開発の自動テスト環境として CircleCI を利用しています。すべてのコードの変更は GitHub 上の Pull Request を経由して行われますが、Pull Request のマージ条件の一つとして自動テストをパスすることを求めるようにしています。 つまり、どんな些細な変更であっても、急ぎの変更であっても、リリースするためには基本的には自動テストの結果を待つ必要があります。一方で、コードベースは日々成長しており、それに比例して自動テストの実行時間も長くなっています。 ここに、ゆっくりと、ジレンマが生じはじめます。 品質を高める目的の自動テストだが、実行時間が長いと品質のボトルネックになりうる。 具体的には以下のようなシナリオが考えられます。 些細な改善が億劫になる（自動テスト
【全編無料】GoogleやAdobeなど実力ある講師が多数登場、マーケ・デザイン・プログラミング・ゲーム作成などが学べるオンライン学習プラットフォーム「Udemy」のおすすめ無料講座7選
新たなスキルを身につけたいと思った時に問題になるのが「どうやって身につけるか」です。インターネットが発達したおかげで、書籍以外にもさまざまな方法を選べるようになりましたが、新しい方法というのはなかなか手を出しづらいもの。今回は、ムービー形式で講座を受講できるというサービス「Udemy」から、ムービーの分かりやすさを実感できそうな良質な無料講座をピックアップしてみました。比較的簡単なものからよりレベルアップできる講座の順番に並べており、最後のJavaScriptの講座ではステップアップできる講座を関連講座として用意しているので参考にしてみてください。今回掲載しているすべての講座が無料なので、ムービー形式の講座がどんなものなのか、自分に合っているのかを気軽に試すことが可能です。さらに今なら8月18日(水)まで「Udemy夏のビッグセール」が開催中とのことで、もっと学んでみたいトピックが見つかっ
こんにちは！虎の穴ラボのNSSです。 虎の穴ラボではオライリー・ジャパン社の定期購読サービスを利用しており、 毎月新刊をいち早く読めるようになっています。 今回は12/24に刊行された「Pythonによるファイナンス(第２版)」を読んだ感想を共有したいと思います。 www.oreilly.co.jp 読もうと思ったきっかけ 数年前から少しだけ投資をしていたので、タイトルから興味を惹かれました。 Pythonを使って自分の投資ポートフォリオを評価したり、自動取引ができたら楽しそうだと思いました。 目次 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタ
Announcing New Tools for Building with Generative AI on AWS | Amazon Web Services
AWS Machine Learning Blog Announcing New Tools for Building with Generative AI on AWS The seeds of a machine learning (ML) paradigm shift have existed for decades, but with the ready availability of scalable compute capacity, a massive proliferation of data, and the rapid advancement of ML technologies, customers across industries are transforming their businesses. Just recently, generative AI app
フリーランスエンジニアのMasaki（@plus_one_masaki）さんは6月18日、表計算ソフト「Microsoft Excel」風のUIで操作できるCSVエディタ「CSV＋」のプレビュー版を、自身のWebサイトで無償公開した。Windows、Mac、Linuxに対応。開いたファイルをタブで管理できる機能も備える。 プレビュー版では、セルを範囲選択したり、並び変えたりできる他、語句の検索も可能。Excelと同様、プリンタにデータを送る機能も備える。 CSVはComma Separated Valueの略で、カンマで値や項目を区切ったテキストファイルを指す。さまざまな表計算ソフトで読み込めるため、統計データをオープンソースとして公開するときなどにも一般的に使われている。 一方、CSVファイルをExcelで読み込もうとすると、0から始まる電話番号などが書かれたファイルを正常に読み込めなか
本記事ではElasticsearchとBERTを組み合わせて類似文書検索を行う方法について紹介します。Elasticsearchでは最近、ベクトルに対する類似文書検索の機能が実装されました。一方、BERTを使うことでテキストを固定長のベクトルに変換することができます。つまり、BERTを使ってテキストをベクトルに変換すれば、Elasticsearchを使って類似文書検索ができるということになります。 本記事では以下のアーキテクチャでElasticsearchとBERTを組み合わせた検索システムを実現します。Dockerを使ってアプリケーション、BERT、Elasticsearchのコンテナを分けることでそれぞれをスケールしやすくする狙いがあります。記事中では重要な部分のみ提示しますが、システム全体はdocker-composeのファイルとして記述しこちらのリポジトリに置いてるので、参照してく
ChatGPT Code Interpreter を利用して、お手軽にデータ分析・可視化 - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」は、ChatGPT上でPythonのコードを生成・実行する仕組みを持っています。 これまでも、ChatGPTで、プログラムのソースコードを出力することは可能でしたが、実行まではできませんでした。 「Code Interpreter」は、ChatGPTの有料版で利用することが可能ですが、ユーザーが自然言語で指示や要求を出すだけで、 ChatGPTがその内容を理解し、ソースコードの生成から実行まで行えたり、既存のコードを解釈してその動作を説明したりすることが可能になります。 openai.com 本記事では、この「Code Interpreter」を利用して、CSVファイルを元に、データの可視化を行ってみま
《この記事は約 28 分で読めます（1分で600字計算）》 前回の記事では、2022年の電子書籍ライトノベル市場を65.1億円と試算しました。他方、出版社へのヒアリングをもとに「多めに見積もっても20億円台」と推測する声もあります。実際のところ、紙と電子のライトノベル市場はいまどうなっているのか？ さらに調査・試算・考察してみました。少々長い記事なので、結論だけ見たい方は末尾の「紙と電子のラノベ市場を足すと？」をご覧ください。 電子ラノベ市場を公開情報から試算 前回の試算で筆者は「ライトノベルは同シリーズの続刊が年に複数回出ることも多く、利用頻度は他ジャンルより高い可能性もある」と示唆しておいた。つまり、利用率だけを元に試算する前回のやり方は値が低めに出ているが、電子書籍のライトノベル市場はもっと大きいはずだ、と考えていたのだ。 仮にラノベが「20億円台」なら、それ以外で420億円だが……
プログラミングを挫折しないために必要な最重要能力は、『細分化』じゃないかと、実例から考える - Qiita
はじめに エンジニア歴がそろそろ10年になる。 これまでのキャリアで、さまざまな方に、ホームページやプログラミングを教えてきた。 バリバリ活躍している人もいれば、途中で挫折した人もいる。 自分の指導力はいったん傍に置いておいて、そういった方々はどこで差が付くんだろう？と考えてきた。 問題解決能力とか、コミュニケーション能力とか、大きな候補となる物に一つ、気付いた。 それは何か？結論を述べてしまうと、それは 細分化 じゃないかと思うようになってきた。 細分化とは何か？実例から説明していきたいと思う。 プログラミングの勉強をしていくと、どんな言語でも必ず、こんな問題は解くはずだ。 問題1 変数xが偶数であれば、「xは偶数です！」と画面に出力する。そうでなければ、「xは偶数ではありません！」と出力する 誰しもが、プログラミングの勉強の過程でこんな問題は解いた事があるはず。 実際のコードは、こんな
LINEギフトおよび提供を終了した弊社ECサービスにおけるデータの取り扱いに関するお知らせとお詫び | LINE Corporation | セキュリティ＆プライバシー
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。 LINEヤフー株式会社のコーポレートサイトはこちらです。 当ページに記載されている情報は、2023年9月30日時点の情報です。 このたび、LINEギフトおよび過去に弊社が提供をしていたLINEのECサービス（LINE FLASH SALE・アカウントコマース等）にて、不適切なデータの取り扱いがあったことを確認いたしました。 本件の概要について、下記のとおりご報告いたしますとともに、ユーザーおよび関係者の皆さまに多大なるご迷惑とご心配をおかけしましたことを、深くお詫び申し上げます。 なお、該当データには住所・電話番号・メールアドレスや、銀行口座・クレジットカード番号などは含まれておりません。また、2023年4月17日時点で情報の不正利用などの二次被害の発生は確認されておりません。 1. LINEギフトユーザー利用
2021年9月27日紙版発売 2021年9月22日電子版発売 上田隆一，山田泰宏，田代勝也，中村壮一，今泉光之，上杉尚史 著 B5変形判／488ページ 定価3,520円（本体3,200円＋税10%） ISBN 978-4-297-12267-6 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle 楽天kobo honto この本の概要 シェルのワンライナー（その場かぎりの1行プログラム）は，LinuxやMacのコマンドラインインターフェースを立ち上げたら，すぐにプログラムを書いて即実行できます。ちょっとした作業を手っ取り早く片付けるのに向いています。大量のデータ処理，繰り返し処理ほどその効果は絶大です。本書は，そんなシェル・ワンライナーを身につけるためのトレーニング本です。大量の問題を
SQLite is not a toy database
English • Russian • Spanish Whether you are a developer, data analyst, QA engineer, DevOps person, or product manager - SQLite is a perfect tool for you. Here is why. A few well-known facts to get started: SQLite is the most common DBMS in the world, shipped with all popular operating systems.SQLite is serverless.For developers, SQLite is embedded directly into the app.For everyone else, there is
れこです。この記事はNode.js Advent Calendar 2020の 12 日目の記事です。今回は年の瀬ということで酒の肴になりそうな記事を書きたいと思います。 本記事では 2020 年に GitHub のトレンドに上がったリポジトリをいくつかの切り口で集計して、独断と偏見で感想を付け加えます。 この記事を酒の肴に 2020 年の JS/TS について懐かしんでもらえたら幸いです。 集計方法 GitHub のトレンドは過去の履歴が残っていないので非公式に集計されたデータを利用しています。 集計期間は 2020/01/01 から 2020/12/05 までの 341 日間 対象言語はJavaScriptとTypeScriptのみ トレンドの過去データのソースはxiaobaiha/github-trending-historyを参照 日ごとにまとめた markdown になっており、
こんにちは。virapture株式会社のもぐめっとです。 最近ストーリーでボケてみたのですが、このボケに気づいた人が以外に少なくてボケ力の弱さを痛感しました。みなさんはどうツッコみますか？ 本日は朝起きたらスーパー便利そうなツイートを見つけたので試しに使ってみたのでみなさんに共有いたします。 firefooとは 簡単にいうとFirestoreを操作できるGUIクライアントなんですが、firebaseのコンソールよりもより使い勝手が良く、sequelproみたいに簡単にデータが操作できるイケイケツールです。 説明するより下記動画を見てもらった方が早いですね。 セットアップ 下記からダウンロードしてインストールします。 使ってみた 起動するとログインを求められるのでログインを行います。 ログインが成功すると保持しているプロジェクトがずらりと！もうこの時点で便利すぎ。好き。 プロジェクトを開くと
BOMって何ですか？
本番環境サービスインの事前作業を僕と新人さんとで行った。 お互い在宅でリモート作業。 新人さん――2〜3年目くらいの子――が作った手順を元に僕が作業画面を共有する形で作業を進めた。ペアプログラミングならぬペアオペレーションってやつだ。 作業内容はテスト環境で作ったデータを本番用にコンバートしつつ入れ込むもの。 ある作業の中で入れ込んだデータを確認するためにcsvファイルにエクスポートして中身を確認する事を行うのに、何気なく`Alt-h`,`pe`,`↓`,`Enter`(WindowsエクスプローラのHomeのリボンを開いて、ファイルを開くセレクトボックスを展開、↓矢印で一つ下のSakura Editorを選択して開く)で、関連付けされているExcelではなくテキストエディタで開いた。 その時、「今のどうやったんですか？」と質問された。 手慣れたキー操作だったため素早かった事、オンラインミ
こんにちは！ エンジニアのまうみです。 突然ですが、「今使ってるブログサービスからWordPressに引っ越ししたい」と検討中の方はいらっしゃいますか。 もし、現在のブログサービスに記事をエクスポートする機能がない場合、手作業で記事を更新する必要があります。10記事程度ならまだしも、100記事以上ともなると、それは流石に手作業では骨が折れますね。 そこで今回はGoogle Apps Script（以下：GAS）で、スクレイピングしたデータをスプレッドシートに保存するプログラムを作り方をご紹介します。 【前提】スクレイピングとは スクレイピングとは、あらかじめ指定したWebサイトを巡回して情報を取得し、新たな情報を出力するためのプログラムです。 今回は、開発環境を構築することなく簡単にプログラムを実行できるGASを使用します。特に開発環境は初心者がつまづくところなので、そこをスキップできるの
年末からいじり始めたNotionというサービス。 www.notion.so 「The all-in-one workspace」というだけあって、あまりにできることが多すぎて、どう活用したらよいものか……と迷ってしまう。 ただ、数日、色々と触ってみて「これくらいから使ってみると教員としては便利そう」という使い方を一つ考えついたので、Notionの独特な操作の説明とあわせて紹介しようと思う。 なお、今回は『教員が使って便利そう』ということだけに集中して解説する。本当であればもっと細かく設定できることがある（例えば見た目一つを取り上げてもあまりに工夫できることが多い）のだが、話が錯綜とするので「シンプルに使える機能だけをまずは紹介」という方針で紹介しようと思う。 授業の予定とふり返りが一元管理できたら嬉しいよね？ Notionのメリット Notionのデメリット アカウント取得などの参考とな
Vue.js + Algoliaを使って、フロントエンド開発だけで検索機能を実現する - LiBz Tech Blog
はじめに 前回書いたvue-cli uiでVue.js開発環境を作る記事を書いたところ、同僚がそれを引き継いでvui-cli uiで立ち上げたアプリに「APIから取得したデータでユーザーの一覧を表示する」機能を追加した記事を書いてくれました。 tech.libinc.co.jp tech.libinc.co.jp 今度はそれを更に改良して、Algoliaを使ってユーザーの全文検索機能を作ってみました。 ちなみにTOP画像がゴリラなのは、少し前までAlgoliaのことをAlgorillaと勘違いしていたからです。ウホウホ Algoliaとは www.algolia.com AlgoliaはモバイルアプリやWebサービスに導入することで、全文検索エンジンが利用できるSaaSです。サービス内のコンテンツデータをAlgoliaサーバにアップロードすることで、API経由でコンテンツデータに対して全文
Startupのよくある課題をAWSで解決する 塚田朗弘氏（以下、塚田）：みなさん、こんにちは。「こんにちは」ですよね？ 朝、藤倉（成太）さんが間違えて「こんばんは」と言っていましたが。よろしくお願いします。 今ご紹介があったとおり、このセッションは「[AWS Startup ゼミ] よくある課題を一気に解説！ ～御社の技術レベルがアップする 2019 春期講習～」というかたちで、3名でお送りしていきたいと思います。 まず、3名がどういう人間かだけ、ちょっとお伝えしていきたいと思います。 私は塚田朗弘といいまして、スタートアップのお客さまを支援するソリューション アーキテクト……技術支援の担当者ですね。3人ともそうなのですが。そのなかでもモヒカンで、モバイルとかサーバレスとか、そういったテクノロジーを扱っている者になります。 よかったら、ここで祝福をしていただきたいのですが……今日は誕生日
はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。まずは、データの種類として、構造化データや非構造化データの説明をします。その次に、データレイクとDWHなどの用語・役割の説明をし、最後にアーキテクチャを考えてみます。 構造化データと半構造化データ、非構
はじめに 一般の方は耳にしたことがないだろうが、「Numerai（ヌメライ）」というヘッジファンドがある。2016年後半から2017年前半くらいにWiredやForbes等のメディアに取り上げられ、界隈で少し名が知られるようになったヘッジファンドだ。このヘッジファンドはいわゆるクラウドソーシング型ファンドと呼ばれる、不特定多数の人間による株価の予測結果をもとに運用するヘッジファンドである。 筆者も2017年頃、Numeraiに参加したことがある。Numeraiの方式は予測結果に基づいてランキングされるトーナメント方式であり、つまりKaggleのようなものだ。トーナメントは毎週開催され、ランキング上位には暗号通貨で報酬が支払われる。しかし当時のトーナメントは、ランキングの基準が不明瞭であり、その順位変動がとてつもなく激しく（TOP10に入っていたのに翌週は100位以下に落ちる等）、いわゆる運
圧縮率の悪い番組は、屋外の映像が多い。 ドラマ、映画、アニメなどは、一般に平均圧縮率より良くなる傾向がある。 2020年版自宅録画サーバーの電気代 消費電力を調査したところ、以下の結果を得た。 （１）待機時 27W （２）録画時 30W （３）トランスコード時 79W この結果から以下のように考えた。 （１）待機電力 27W （２）録画電力 3W （３）トランスコード電力 52W 1kWh＝27円とすると、 1ヶ月待機電気料金＝524円 1時間番組の録画電気料金＝0.081円 1時間番組のトランスコード電気料金＝0.42円（18分のトランスコード時間） 従って、1時間の番組を録画してトランスコードすると約0.5円かかる。 1日に20時間を録画して、1か月継続すると以下の通り。 0.5✕20✕30＝300円 毎日20時間録画して1か月続けると、総合電気料金は以下の通り。 524円＋300円＝
SendGridでメールを配信するまでに知っておきたいことをまとめてみた - SMARTCAMP Engineer Blog
こんにちは、スマートキャンプでBiscuetを開発している井上です。 今回はSendGridでメール配信をするときにやったこと、知っておきたいことなどをまとめてみました！ SendGridとは? SendGridでメールを配信する理由 メールに必要な機能が充実している 送信実績 日本語ドキュメントの充実感 料金プランについて検討する 共有IPと固定IPの違い 共有IPの場合 固定IPの場合 共有IPと固定IPでの作業の違い IPを育てる なぜ, IPを育てる必要があるのか？ レピュテーションとは？ IPウォームアップ とは？ IPウォームアップのやり方 レピュテーションを維持するための宛先のクリーニング 宛先のクリーニングとは？ 宛先のクリーニング対応方法 SendGrid側でやってくれる対応 オプトアウトの対応をする オプトアウトとは？ SendGridのオプトアウト機能 メールイベント
郵便番号APIのようなシンプルなREST APIをlambdaで作る時にマスターデータを何で持つべきか計測してみた
こういうAPIを作らなければいけないときって割とよくあると思います（有料データベースと契約してて、csvでもらったデータをAPIで使えるようにするとか） そんな時に一番シンプルな解決方法として思いつくのがaws lambda + API Gatewayになると思います そんな時にふとした疑問が生まれました 元のcsvって何の形式で持つのが一番効率良いのだろう こういうのって何となく適当に選んじゃうことが多いのですが実際に計測して選ぶことも大切なので色々計測してみました 別解 多分goあたりでプログラム本体に含めてコンパイルしちゃうのが早いと思いますが、今回はrubyでやりたかったのでそれ以外の解決策を考えてみます 準備 郵便局の出している住所 <-> 郵便番号データをサンプルとして使います 元データがcsvなのですがその時点で以下のようになっています 行数：12万4500行 ファイルサイズ
データ基盤チームの @udzura です。今回は、昨年の後半にかけてデータ基盤チームで取り組んできた、開発者の生産指標である Four Keys の可視化についてお話をします。 Four Keysとは何か 生産性ダッシュボードプロジェクトの全体図 開発活動のExtractとLoadパイプライン 取得したデータのTransform ビュー部分 まとめと今後 画像について Four Keysとは何か 始めに、Four Keysについての説明をします。 Four Keysとは、GoogleのDevOps Research and Assessmentチームが6年間の研究の結果割り出した、ソフトウェア開発チームのパフォーマンスを示す4つの指標のことです。 詳細はGoogle Cloudのブログ記事「エリート DevOps チームであることを Four Keys プロジェクトで確認する」などをご確認
１．ワクチン接種拡大により景気浮揚へ、新規案件で新規技術採用 （１）欧米の動向 欧米ではワクチン接種が進み景気拡大への動きがでています。日本も2021年後半から2022年にかけてワクチン接種の進展に伴い、欧米に引っ張られる形で景気が浮揚していくと思います。 （２）日本のDX優遇税制によるソフトウェア案件の増加 日本では、令和4年度末を期限としてDX優遇税制があり、その需要が今も出始めています。 当然景気がよくなれば、ソフトウェア業界の案件も増えると思いますし、新規事業という形で新しい技術をつかってスタートするものも増えると思います。 ちなみに、企業がICT対応する補助金もあるのでそれを使った案件も増えると思います。 実際、昨年度それによる仕事も多くありました。 （３）2022年の日本のデジタル関連の法改正 2022年1月より改正電子帳簿保存法が施行されました。２年の猶予期限がありますが、大
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。最近、AI・機械学習チーム配下の検索基盤チームでElasticsearchのAnalyzerをKuromojiからSudachiに移行しました。今回はSudachi移行の背景と、Sudachiの概要、実際に移行するにあたってのプロセスや注意事項をお話しします。 対象読者 なぜSudahchiに移行したのか 検索基盤チームが抱えていた検索の課題 Sudachiとは Sudachiへの移行戦略と実践 今使っているKuromojiユーザー辞書をSudachiユーザー辞書に移行する 今使っているシノニム辞書からSudachi正規化機能でまかなえるものを削除する 平仮名/カタカナの正規化辞書を作る 移行時のSudachi切り替え戦略 移行後の影響の事前確認 Sudachi移行時のハ
参考文献 今回、以下サイトを参考にさせていただき、また大変勉強させていただきました。感謝申し上げます。 SUUMO の中古物件情報を Tableau で分析してみる ～データ収集編～ SUUMO の中古物件情報を Tableau で分析してみる ～データ予測編～ 機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜スクレイピング編〜 オープンポータル （オープンデータ活用サイト、競売、人口、駅） 1.準備:パッケージインポートなど 1.1 Google Driveへのマウント、パッケージのインポート ここでは、Google CplaboratoryからGoogle Driveへファイル書き出し、読み込みをするための準備や、今回使うパッケージのインポートを行いました。また、後ほどデータ加工用の関数群も予め定義しておきます。 #ドライブ設定 PATH_GMOUNT='/content/
こんにちは！逆瀬川( https://twitter.com/gyakuse )です！ 今日はLangChainの使い方について書いていこうと思います。 ChatGPT API の欠点について LangChainについて書く前に、ChatGPT APIの使いづらい部分をまとめていきたいと思います。 これを考えておくと、なぜLangChainが必要であるかということがわかり、さらに今後どのような機能が搭載されうるか/されるべきかということがわかります。 ChatGPT APIを使う際の難しい部分は一般的に以下のようにまとめられます。 プロンプトの共通化や管理が面倒くさい 最近の事実をベースとした質問-応答が難しい 最大の入出力合計が4096トークン(約3000字)であるため、長い情報を持たせることがしづらい ExcelやCSV、PDF等を直接読み込ませることができない 出力の処理のチェーンの
たった数行でpandasを高速化する2つのライブラリ(pandarallel/swifter) - フリーランチ食べたい
pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m
Pythonではじめる教師なし学習
教師なし学習はラベル付けされていないデータから学習する機械学習の一種です。現在の機械学習では大量のラベル付きのデータを用いる教師あり学習が主流ですが、ラベルを付けるには膨大なコストがかかります。現実世界に機械学習を適用していくためには、ラベル付けを必要としない教師なし学習の重要性が増してくると考えられます。本書は実践的な視点から、データにある隠れたパターンを特定し、異常検出や特徴量抽出・選択を行う方法を紹介します。ラベルなしデータを有効に利用することで、機械学習の可能性を各段に広げる教師なし学習の本質に迫ります。さらに、変分オートエンコーダ（VAE）や敵対的生成ネットワーク（GAN）、制限付きボルツマンマシン（RBM）などの生成モデルも紹介します。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書
Webブラウザー「Chrome」の拡張機能「アマゾン注文履歴フィルタ」は、Amazonで購入した商品の領収書を、まとめて出力できるようになる“神”ツールです。通常のやり方では個々の注文ごとに出力や印刷が必要なのに対し、この拡張機能では注文日や品名などの属性で注文履歴を絞り込み、一発で出力できてしまいます。特に、確定申告には欠かせないこのツールの使い方を、今回は徹底紹介します。 多くの人が利用しているAmazon。購入した商品の領収書をまとめて出力できる確定申告の必須ツールの便利さを紹介しましょう 確定申告、無料で使えるChrome専用の拡張機能に注目 今年も確定申告のシーズンがやってきました。新型コロナウイルスの余波で〆切が3月16日から4月15日へと順延されたとはいえ、作業量そのものが減るわけではありません。「1カ月延びたから余裕余裕」と思っていても、気づいたら例年と同じように、直前にな
This article was discussed on Hacker News. I recently learned of csvquote, a tool that encodes troublesome CSV characters such that unix tools can correctly process them. It reverses the encoding at the end of the pipeline, recovering the original input. The original implementation handles CSV quotes using the straightforward, naive method. However, there’s a better approach that is not only simpl
貯金実態調査2019
貯金額の平均値は317万円、中央値は100万円。全体の53%が貯金100万円以下 50代をピークに貯金残高は急降下 貯金年数と貯金額に強い相関。早期からの資産形成が鍵 貯金額の平均値は317万円、中央値は100万円。全体の53%が貯金100万円以下 世帯貯金額の分布をみると100万円以下が最も多く、回答者全体の53.7%に上りました。一方で平均値は317万円となり、1000万円以上貯金している一部の世帯が平均を押し上げていると考えられます。 さらに100万円以下の回答の内訳を見ると、0～10万円と回答した層と95～100万円と回答した層で二極化していることが分かります。 50代をピークに貯金残高は急降下 年齢別の貯金額では20歳未満が最も少なく、50代までは年齢が上がるにつれて増加傾向にあることが分かりました。一方、60代・70代になると貯金額が急激に降下することもわかりました。 貯金の目
アクセス解析ツールである「Google アナリティクス」。多くの企業で利用されており、皆様の会社も導入しているのではないでしょうか。そんなGoogle アナリティクスに新しいバージョン、「Google アナリティクス4 （以下：GA4）」が登場して1年半経ちました。また今までのGoogle アナリティクスの計測停止が2023年7月1日（有償版は2023年10月1日）とアナウンスされました。 「GA4って聞いたことはあるけどなんか全然画面が違うんだって？」「今までのGAと何が違うの？」「導入することのメリットは？」と疑問に思っている方も多いのではないでしょうか。本記事ではメディアサイトにとってのGA4導入の価値や注意点を、HAPPY ANALYTICSの代表取締役で、Googleアナリティクス関連の著書も複数上梓している、小川卓氏が紹介いたします。（編集部） GA4は今までのGoogle ア
スクレイピングとは、サイト上のページの内容をHTMLで解析して（大したことではないし、大昔からある）データとして取得する、という手法を言います。 昔なら、Perlの正規表現でワンライナー、またはHTMLパーサーをかましてDOMにQueryかけたり、Linqで料理したり・・・最近ではノーコード、ローコード？ スクレイピングするのは大抵、そのサイトがRSS/Atomフィードやその他のXML形式などの扱いやすいデータを配信していない為、データとして利用するにはむりくりページ表示用のHTMLを解析して扱いやすいデータに整形する必要がある、という場合です。 サイト側が扱いやすいデータとして配信していないのは、単なる不親切か、一般にその必要性がないと思われている情報か、データを再利用してもらいたくない何か理由があるか、のいずれかです。 そこで、今、たまたまこんなのを見つけてしまったのですが・・・ 個人
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon SES ベストプラクティス&アンチパターン - 後ろを向いて後退します
Javaを使ってPDFからテキストを抽出する（Apache PDFBox 編） - デベルマン
Pythonによるファイナンス(第２版)を読んだ感想 - 虎の穴開発室ブログ
Excel風UIのフリーCSVエディタ「CSV＋」登場 MacやLinuxにも対応
ElasticsearchとBERTを組み合わせて類似文書検索 - Ahogrammer
続・ライトノベル市場とはなにか？ 規模はどうなっているのか？ | HON.jp News Blog
1日1問、半年以内に習得 シェル・ワンライナー160本ノック
GitHubのトレンドで振り返る2020年のJavaScript
GUIで超直感的にFirestoreのデータ操作ができるfirefooを使った方がいいぞ！ - Qiita
GASを使ったスクレイピングの作成手順を紹介！ | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
Notionで授業の予定とふり返りを管理する【超入門編】 - ならずものになろう
スタートアップでありがちな問題をAWSで解決する––認証基盤からログの扱い方まで
Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築
データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
機械学習による株価予測 はじめようNumerai - Qiita
2020年の自宅録画サーバー環境 - Simple Life in the digital age
エンジニアの活動情報からFour Keysを集計、可視化した話 - Pepabo Tech Portal
2021年後半から2022年以降のソフトウェア業界（Web中心）の技術動向予想（ポエム） - Qiita
検索基盤チームのElasticsearch×Sudachi移行戦略と実践 - エムスリーテックブログ
【Python】東京23区の中古マンション販売価格予測をやってみた - Qiita
ChatGPT APIの運用で必須のツール: LangChainの使い方まとめ (1) - Qiita
Amazonの領収書をまとめて出力、確定申告の“神”ツール「アマゾン注文履歴フィルタ」
Fast CSV processing with SIMD
新しいGoogleアナリティクス「GA4」、変化とその価値 - Media × Tech
スクレイピングした物件データを利用した物件検索サービスは問題ないのか｜torum