推薦システム実践入門
情報化時代が到来し、日常で意思決定をする回数と選択肢の数が急増したことで、推薦システムの需要が高まっています。そのため、昨今では多くのウェブサービスへ新たに推薦システムの導入が検討されることも増えました。本書では、推薦システムの概要から、UI/UX、アルゴリズム、実システムへの組み込み、評価まで紹介し、適切な推薦システムの実装ができるようになります。「実際の仕事に活かす」ことを目的に、著者たちが実務で経験した推薦システムの成功事例や失敗事例を交えながら、実サービスに推薦システムを組み込むという観点を重視した入門的な内容です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版
研究室ではうまく機能する人工知能（AI）システムが、現実世界でうまく機能しないことはしばしばある。主な原因としてこれまで、AIを訓練・テストする際に使うデータと現実のデータの不一致が指摘されていたが、グーグルの研究チームは別の原因を突き止めた。 by Will Douglas Heaven2020.11.24 391 308 72 55 研究室で完璧に近い性能を発揮できるように調整された機械学習モデルが、現実世界では良い結果を出せないことがしばしばあるというのはよく知られている。通常これは、人工知能（AI）を訓練およびテストする際のデータと、現実世界で遭遇するデータの間に不一致が起こることが要因となって起こる問題であり、「データシフト」と呼ばれている。例えば、高品質な医用画像から疾病の兆候を発見するよう訓練されたAIが、忙しい病院の安価なカメラで撮影された、ぼけや切れ目がある画像に対して能
1. はじめに 2. そもそもGPTとは?? 3. ABEJAで作ったGPTモデルについて 3.1 モデルサイズ 3.2 データセット Wikipedia CC100 OSCAR mC4 3.3 参考にしたコード 3.4 モデルの学習 せっかくここまで育てたモデルが・・・ 4. 技術的な工夫点 4.1 データセットの前処理 4.2 GPT-neoxの活用 4.3 並列VMでの学習 4.4 モデルアーキテクチャの工夫 5 学習したGPTのアウトプット例 5.1 失敗モデルたちの作品集 5.2 完成モデルの出力例 5.3 少しFine-tuningした結果 6. 最後に 6.1 採用メッセージ 6.2 ABEJAで学習したGPTモデルの今後について 1. はじめに こんにちは、ABEJAの服部です。昨日、ABEJAが主催しているABEJA SIX2022でも発表がありましたが、NVIDIA社の
2019年９月５日、三省堂から待望の『大辞林』第４版が刊行されました。2012年11月の『大辞泉』第２版、2018年１月の『広辞苑』第７版に続き、二十数万語規模の中型国語辞書３種の大規模改訂版が出揃った格好になります。 比較するなら今しかない！ 以下、めちゃめちゃ長くなるので、最初に結論を先取りしたレーダーチャートを示します。あくまで超ざっくりとした比較ですので、参考程度にご覧ください。 まず『広辞苑』『大辞林』『大辞泉』の大まかな特徴を比べた上で、具体的な見出し語も対照してみます。これらをどのように使い分けたらよいかの参考になればと思います。 「中型辞書」の位置づけ 『広辞苑』のような、二十数万語を収録する規模の辞書を、ふつう「中型辞書」と呼び習わしています。「大型辞書」と呼ばれることもありますが、本稿では「中型辞書」で統一します。 かつては多くの種類が刊行されていましたが、今ではこの中
検索クエリからファジーにキーワードを抽出する（スミス・ウォーターマン法に基づく実装） - Giftmall Inside Blog
TL;DR 表記揺れがふくまれる検索クエリにマッチしたコンテンツを表示するための手法として、スミス・ウォーターマン法に基づくあいまい検索を実装して検索精度を向上しました。この手法は機械学習システムを使わないためメンテナンスコストが低く、その一方で速度面でも実用的な性能を持ちチューニングしやすいのが特長です。 はじめに こんにちは、ギフトモールで検索エンジンなどを開発している @samayotta です。 私たちギフトモールはプレゼントに特化したECサービスを提供しています。ギフトECにおいても、ユーザのニーズにマッチする商品を探すための検索機能は重要となります。例えば、弊社が運用しているギフトECサービスの一つであるギフトモールは、ユーザが入力する文字列の検索クエリから関連するキーワードを検出し、そのキーワードに紐づいているコンテンツ(商品、記事、etc.)を提示する検索機能を持っています
ゼロからはじめるデータサイエンス 第2版
本書はPythonプログラミングを通してデータサイエンスの基本知識を「ゼロから学ぶ」ことができる入門書です。読者は架空のソーシャルネットワーク運営企業、データサイエンス・スター社のデータサイエンティストとして、さまざまな課題を解決しながら、必要な知識とスキルを着実に積み上げていきます。第1版の発刊から5年。その間、データサイエンスへの注目はますます高まり、Pythonはバージョンアップが進み、ライブラリは一層充実しました。このような変化に伴い、内容を全面的にアップデート。Pythonプログラミングの基礎から線形代数、統計確率の基礎、回帰、機械学習、ナイーブベイズ、決定木、ニューラルネットワーク、ディープラーニング、自然言語処理、ネットワーク分析、リコメンドシステム、データベースとSQL、MapReduce、データ倫理まで、データサイエンスに必要な幅広い知識をカバーします。 正誤表 ここで紹
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
著者のLuke Posey氏は、機械学習エンジニアのキャリアを積んだ後にAIスタートアップSpawner.aiを創業するかたわらMediumに記事を投稿しており、AINOW翻訳記事『無闇にデータサイエンティストを雇うのをやめよう。』の著者でもあります。同氏が最近Mediumに投稿した記事『機械学習エンジニアは10年後には存在しないだろう。』では、近い将来、「機械学習エンジニア」という職種が実効的な意味を持たなくなる、と予想が論じられています。 第三次AIブーム黎明期の頃、機械学習エンジニアは数学と統計学に関する専門知識を習得しているという希少さゆえに、高く評価され高額報酬を手にしていました。この職種には、最先端の技法を製品やサービスに落とし込む「研究者兼技術者」という立ち位置が依然として求められています。 しかし、近い将来、機械学習エンジニアには研究者としての側面が求められるなくなるだろう
ChatGPT で スマホアプリ開発を加速「FlutterPrompts」をオープンChatGPT を活用することにより、スマホアプリ開発の劇的な業務効率化・生産性向上を実現。 Flutter を用いたスマホアプリ開発を手がける株式会社スニフアウト（本社：東京都新宿区、代表：津本 海）は、ChatGPT に アプリ開発のソースコードを書かせるための100以上の独自プロンプトを集めた「FlutterPrompts」をリリースしました。これにより、シンプルなスマホアプリであれば最短1週間でフロントの実装を完了することが可能になりました。 背景 OpenAI が開発した大規模な言語モデルを組み込んだ ChatGPT が2022年11月に公開され、当社は業務効率化のために ChatGPT の使用方法を模索していく中で、Flutter でスマホアプリを実装する際のソースコードを ChatGPT
日本語に特化した自然言語処理技術を用いることで、句読点の位置を自動で調整し、自然な日本語のテキストを出力できるという。会議の議事録や会話の記録、取材内容の文字起こしなどの活用を想定する。 今後は録画した映像データを文字起こしする機能や、文字起こし結果を表示する画面でテキストを編集できる機能を採用するとしている。 関連記事 Microsoft、「Word for Web」にトランスクリプト（文字起こし）機能を追加 Web版のMicrosoft Wordに、音声をテキストに変換する機能「トランスクリプト」が追加された。まだ対応するのは英語のみだが、対応言語を拡大していく計画。複数の話者を区別してテキスト化し、テキストはそのままWordのドキュメントに挿入できる。 DropboxとZoomが連携強化 ビデオ会議の録音・録画・文字起こしをDropbox上に保存可能に DropboxとZoomの連携
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、2020年4月に新卒としてLINE株式会社に入社した二又 航介です。テキスト音声合成システムの研究開発を担当するAI開発室 Voiceチームに所属し、音声合成システムにおけるテキスト処理部の研究開発やチームの機械学習基盤構築に取り組んでいます。 学生時代は機械翻訳や同時通訳に関連する研究に取り組んでいました。研究以外の活動としては、アルバイト・インターンでの対話システムや機械翻訳システムの研究開発、個人活動としてwebアプリケーション開発などを行っていました。このような活動を通じて、数多くのユーザーに利用される自然言語処理技術を活かしたサービスに携わりたいという思いからLINEを志望しました。学生時代は専
この記事は、GitHub Blogに4月7日に掲載された「What developers need to know about generative AI」の翻訳記事です。 昨今のニュースを席捲する「生成系AI（Generative AI）」ですが、厳密にはどのようなものでしょうか？ 生成系AIについて知っておくべきこと、また開発者にとってどのような意味を持つのかについて説明します。 皆さんはこれまでに、ChatGPT、DALL-E、GitHub Copilotといった生成系AI（人工知能）ツールについて聞いたことがあるかと思います。生成系AIツールを利用すると、メールの件名からプログラミングコードの関数、アートに至るまで、誰でも瞬時にコンテンツを作成できるため、幅広い関心を集めています。 様々な業界のコンテンツ制作に革命をもたらす可能性があることから、生成系AIとは何か、どのように利
はじめに 下記には、typewriterまたはcomputerのkeyboardで全文写経した本は数冊（すべて英語）あります。 輪講で全部読んだ本、日本語と英語でも読んだ本などもそれぞれ１０冊以上あります。 100回以上読んだ本が10冊以上あるような気がします。 影響を受けた本というよりは、愛読書かもしれません。 引用は、 https://bookmeter.com/users/121023 https://booklog.jp/users/kaizen https://www.amazon.co.jp/gp/profile/amzn1.account.AEZYBP27E36GZCMSST2PPBAVS3LQ/ref=cm_cr_dp_d_gw_tr に掲載している自分で書いたreviewです。 最初にあるところに記録し、それからamazonに転載し、10,000冊になった頃にNo.1 R
はじめにMachine Learning部門の近江です。ストックマークでは、自然言語処理技術の研究開発を行っています。 先日、弊社のTech Blogにて弊社が公開している言語モデルを紹介しました。 ストックマークが公開した言語モデルの一覧と振り返り 今回は、言語モデルがプロダクトにおいて実際にどのように利用されているかについての一例を紹介します。 ニュース記事の構造化マーケティング、新規事業開発などの調査業務では、調査を行う人が書籍、ニュース記事、ホームページなどの情報を網羅的に調べ、整理し、報告書などにまとめていきます。その際に扱う情報は膨大であり、そのため調査業務には多くの時間と労力がかかります。 弊社のプロダクトである「Astrategy」は機械学習を用いてニュース記事から特徴となる情報を抽出し、構造化することで、大量のニュース記事を効率的に俯瞰し、さらに新規事業開発などに繋がりう
はじめに この記事はklis Advent Calendar 2019の22日目の記事です。 この記事では「図書館情報学という学問が大学の外の世界でどのように活用できるか」というのをIT系の企業で働いている実体験込みでつらつら書いていこうかなと思います。 この記事の目的は図書館情報学を学んでいる学生の方や、図書館情報学にちょっと興味のある方に対して、ちょっとお先に社会に出ている立場から「（司書にならなくても!）図書館情報学は社会で役に立つので頑張って学んでください！」という応援をすることです。*1 この記事の最後に、学問一般を学ぶことの意義にもちょっと触れてます。 何者？ 簡単に自己紹介しておきたいと思います。 自分は2011年に入学したklis11の卒業生で、卒業後5年くらい立った社会人です。（大学院含めると社会人歴3年くらい） 大学院卒業後は新卒でデータ解析職として人材系の会社に入社し
企業で働くデータサイエンティストになって10年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした
Microsoftのローコードアプリ開発ツールPower Appsポータルの設定ミスで約3800万件の個人情報漏えい
米セキュリティ企業のUpGuardは8月23日（現地時間）、米Microsoftの「Power Appsポータル」で作成された47の組織のアプリで、合計3800万件に上る個人情報の漏えいがあったと発表した。 UpGuardは5月にこの問題を発見し、Microsoftおよびデータを漏えいさせていた企業には通知済み。アプリの脆弱性のせいではなく、ある機能を初期設定のまま使うとホストされているデータが公開されてしまう仕様になっていたためだ。 Power Appsは、Microsoftが「だれでもローコードのアプリをすばやく構築して共有できる」と謳う、クラウドホスト型BI（ビジネスインテリジェンス）アプリ作成スイート。Power Appsポータルは、外部に公開するウェブサイトを作成できるツール。 今回の情報漏えいは、Power Appsポータルのリストからデータを取得するためのOData APIを
ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogleの共同研究チームが発表しました。 AttentionViz Docs https://catherinesyeh.github.io/attn-docs/ Transformerがどういう仕組みのアーキテクチャなのかについては、以下の記事を読むとよくわかります。 ChatGPTにも使われる機械学習モデル「Transformer」が自然な文章を生成する仕組みとは？ - GIGAZINE 自然言語処理をディープラ
大規模言語モデル（LLM）を、実際にプロダクトや実務に役立つかたちで利用している各社が見た使いどころや、実践の上での工夫について学び合うためのイベント第二弾。今回のテーマは「大規模言語モデルがつくる新しい顧客体験」。ここで登壇したのは、株式会社LayerXの松村優也氏。機械学習の民主化とMLPdMの重要性について発表しました。 LayerX社・機械学習チームのマネージャーの松村優也氏 松村優也氏：それでは、LayerXの松村優也が「機械学習エンジニアから見るプロダクト開発におけるLLM」を副題として、「機械学習の民主化とMLPdMの重要性」というタイトルで10分お話しします。お願いします。 簡単な自己紹介ですが、あらためて、松村です。（スライドの）右上の黒いアイコンでよくSNSをやっています。「Twitter」などのIDはご覧のとおりです。 バックグラウンド的には、もともと京都大学で情報検
＜目次＞ はじめに 第1回：コンピュータビジョン編 第2回：自然言語処理編 第3回：強化学習編 第4回：実務応用編 次回予告 1. はじめに GAN（敵対的生成ネットワーク）講座 現場で使える XAI（Explainable AI）講座 現場で使える自然言語処理実践講座 ディープラーニング最新論文対策講座 スキルアップAIでは、上記の4講座を始めとして、現在、そしてこれから注目されるであろう最先端の機械学習/ディープラーニング技術に関する講座を開講しております。このような講座を開講していく中で、スキルアップAIの講師陣が注目している最先端技術をぜひ知りたいというお声を多くいただきました。 そこで、自動機械学習（AutoML）を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が
はじめに Pure Rubyな形態素解析器Suikaを作成した。開発中でバッリバリにα版だが、思い切ってリリースすることにした。 suika | RubyGems.org | your community gem host 最も有名な形態素解析器であるMeCabもそうだが、形態素解析器は食べ物の名前がつくことが多い。「Rubyなので赤い食べ物が良いかな」と考えて、文字数とかわいらしさからSuika（スイカ）とした。 使い方 SuikaはPure Rubyで作られているため、MeCabをはじめ特別なライブラリを別途インストールする必要はない。 gem install suika バッリバリにα版なので、機能はないに等しく、オプションなしのMeCabコマンドと同様となる。 $ irb irb(main):001:0> require 'suika' => true irb(main):002:
安野貴博 @takahiroanno エンジニア兼SF作家がGPT-4執筆支援を実戦投入できないか実験してわかったこと｜Anno Takahiro @takahiroanno #note note.com/takahiroanno/n… 最近の実験をまとめてみました 2023-04-07 18:26:20 リンク note（ノート） エンジニア兼SF作家がGPT-4執筆支援を実戦投入できないか実験してわかったこと｜Anno Takahiro｜note 絶賛から全否定、果ては人類滅亡論まで、色んな人がさまざまな評価をGPT4に下している。しかし、物書き目線とエンジニア目線が両方入っている評価はあまりない。非エンジニアの評価には「そのプロンプトやその使い方じゃGPTの良さは出ないだろ」とツッコミたくなる時がある。逆にエンジニアの評価は、なまじ今までの自然言語処理を知っているからか、GPTが凄く
はじめに こんにちは、推薦基盤部の与謝です。ECサイトにおけるユーザの購買率向上を目指し、レコメンデーションエンジンを研究・開発しています。最近ではディープラーニングが様々な分野で飛躍的な成果を収め始めています。そのため、レコメンデーション分野でも研究が進み、精度向上に貢献し始めています。本記事では、ディープニューラルネットワーク時代のレコメンド技術について紹介します。 目次 はじめに 目次 パーソナライズレコメンドとは 深層学習より前の推薦手法 協調フィルタリング Matrix Factorization SVD（Singular Value Decomposition） Factorization Machine 深層学習を使った推薦手法 ニューラルネットワーク推薦手法に対する警鐘 Recboleプロジェクト Recboleプロジェクトを用いた各アルゴリズムの検証 General Re
メンヘラテクノロジー代表の高桑蘭佳さん 撮影：nanami nijou イベント会社の経営者である彼氏の社外取締役になるために「株式会社メンヘラテクノロジー」を起業した高桑蘭佳さん。彼氏に依存するあまり、返信がなければ着信履歴70件、職場や出張先に押し掛けることもあるという。いまや“メンヘラ”という言葉は日常的に使われており、“病みツイート”なるものも日々目にするが、高桑さんは「病むことは悪いことではない」と豪語する。その理由とは。 得意のテクノロジーを彼氏束縛に活かしたい、理想は「彼氏をヒモにすること」 高桑さんが彼氏に送ったライン画面 高桑さんが彼氏に送ったライン画面 「株式会社メンヘラテクノロジー」では、スタッフがLINEで話し相手になってくれる『メンヘラせんぱい』などのサービスを提供するベンチャー企業。起業のきっかけを高桑さんは「とある彼氏の言葉から」と話す。 「彼氏が会社経営をし
Treasure Dataは、2011年に芳川裕誠氏、太田一樹氏、古橋貞之氏の3名がシリコンバレーで創業したビッグデータ分析企業。2018年8月、ソフトバンクグループ傘下のコンピュータチップ設計企業ARMが、約6億ドル（約660億円）で同社を買収したニュースは記憶に新しい。Treasure Dataの元CTOで現取締役の太田一樹氏に、学生時代から創業までの経緯や、グローバルスタートアップとして成長するプロセス、ARMとのM&Aの裏側などについて聞いた。（前編：日本人CTOがシリコンバレーで25歳で起業し、660億円で買収されるまでの道のり） ※インタビューシリーズ「シリコンバレーから日本を考える」では、櫛田健児氏（スタンフォード大学ジャパン・プログラム リサーチスカラー）がシリコンバレーの企業・スペシャリストにインタビューし、日本の未来・可能性について掘り下げます。 ＜目次＞ ・一番大きな
OpenAI の GPT-4-vision-preview (VLM) を利用した商品画像のタグ付け - DROBEプロダクト開発ブログ
はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し、その内容に基づいてテキスト情報を生成する能力を持っています。例えば、写真やイラストから物体を識別し、それに関連する説明や情報をテキストとして提供できます。この技術は、画像とテキストの間のギャップを橋渡しするものであり、多様な応用が可能です。 DROBEは、多様なファッション商品を取り扱うECサイトを運営しています。我々の挑戦の一つは、膨大な数の商品画像と説明文から、正確で有用なタグを抽出し、整理して保存しておく事です。このプ
大規模言語モデル
2023年度統計関連学会連合大会チュートリアルセッション 言語モデルと自然言語処理のフロンティア
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
こんにちは、ちゅうげん（@ochugn）です。 2020年春、念願だった米国情報系大学院の博士課程になんとか合格することができました。 これからがスタートラインではありますが、この合格に辿り着くまでに様々な難関があり、次に挑戦する方へ向け少しでも参考になればという想いと、受験直後でまだ記憶が新しいうちに自分自身の振返りも兼ねて受験体験記を執筆してみます。 まずはじめに結果からお伝えすると、 ペンシルバニア州立大学 情報理工学部 博士課程 へ進学予定です。 他にカリフォルニア大学デービス校のCSや、カリフォルニア大学アーバイン校のEECSなどからオファーをいただいておりました。 最近ではありがたいことに日本から海外院へ博士取得を目指す良質な受験記や情報も増えており、もはや自分が書く必要もないのかもしれませんが、一方で社会人が退職して米国大学院PhDを目指した体験記はあまり多くないとも感じてお
ゼロから機械学習エンジニアになった方法 - Qiita
はじめに 未経験から機械学習エンジニアになって2年が経った節目にここに至るまでの経緯を紹介します。 初期スペック 30代 高専卒 工場勤務 数学は学生時代は並みの上くらいだったがほとんど忘れてる プログラミングスキルゼロ パソコンスキルはオフィスソフトが事務作業レベルで使える程度 タイピングできる 初期のモチベーション 今の仕事は今の会社じゃないと役に立たないスキルしか身につかないと感じ、何か自力で稼げるスキルを身に着けたい。 人生の大半の時間を費やす仕事を苦痛で終わらせたくない。楽しい仕事がしたい。 パソコン触るの好きだし、プログラミングとかどうなん？（機械学習なんて言葉も知らない） 取り組んだこと 1/2 まずは触ってみる プログラミングのプの字も知らなかったので、最初に取り組んだのが Progate でした。はじめはHTMLとCSSでWebページを作ることからはじめました。しかし、P
徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ
https://github.com/WorksApplications/Sudachi WAP NLP Tech Talk#4 Sudachi ユーザーLT大会 - connpass *** スライド中に登場したリンク 法律版のGoogle、正式ローンチしたLegalscapeがめざす「法のインフラ」とは何か？ | Coral Capital 日本語における評価用データセットの構築と利用性の向上（JED2022） | NLP2022 Workshop on Japanese Evaluation Dataset 自然言語系AIサービスと著作権侵害 | STORIA法律事務所 Sudachi プラグインのチュートリアル Rustによる自然言語処理ツールの実装: 形態素解析器「sudachi.rs」 - Qiita 日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか
AI（LLM）についてまだみんなが知らない8つの事実（論文：Eight Things to Know about Large Language Modelsについて）
いかにも海外の煽り記事みたいなタイトルを付けてしまったが、おおむねそういう感じの内容の論文が発表されて、興味深かったので今回はそれについて書いてみたい。 最近、「AGIが人類を滅亡させる！」みたいなAI人類滅亡説がにわかに広がっているらしい。 これの言い出しっぺみたいな人は、ユドコウスキー氏という方らしいが、彼は何十年も前からAI脅威論を言っていたらしい。そういう人もいるとは思うが、最近はそれを真に受けちゃう人が増えてるらしい。ChatGPTの実力に驚いた人が増えたからだろうか。 ホワイトハウスでFox Newsの記者が「AIが人類を滅亡させるってホントですか？」と質問しちゃうというような、パニック映画さながらの出来事まで起きている。これはエイプリルフールではない。 ホワイトハウスでFox Newsの記者が「機械知能研究所の専門家がAI開発を無期限に停止しないと文字通り地球上のすべての人間
自然言語処理では、しばしばコーパスを作るためにWeb上のリソースを利用します。そのためにスクレイピングをするのですが、大量のリクエストを特定のサイトに送るとBanされる可能性があります。今回はそれを防ぐ一つの方法を書きます。(悪用厳禁) TL;DR 概要 コード例 metadata.py requestsを使った接続 サーバリストの見つけ方 参考 TL;DR VPNを使おう。 概要 nordvpnのようなVPNを使えば、数十の国の数千のサーバを利用することができます。もし、これらの膨大なサーバリストを使ってスクレイピングに利用することができれば、以下の2つのメリットがあります: ランダムにIPを変え続ければブロックされる可能性が下がり、仮にブロックされても別のサーバーのIPを使えばいい。 複数のサーバのIPを利用してスクレイピングするので、並列化すれば、time.sleepの間隔を長めにし
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
先日アスクル/一休/PayPay/ヤフー/ZOZOテクノロジーズで共同開催した、企業内ハッカソンイベント「Internal Hack Day」参加者からの寄稿記事を紹介します。 イベントについてはこちらをご覧ください。 こんにちは。ヤフー株式会社 新卒エンジニアの池田 です。 先日、開催された社内ハッカソンイベント「Internal Hack Day」に同期と一緒に参加してきました！ 初めてハッカソンに参加するメンバーも多いなか、オンラインでアプリ開発に取り組みました。そのような状況で、何を作ったのか、どう工夫してハッカソンに取り組んだのかについてまとめました。 チーム構成 私たちは入社前から仲の良かったヤフーの2020新卒の4人で参加しました。全員エンジニアで各メンバーのスキルやバックグラウンドは以下のようになっています。たまたまですが、iOSと機械学習に精通したメンバーが多かったため、
» Python実践データ分析100本ノック | 下山輝昌, 松田雄馬, 三木孝行 はじめに この本を手にした動機 元々データ分析に以前から興味があったものの、次に繋げられなかった 非エンジニアがR言語を始めるときの手引き｜Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day1メモ｜中野ヤスオ｜ARI ｜note 2021年10月から12月まで受講した初級Python講座で得たことをなにか繋げたかった 講座受講の経緯等こちら：若手エンジニア成長支援No1企業を目指して｜中野ヤスオ｜ARI ｜note コードを書くことが楽しくなってきたので、毎日少しづつ出来るテーマを見つけたかった 今回の読み方 冒頭にある「本書の効果的な使い方」を参照し、それに準拠 各章各ノックの内容を「写経」しつつ、本文とコードを読み進め、分からないところをGoogleで調べる感じ 人それぞれだが、
このブログでは日本（の学部）からアメリカのコンピューターサイエンス博士課程へ出願した際のスケジュールや行った対策についてまとめています。 はじめに 自己紹介 アメリカのCS博士課程とその合否決定プロセス スケジュール 必要な書類やその対策 TOEFL及びGRE 対策 TOEFLのミニマムスコア TOEFLのSpeakingのみ高いスコアを要求されている GREのミニマムスコア 望ましいスコアについて GPA 望ましいGPA GPAに関する懸念事項 GPAが4.0換算でない場合もしくはGPAなどを大学が成績証明書に掲載していない場合 GPAが低い場合に挽回可能か 科目名がわかりにくい Curriculum Vitae (CV) 推薦状 誰にお願いすればいいのか 推薦状の執筆に際して推薦者に送った資料 推薦状の依頼・提出 Statement of Purpose (SoP) 「SoPは合否に対
Zero-shot Learning網羅的サーベイ：CLIPが切り開いたVision & Languageの新しい世界 - エクサウィザーズ Engineer Blog
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、全部読むのに1時間以上かかる可能性があるので、休憩を取りながら、または必要な部分だけ読んでください。各セクションを個別に読んでも問題ありません。 また、文章中の画像は、特別な記載がない限り、引用元の論
こんにちは、お久しぶりです。虎の穴ラボのA.M.です。 前回の記事「全文検索エンジンについて調べてみた」から大分間が空いてしまいましたが、今回はとらのあなのサービスで使用頻度の高いMySQLで、実際に全文検索をやってみたいと思います。 MySQLで手軽に全文検索を実現するための手法としては、以下の２つが挙げられます。 MySQLのFULLTEXTインデックス：MySQLの標準機能。v5.7から日本語に対応。 Mroonga：GroongaベースのMySQLストレージエンジン。 ※FULLTEXTインデックスやMroonga、Groongaなどについて詳しくは前回の記事や、第3回ライトニングトークイベント記事をご参照ください。 toranoana-lab.hatenablog.com toranoana-lab.hatenablog.com 今回は、記事のタイトルにもあるように、Mroong
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
グーグルが発見した、機械学習が現実世界で使い物にならない理由
ABEJAで作った大規模GPTモデルとその道のり - ABEJA Tech Blog
『広辞苑』『大辞林』『大辞泉』はどう違う？ 中型国語辞典徹底比較 - 四次元ことばブログ
機械学習エンジニアは10年後には存在しないだろう。 | AI専門ニュースメディア AINOW
ChatGPT で スマホアプリ開発を加速「FlutterPrompts」をオープン
日本語特化のAI文字起こしサービス 1時間の音声を5分で文字化、句読点も自動で調整
新卒NLPエンジニアが取り組んだ音声合成システムにおける句境界予測モデルの導入
生成系AIについて開発者が知っておくべきこと | gihyo.jp
人生で影響を受けた本100冊。英語(77) - Qiita
BERTによるニュース記事の構造化：企業名抽出
大学で学んだ図書館情報学で食いっぱぐれずに済んでいる話 - oscillographの日記
ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」
「LLM」を活用したプロダクト開発に必要な能力とは何か “機械学習の民主化”でますます注目される「MLPdM」の重要性
【AI最新論文】2022年に読むべき「機械学習/ディープラーニングの最新論文」30選 - Qiita
SuikaというPure Rubyな形態素解析器を作成した - 洋食の日記
エンジニア兼SF作家のGPT-4を使った小説執筆の実用例が参考になる「叩き台や校正にはもう使えるレベル」
ディープラーニングを活用したレコメンドエンジン改善への取り組み - ZOZO TECH BLOG
現役大学院生が彼氏の束縛目的でメンヘラ会社起業「病むことはアイデンティティ」
日本人起業家が大型M&A後に描く次のビジョン「今35歳。あと2、3周は何かにチャレンジしたい」
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
アラサー社会人、退職してアメリカ情報系大学院PhDを目指す｜ちゅうげん
1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」
オープンソースとしての形態素解析器Sudachi / WAP NLP Tech Talk #4
スクレイピングにおいてIPのBanを防ぐ方法 - データナード
【2024年】AWS全サービスまとめ | DevelopersIO
24時間で漫画みたいにニュースを読めるアプリを開発した話
「Python実践データ分析100本ノック」を写経してみた - Qiita
日本の学部からアメリカのコンピューターサイエンス博士課程に出願する - あさりさんの作業ログ
MySQLで全文検索その1(Mroonga編) - 虎の穴開発室ブログ