作って遊ぼう！LLMを搭載した君だけのV&Lモデル！
はじめに TuringのBrain Research teamで頑張ってる井ノ上です。(Twitter: いのいち) Turingは完全自動運転の開発を目指しており、その実現のためには賢い頭が必要だと考えています。その方法の一つとして、近年の大規模言語モデル（LLM）に見られるような文脈理解力をうまく取り入れられないかと考えており、LLMとVisionの情報をかけ合わせたモデルに注目して研究を行っています。自動運転とVision and languageモデルについては、ぜひこちらの記事を読んでみてください。 今回の記事は2023年7月に開催されたABCI LLMハッカソンで取り組んだときに開発していたGIT-LLMというモデルの開発について解説する記事となっています。途中のコードの解説部分などは少し退屈に感じるかもしれませんので、その場合はぜひ結果のパートだけでも見てみてください。いろい
[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 （2019/08/18 追記）Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特
![[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
コーディングをAIが支援してくれる「Visual Studio IntelliCode」、Javaに対応。GitHubにあるコードを機械学習 － Publickey
無償のエディタであるVisual Studio Codeの拡張機能として、AIがコーディングをAIが支援してくれる「Visual Studio IntelliCode」（以下IntelliCode）が、Javaに対応したと発表されました。 IntelliCodeはコードの入力や補完において、もっとも適切と思われるコードをコンテキストに即してレコメンデーションをしてくれるというもの。さらにコードレビュー時のアドバイス、問題がありそうな部分の指摘や、コードスタイルと書式の規則の推測もしてくれます。 これまでC#とPythonに対応していましたが、今回新しくJavaにも対応しました。 AI機能はGitHubで100以上スターが付いているオープンソースプロジェクトのコードを用い、コードのパターンやプラクティスなどに関する機械学習が行われたと説明されています。 これによりJava SEやSpring
B'zの歌詞をPythonと機械学習で分析してみた 〜LDA編〜 - 下町データサイエンティストの日常
1. 本Part概要 前PartではB'zの歌詞を「TF-IDF」を用いた分析を行いました。 本Partではトピックモデルの一つである「LDA」を用いた分析についてお話しします。 pira-nino.hatenablog.com 2. LDAとは 2.1 LDAのイメージ 先に簡単な説明をしてしまいます。 LDAは「たくさんの文書データから単語のグルーピングを行う」モデルです。 このグループ1つ1つを「トピック」と呼びます。 例えば、大量のニュース記事にLDAを適用する例を考えます。 ニュース記事データにLDAを適用した例 LDAでは「各トピック（トピック数は予め指定）における各単語の所属確率」が算出されます。 理論的なことはさておき、文書データから単語をいくつかのグループに自動で分けてくれる手法 との理解で大丈夫です。 よく勘違いされることとして以下の2点を示します。 トピック数（いくつ
AIが見つけた、埋もれたQiita良記事100選 - Qiita
背景 Qiita殿堂入り記事、と、７つの「驚愕」 良い記事なんだけどなかなかいいねがつかなかった記事を、 AIによって発掘したいという試み。 または、機械によって「いいね」かどうか判断させたり、 何いいねになる記事なのか、予測することは可能なのか？という問題を考えてみたい。 以下の２つの記事の中でも少し予告していた、 一番難しそうな内容に挑戦してみる。 Qiita殿堂入り記事ランキングを作った物語（2018/06/29投稿） Qiitaの記事データの取得と、全体感について記載。 既にいいねを多数集めている「良記事」を「殿堂入り」として月ごとにまとめ。 直近１年のQiita記事分析で分かった７つの「驚愕」（2018/07/03投稿） 直近の記事データから、傾向分析を実施し、 様々な知見や気づきを得ることが出来た。 上の記事を読んでいない人へのまとめ。前回までのあらすじ Qiitaのデータを分
はてなにおける機械学習の取り組みについて - Hatena Developer Blog
こんにちは、アプリケーションエンジニアのid:syou6162です。2018年になってしまいましたが、2017年のはてなにおける機械学習の取り組みについて振り返ってみたいと思います。 機械学習サブ会とは リソース/ツール整備 定例会 プロジェクトの近況を共有、より専門的な困り事を相談 技術共有/雑談 論文読み会/専門書の輪講会 社内で機械学習ハッカソンの開催 おわりに 機械学習サブ会とは はてなではより専門的な内容に関するエンジニアの小集団として、サブ会という制度が昨年から開始されています。昨年までは個人的に機械学習勉強会をランチタイムに運営していましたが、社内で正式にサブ会として認定されたことにより、業務時間内に活動しやすくなりました。このエントリではサブ会発足からの約八ヶ月の活動を振り返りってみたいと思います。 簡単に背景について説明しておきます。はてなは現在のところ、研究開発専門の部
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
Google、プログラミング不要で“機械学習”試せるサイト公開
サイトは、Googleが8月にリリースした、ブラウザ上で機械学習の訓練と推論を実行できるJavaScriptのライブラリ「deeplearn.js」を用いて作られた。サイトのソースコードはGitHub上に公開している。 Google Creative Labのデザイナーであるバロン・ウェブスターさんは、ブログで「機械学習について興味がある人々が、もっと簡単に機械学習を試せるようにしたかった」とコメントしている。 関連記事 Google、人間のように線画を描く人工知能「sketch-rnn」を養成中 Googleがお絵かきゲーム「Quick, Draw!」にユーザーが手描き入力した膨大なデータを学習材料に訓練した人工知能「sketch-rnn」は、ネコやブタの線画を人間のように描く。 Google、手描きの絵を機械学習でプロの絵に置き換える「AutoDraw」公開 AutoDrawは、タッチ
Keras Documentation
Keras: Pythonの深層学習ライブラリ Kerasとは Kerasは，Pythonで書かれた，TensorFlowまたはCNTK，Theano上で実行可能な高水準のニューラルネットワークライブラリです． Kerasは，迅速な実験を可能にすることに重点を置いて開発されました． アイデアから結果に到達するまでのリードタイムをできるだけ小さくすることが，良い研究をするための鍵になります． 次のような場合で深層学習ライブラリが必要なら，Kerasを使用してください: 容易に素早くプロトタイプの作成が可能（ユーザーフレンドリー，モジュール性，および拡張性による） CNNとRNNの両方，およびこれらの2つの組み合わせをサポート CPUとGPU上でシームレスな動作 Keras.ioのドキュメントを読んでください． KerasはPython 2.7-3.6に対応しています． ガイドライン ユーザー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning