ウマたん 当サイト【スタビジ】の本記事では、Plotlyの使い方について解説していきます！Plotlyは非常にキレイにグラフを描画できるライブラリ。描画後にインタラクティブにグラフを操作できるのも特徴の１つです。 こんにちは！データサイエンティストのウマたん(@statistics1012)です！ この記事ではグラフをキレイに描画することのできるPlotlyの使い方について解説していきたいと思います！ Pythonでの描画と言えば、MatplotlibやSeabornなどが有名ですがPlotlyも非常に使いやすく人気です。 Plotlyを使うことでインタラクティブにグラフを表現することもできるんです！ Plotlyを使う準備 物は試し！それでは早速Plotlyを使っていきましょう！ ここではPythonの実行環境として「Google Colab」を使っていきます。 Google Colab

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

私は長らくOpenAIとChatGPTの大ファンであり、ChatGPTはリリース初日から使用し、有料プランもリリース当初から加入して利用してきました。しかし、この度Claude 3 Opusの文章のクオリティの高さに魅了され、ChatGPTからの乗り換えを決意しました。 （2024.3.19追記）Opusとりあえず試してみたい！という方はこちらのポスト参考にして見て下さい。 話題のClaude3Opusをとりあえず無料で試したい方へ🆓 1️⃣こちらにアクセスhttps://t.co/RnpPLUNdTD 2️⃣アカウント作成 3️⃣電話番号認証して5ドルのクーポンゲット 4️⃣画像のWorkbench（OpenAIのplaygroundに相当）から試せます！ 左のサイドバーからモデル選択可能です pic.twitter.com/7sChdYnOzV — 限界助教|ChatGPT/Clau

ボードゲームやアクションゲーム、各種ツールやシミュレーションなどさまざまなソフトが100日間に作られた いままで数えきれないほどのプログラマーに会ってインタビューもさせてもらってきたが、久しぶりに若いプログラマーの話を聞いてきた。ここ1、2年では U22グランプリの男子中学生や全国小中学生プログラミング大会の受賞者たちだが、今回は、ChatGPTを使ってプログラムを書きまくった女子大生である。 彼女は X（Twitter）の自分のアカウントで1日1本のソフトを100日間連続で作るというイベントをやっていて「おっ、頑張っているな！」と思って応援していた。「こんなゲームを作ってほしい」などとリクエストを出したりもしていたのだが、どうも私が想像していたものと内容もやり方も違っていたようである。 目下、ソフトウェア産業の最大のテーマは「我々は人間の言葉でプログラムを書くようになるだろうか」というこ

3. APIキーの取得APIキーの取得手順は、次のとおりです。 (1) 「Anthropic」のサイトのAPIの「Get API Access」をクリックしてログイン。 はじめての場合は、アカウントを新規作成します。 (2) ダッシュボードを確認。 初回は「Get started testing Claude with $5 in fee credits.」で$5分のクレジットを取得できます。 (3) 「Get API Keys → Create Key」でAPIキーを作成。 APIキーはGoogle Colabで利用します。 4. Colab での実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install anthropic(2) 環境変数の準備。 左端の鍵アイコンで「ANTHROPIC_API_KEY」を設

はじめに 二値分類の評価指標について 「AUCとGini係数ってどんな関係だっけ？」 と毎回忘れては調べているので、いい加減覚える意味で体系的にまとめてみる。 この記事では AUCとは何か？ Gini係数とは何か 両者はどんな関係があるか？ を理解することを目的とする。 最初に結論 AUCとGini係数の間には の関係がある。 AUCは0.5から1の範囲を取るため、Gini係数は0から1までの範囲を取る。 どちらも値が大きいほど分類性能が良いことを表す。 最終的にこの式を理解することを目的としよう。 AUCを理解しよう AUC （Area Under the Curve）は二値分類における有名な評価指標の一つであり、文字通り、「ROC曲線下の面積」を表す。 ROC曲線とは？ ROC (Receiver Operating Charastaristic Curve)は受信者操作特性と呼ばれる

こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から

新しいデータ処理ライブラリの学習はもう不要！ Python 初学者のための Ibis 100 本ノックPython機械学習pandasデータ分析ibis-framework Information 2024/1/14： Kaggle notebook for Ibis Kaggle で Ibis を使用するための Sample Notebook を用意しました。Kaggle でもぜひ Ibis をご活用下さい。 🦩 [Ibis] Kaggle-Titanic-Tutorial Ibis 100 本ノック補足記事 Ibis 100 本ノックについて、よりスマートな書き方等について @hkzm さんが補足記事を書いてくれました（この記事を参考にコンテンツのほうもブラッシュアップしたいと思います）。 Ibis 100 本ノックの記事を受けて はじめに どうもこんにちは、kunishou です。

今回の記事では下記のような悩みを解決します。 「LightGBMというワードをよく目にするので、LightGBMについて知りたい」 「LightGBMのpythonでの実装方法が知りたい」 早速解説していきます。 LightGBMとは Li... 今回は、「住宅価格予測問題」を使って、「データの前処理、LightGBMでモデル構築、Optunaを使ってハイパーパラメータを調整し予測精度をup」という機械学習（回帰問題）の一連の流れを解説していきます。 まずはデータの読み込みと前処理から解説します。 データの読み込みと前処理 下記のコードで住宅価格予測のデータを読み込み、dfとします。 （下記のコードは覚える必要ないです。コピペしてデータを読み込んでください） dfは81個の列、1460個のデータからなります。 from sklearn.datasets import fetch_openm

HHKB Studio実機レビュー それでは早速実機を見ていきましょう！ どこをとっても高級感のある仕上がり 本機を手にしてまず感じるのは、キーボードとしての完成度の高さと高級感です。 画像手前の「HHKB Professional HYBRID Type-S」と比較すると、「HHKB Studio」の方が電源部分のはみだしがない分、上部のシルエットがすっきりしていて、全体的なフォルムもまとまりを感じます。 HHKBのロゴも必要以上に主張することなく、質感も光沢を抑えたマットな仕上げでどこからみても高級感があります。 HHKBのキーボードは「シリンドリカル・ステップ・スカルプチャー・キーボード」とよばれる構造で キーの列ごとに角度が違っていて自然なU字を描いている 奥の方のキーが高くなっていて自然な傾斜がついている キーの中央にくぼみがあり、手になじむ形状をしている などの特徴があり、人間

LightGBMとearly_stopping LightGBMは2022年現在、回帰問題において最も広く用いられている学習器の一つであり、機械学習を学ぶ上で避けては通れない手法と言えます。 LightGBMの一機能であるearly_stoppingは学習を効率化できる（詳細は後述）人気機能ですが、この度使用方法に大きな変更があったようなので、内容を記事にまとめたいと思います 変更の概要 early_stoppingを使用するためには、元来は学習実行メソッド（train()またはfit()）にearly_stopping_rounds引数を指定していましたが、2021年の年末（こちらのissues）よりこの指定法は非推奨となり、コールバック関数lightgbm.early_stopping()で指定する方式へと変更になりました。 新たな方式であるコールバック関数によるearly_stopp

上記の方々の推奨本 2票（naotaka1128、カレーちゃん）[第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear) 1票（naotaka1128）PythonとKerasによるディープラーニング 1票（naotaka1128）scikit-learnとTensorFlowによる実践機械学習 1票（mlm_kansai）機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン) 記事の概要 Kaggle参戦記 〜入門からExpert獲得までの半年間の記録 & お役立ち資料まとめ〜 *1) 特徴量エンジニアリング 次元削減系 LDA、PCA、tSNE Kaggle TalkingData Fraud Detection コンペの解法まとめ(基本編) 「カテゴリー変数を組み合わ

時系列データ関連のお勉強をしたときに、必ず登場する厄介な概念の1つが「定常性（Stationarity）」です。 定常性（Stationarity）は、時系列データの統計的な特性（平均、分散、自己相関など）が時間によらず一定であるという性質を指します。これは、時系列分析において重要な前提条件となる場合が多いです。 具体的には、定常性には以下のような特性があります。 平均が時間によらず一定: これはデータの「中心」が時間とともに変化しないことを意味します。つまり、ある時点での平均値が別の時点での平均値と同じであることを示します。 分散が時間によらず一定: これはデータの「ばらつき」が時間とともに変化しないことを意味します。つまり、ある時点での分散が別の時点での分散と同じであることを示します。 自己共分散（または自己相関）が時間によらず一定: これは2つの時点間の関連性がラグにのみ依存し、時間

本記事内容および公開データに対して多くのご意見をいただきまして誠にありがとうございました。 プロフィール更新のご連絡をいただきましたため、一部情報を更新しております。その結果、図4の企業ランキングにてLINEヤフー社が4位群に変更となりましたことご報告いたします。 ご意見・ご指摘いただきました方々、この場を借りて御礼申し上げます。 2024.01.26更新 本記事3行要約： ● Competition Grandmasterの総数で、日本が世界TOPに躍進！！ ● 7ヶ月間で新たに15名の日本人Competition Grandmasterが誕生！！ ● 企業別では、新たに4名のGMが生まれたPreferred Networks社が最多在籍！！ ＊更新情報＊ 「Kaggle Master 分析レポート 2024版」を公開いたしました。 Grandmaster 分析レポートと合わせてご覧くだ

機械学習は、データから学ぶ技術です。しかし、実際のデータは完璧ではありません。特に、データセットにおける欠損データの問題は、機械学習プロジェクトにおいて避けられない課題です。欠損データをどのように扱うかは、モデルの性能に大きな影響を与えます。 伝統的に、欠損データを扱う一般的な方法は「一変量代入法」です。この方法は、欠損値をその変数の平均値や中央値で置き換えるなど、単純明快であり、実装が容易です。しかし、これは各変数を独立して扱うため、変数間の関係を無視してしまうという欠点があります。 ここで、より洗練されたアプローチとして「多変量代入法」が登場します。 この方法は、欠損データのある変数と他の変数との関係を考慮に入れ、欠損値をより正確に推定しようと試みます。多変量代入法は、変数間の相関関係を利用して、欠損データを推測することにより、よりリアルなデータセットを作成することを目指しています。