Probability Calibration手法の紹介 - Qiita
はじめに 近年では、機械学習モデルがいたるところで使われるようになってきています。機械学習モデルの用途は様々ですが、よく使われる用途の一つに分類タスクが存在します。 多くの機械学習モデルでは、クラス分類の際に、各クラスに対して、数値化されたスコアを出力し、最大値を取るクラスを、そのデータの属するクラスとして判別することが多いです。この時、出力値を0〜1の範囲に正規化することもよく行われます。 気をつけなければならないのは、分類精度が高いモデルであっても、必ずしもこのスコアはそのクラスに属する確率を示しているわけではない点です。 値が1に近いほど、そのクラスに属する確率が高く、0に近いほど、そのクラスに当てはまらない確率が高い、ということは多くの場合、間違いないです。一方で、スコアが0.7のデータを集めてきたら、これらのデータが該当のクラスに属する確率が70％であるか、というと、モデルやデー
将棋ウォーズ3切れ九段までにかかったお金と学んだこと｜おしり
【条件】 素の棋力は三～四段 序盤はソフト研究をして自力 明確に詰みが見えたら自力 棋神対策指しの知識あり 千日手要求は無視 【結論】 32560円（スーパープレミアム960円、棋神×166×2=31600円） 【学び】 お金で棋力は買える 普段ならまず勝てない五～八段にお金の力で爽快（ここ重要）に勝てる。 何千時間何万時間将棋にかけてきた人達をお金で倒す快感。 自分が優秀な人材になるより、優秀な人材（Ponanza）をお金で雇う方がはるかに効率がいいということ。 HEROZ株式会社代表取締役林社長さん、お金の使い方を将棋ウォーズを通じて教えてくださりありがとうございます。 棋神と当たった時の各々の反応を知れた ・自力で指す人 ・棋神対策指しで勝ちに来る人 ・諦める人 ・千日手を要求してくる人 人それぞれ将棋ウォーズに対する向き合い方があって面白かった。 棋神依存症になる 1度降臨させると
【PyTorch】TorchEval を使って精度評価しよう
はじめに 今回は PyTorch で Deep Learning (深層学習，機械学習) を行う際に用いる，評価指標の計算方法について記述していきます． 本記事では，TorchEval という Facebook 社が開発を主導している PyTorch と同時に使われることを想定している，2022/10/30 にリリースされたばかりの精度評価用のライブラリです． ドキュメントを以下に貼っておきます． この記事を読むメリット 複雑な評価計算を 1 行で実装できる PyTorch が公式で出しているライブラリのためコードが綺麗になる といった 2 点のメリットがあります． これを使うことで，Accuracy，Top-k Accuracy はもちろん Precision（適合率）や Recall（再現率）や F1-score（Dice），混同行列，PR曲線，AUCに至るまで Tensor型のまま手
matplotlibのめっちゃまとめ - Qiita
0. はじめに やりたいことがあるたびにいちいちGoogleや公式サイトで検索してそれっぽいのを探すのはもう面倒だ。 やっとそれっぽいのを見つけたのに、一行で済むようなことを「plt.なんちゃら」だの「set_なんちゃら」をたくさん並べましたなんてブログはもはや検索妨害だ。 Qiitaにすら僕のためのいい感じのまとめがないなんて…… よく考えたら自分が普段使うようなメソッドなんて限られているじゃないか。 もう自分でまとめるわ。自分のために。 というわけでインポート。 ちなみにmplは6.4.と6.5.でしか使わない。 1. 図（Figure）の作成 matplotlibの描き方は、まず台紙となるFigureをつくり、そこに付箋Axesを貼り、その付箋にプロットしていくというのが僕の中のイメージ。 したがってまず台紙を作る。これにはplt.figure()を用いる。plt.subplots(
pyTorchのNetworkのパラメータの閲覧と書き換え - Qiita
2019/9/29 投稿 2019/11/8 やや見やすく編集(主観) 2020/2/1 SGDの解説Link追加 2020/4/22 パラメータを途中で書き換える方法を追加した 0. この記事の対象者 pythonを触ったことがあり,実行環境が整っている人 pyTorchをある程度触ったことがある人 pyTorchによる機械学習でNetworkのパラメータを閲覧,書き換えしたい人 pyTorchによる機械学習でNetworkのパラメータを途中で書き換えたい人 1. はじめに 昨今では機械学習に対してpython言語による研究が主である.なぜならpythonにはデータ分析や計算を高速で行うためのライブラリ(moduleと呼ばれる)がたくさん存在するからだ. その中でも今回はpyTorchと呼ばれるmoduleを使用し,Networkからパラメータの操作周りのことを閲覧,最初の書き換え,途中
ChatGPT登場後に仕事急増も単価はダウン？ 買いたたかれる「ビデオ編集」スキルの今後
ChatGPT登場後に仕事急増も単価はダウン？ 買いたたかれる「ビデオ編集」スキルの今後：小寺信良のIT大作戦（1/3 ページ） ChatGPTをはじめとするAIの登場で、メディアではなくなる仕事・なくならない仕事といった特集が組まれた。だが昨今はこうした記事を見かけないのは、まだ具体的にAIの影響が観測できないからだろう。 そんなAIの爆心地ともいえる米国で、フリーランス500万人に対して、生成AIの登場がフリーランスの労働市場にどのような影響を与えたかといった調査が発表された。リサーチしたのは、労働市場動向などの分析を得意とするBloomberryで、元データは世界最大級のアウトソーシングサイトUpworkが公開した求人データである。 ChatGPTのリリース1カ月前の2022年11月と、普及した2024年2月を比較した調査となっている。詳細はオリジナルサイトを見ていただきたいが、パッ
嬉野流をやっつける最強の作戦 – 桜井将棋塾
どうも、あらきっぺです。 今回の題材は、こちら。 【嬉野流を瞬殺する方法】 ①守りは全て省いて、棒銀の形を作ります。 ②相手は棒銀を受けるために４四に銀を繰り出して来るので、それを☗36銀→☗46歩→☗45歩で目標にします。 ③３五で銀交換して、すぐに☗44歩と突き捨てます。☖同歩なら角が狭くなるので、☗58金右から圧迫すればOK。… pic.twitter.com/zOLoH9Cwkl — あらきっぺ (@burstlinker0828) April 29, 2024 嬉野流は、奇襲戦法のような立ち位置ではあります。しかし、プロ棋士が公式戦で採用している事例もありますし、2023年に升田幸三賞を受賞していることから、決して侮ってはいけない戦法です。居飛車党としては、きちんと対処法を用意しておきたいですね。そこで今回は、これの対策をテーマにして、解説を進めます。 なお、過去にも嬉野流対策の
多変量解析における変数選択とその数 - Qiita
はじめに 多変量解析では、共変量と呼ばれる変数を決定する必要があります。 この変数の決定方法とその数についてまとめます。 変数選択について 結論から述べると、変数選択は「データを見ずに、アウトカムが同じ先行文献や医療・福祉などデータに関する専門家の意見を元に決定する」が最も良い方法となります。 これは、データの p 値などに引きずられずに、かつ必要な変数を除いてしまうことなく因果関係のあるデータを抽出できるためです。 一部の文献などで検定結果の比較を元に p 値の小さい変数を決定したり、ステップワイズ法で p 値の小さい順に決定するということを述べているものがありますが、この方法には問題があります。 p 値だけで決定してしまった場合、決定する変数と目的変数間の因果関係などは全く考慮されません。 そのため、特に医療・福祉統計において多くある、絶対に除いてはいけない変数を除いてしまうことがあり
変数は多いほうがよいのでしょうか？
互いに独立な説明変数が増えていく分には大きな問題になることはないかもしれませんが、分析を行うために計画的に取得されたわけではないリアルワールドデータでは、説明変数の種類が増えると多くの場合説明変数間での多重共線性（一方の説明変数で他方の説明変数を精度よく予測できる関係性）が発生します。 線形重回帰モデルで考えると分かりやすいのですが、多重共線性があると何が問題かと言うと、モデル内の説明変数の係数値が不安定になります。（極端な例では係数の正負が逆になってしまったり、、、） 係数値が不安定になれば、モデルの解釈性が毀損されます。「どの説明変数が予測にとって重要か」という情報が不安定になるわけです。そしてこれは線形重回帰モデルだけでなく全ての機械学習モデルで生じる現象です。 しかしながら、モデルの解釈性を気にすることはなく、予測精度が高ければ良い、というユースケースであれば、多重共線性の問題を気
株価分析(SMA) - ゴールデンクロスとデッドクロスは有効な指標か？ - Qiita
はじめに 拙作の記事「株価の指標を求める」では、TA-Libを使用していろいろな指標を求めてみました。本記事ではこの中のSMA(単純移動平均）を使って、ゴールデンクロスとデッドクロスを求めてみます。そしてゴールデンクロスとデッドクロス後に株価がどのように変化しているか、また短期と長期で最も変化率が大きい組み合わせは何かを調べていきたいと思います。 ゴールデンクロス/デッドクロスを求める 今回使用するデータは日経平均株価で、期間は2011/1/1〜2020/12/31の10年間としています。まずは短期線と長期線を求めます。短期線は25日、長期線は75日としました。計算はTA-Libで行っています。ゴールデンクロス/デッドクロスが正しく求められているかグラフも作成してみました。 import os import datetime import pandas as pd import panda
Pytorch：ライブラリの誤差関数の構造を理解する - 機械学習・自然言語処理の勉強メモ
はじめに 今まで当たり前のように誤差関数を使っていた。 既に用意されたものであればそれで問題ない。 しかし、誤差関数を自作したいと思った場合、 ライブラリの誤差関数の構造を理解している必要がある。 そんなわけでライブラリの誤差関数について調べたのでメモ。 簡単な復習 簡単に使い方を復習する。 ライブラリの誤差関数を利用する場合、以下のような使い方をする。 import torch import torch.nn as nn import torch.nn.functional as F net = Net() outputs = net(inputs) criterion = nn.MSELoss() loss = criterion(outputs, targets) loss.backward() ネットワーク 今回はシンプルな以下のネットワークを考える。 class Net(nn.M
PyTorchで自作の損失関数を使う - Qiita
はじめに PyTorchで自作の損失関数の書き方、使い方を説明します。私が使っているPython, PyTorchの環境は以下の通りです。 動作環境 Python 3.7.9 torch 1.6.0+cu101 PyTorch標準の損失関数に倣った書き方 PyTorchに元々あるtorch.nn.MSELossやtorch.nn.CrossEntropyLoss等に倣った書き方です。クラスとして損失関数を定義します。 class CustomLoss(nn.Module): def __init__(self): super().__init__() # 初期化処理 # self.param = ... def forward(self, outputs, targets): ''' outputs: 予測結果(ネットワークの出力) targets: 正解 ''' # 損失の計算 # lo
【調査】荒川区がパリ化している疑惑について / 紅茶とお菓子が好きなら荒川区に行けばいいじゃない
趣味のお菓子屋巡りや、取材のためにグーグルマップで行きたい店を保存しているのだが、地図を見ながらあることに気づいた。 それは「荒川区がパリ化しているかもしれない」という疑惑である。 ここ数年で、ものづくりの町・蔵前や清澄白河におしゃれな店が増えてブルックリン化したのも記憶に新しい。ひょっとしたら次は「荒川区のパリ化」なんじゃないか……？ 私は都電荒川線に飛び乗った……。 ・荒川区のパリ化 いきなり「荒川区のパリ化」とか言われても何がなんだか分からないと思うが、荒川区周辺にオシャレな洋菓子店やカフェが増えているのである。 しかもフランス菓子の店とか、パリやヴェルサイユにあるパティスリーの日本支店、ティールームなど本格的な店ばかりなのである。 いったい荒川区で何が起きているのだ……？ 【小台〜尾久周辺】 まず、アツいのが都電荒川線の小台駅周辺。 本格感のあるパティスリーやカフェはすべて駅からは
Google Chrome、プログラミング言語「Rust」の採用を発表
Google Chromeチームは1月12日(米国時間)、「Google Online Security Blog: Supporting the Use of Rust in the Chromium Project」において、Chromium (Google Chromeの基盤となっているソフトウェア)においてRustライブラリの使用をサポートすると発表した。現在、ビルドシステムにRustツールチェーンの追加を行っており、来年中にはRustのコードがChromeのバイナリに含まれることになるだろうと説明している。 Google Online Security Blog: Supporting the Use of Rust in the Chromium Project RustはC/C++と類似したシステムプログラミング言語。オブジェクト指向プログラミング、関数型プログラミング、手続
時系列データ分析 - Qiita
この記事の狙い・目的 機械学習を取り入れたAIシステムの構築は、 ①データセット作成（前処理）→ ②モデルの構築 → ③モデルの適用 というプロセスで行っていきます。 その際「データセット作成（前処理）」の段階では、正しくモデル構築できるよう、事前にデータを整備しておくことが求めらます。 このブログでは、時系列を含むデータに対しての解析方法、および前処理段階で用いられる「時系列データ分析」の手法について解説していきます。 プログラムの実行環境 Python3 MacBook pro（端末） PyCharm（IDE） Jupyter Notebook（Chrome） Google スライド（Chrome） 時系列データとは 時系列データとは、時間の順序にしたがって並べられたデータのことをいいます。 例えば、株価の値動き、気温や降水量などの気象情報、交通量の推移などがこれにあたります。 時系列
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
~region(us)~nonce(eb8ee88c-a2b7-4a2b-b1c3-81210510c79a))
VRChat - Home
UnboundLocalError – グローバル変数で回避
Izumi-Lab - 公開ツール
[python] メモリアドレスの取得![[python] メモリアドレスの取得](https://cdn-ak-scissors.b.st-hatena.com/image/square/1c2288eb344765bc26ac66fb71d3ea3b95ee9641/height=288;version=1;width=512/https%3A%2F%2Fwayama.io%2Fimages%2Favatar.webp){kind=avatar}
「Chromium」へのRust言語採用はサードパーティライブラリから ～Googleが解説／来年中にも「Chrome」のバイナリにRustコードが含まれるように
