タグ

ブックマーク / qiita.com/suzuki_sh (6)

  • Pyodideは今どれくらいできるのか - Qiita

    Pyodide Pyodideは、CPythonWebAssembly/Emscriptenに移植したものです。ブラウザ向けのPythonランタイムとも言えます。 2019年にMozillaが発表し、2021年に独立したプロジェクトになりました。 発音 https://github.com/pyodide/pyodide/discussions/1954 https://www.youtube.com/watch?v=iUqVgykaF-k 以上を参考にカタカナにすると「パイアダイド」? Pyodideを使う目的 RustGoなどソースコードをコンパイルしてWebAssemblyバイナリを生成するものは高いパフォーマンスが期待できます。 一方でPyodideはコンパイルをせず実行環境をWebAssemblyに持ってきている方式なので、パフォーマンス面の恩恵は大きくないと思われます。Py

    Pyodideは今どれくらいできるのか - Qiita
    sh19910711
    sh19910711 2024/04/03
    "Pyodide: ブラウザ向けのPythonランタイム + CPythonをWebAssembly/Emscriptenに移植したもの / pandas, numpy, scikit-learnのパッケージはmicropip.install()で追加でき / Pyodideでビルドされたwheelか、pure Pythonで書かれたwheelしか読み込めません"
  • word2vecのあらわす意味とは何か調べてみた - Qiita

    import gensim.downloader vectors = gensim.downloader.load('word2vec-google-news-300') vectors.most_similar(vectors['king'] - vectors['man'] + vectors['woman'], topn=5) [('king', 0.8449392318725586), ('queen', 0.7300517559051514), ('monarch', 0.645466148853302), ('princess', 0.6156251430511475), ('crown_prince', 0.5818676352500916)] しかし。私は義務教育レベルの数学は理解しているつもりですが、「単語の意味の足し算」と言われても何のことなのか、これは何をどういう演算

    word2vecのあらわす意味とは何か調べてみた - Qiita
    sh19910711
    sh19910711 2022/09/07
    "辞書が示す意味: 「日本語をある程度知っている人に向けた、同義語や類義語による説明」であることが多い / 「意味とは何か?」は色々と研究されていて一言に説明できるような物ではない"
  • 13億パラメータの GPT モデルを GCP Cloud Run で動かす - Qiita

    サーバレスプラットフォームである GCP Cloud Run で、Transformersのモデルを動かしてみました。 Transformersの汎用言語モデルを動作させるにはそれなりのスペックが必要になりますが、サーバレスと言うとメモリ等のリソースに厳しい制限があり大きなモデルを動かすようなことは難しい印象です。ですがCloud Runは結構メモリを積める1ので、実は普通に動かせてしまいます。 環境 Docker version 20.10.11, build dea9396 Docker Compose version v2.2.1 Google Cloud SDK 383.0.1 Cloud Run 第1世代 GCPのサービス内容は2022年5月14日時点のものになっています。 全体のソースコードは下記です。細かい依存関係などはこちらを参照してください。 実装 まずはCloud Ru

    13億パラメータの GPT モデルを GCP Cloud Run で動かす - Qiita
    sh19910711
    sh19910711 2022/05/15
    Cloud Run + Streamlit + GPT / "大規模な言語モデルも簡単にサーバレスプラットフォーム上で動作させられるように / rinna/japanese-gpt-1b > cpu=4 + memory=11Gi / Transformersはオフラインモード + コンテナのビルド時にモデルをダウンロード"
  • 【自然言語処理】プリンを含む文がポケモンかどうか分類してみた - Qiita

    エイチームフィナジーアドベントカレンダー最終日はs2terminalが担当します。私は普段、Web開発やデータサイエンス等を担当していますが、今年は 自然言語処理 技術に多く触れていました。 稿では自然言語処理を用いて、「プリン」 に関する文書が私の大好きなポケモンのプリンを指しているのかどうかを分類します。自然言語処理技術の中でも古典的な手法である BoW と、比較的新しい BERT を用いて、すばやく正確に分類できること目指します。 プリンとは プリン(Jigglypuff) とは、ポケットモンスター(以下ポケモン)に登場するキャラクターです。図鑑番号39。分類は「ふうせんポケモン」であり、その名の通り球状の体型をしています。全身ピンク色で大きな瞳が特徴のかわいいポケモンです。進化前の姿はププリン、進化後はプクリンとなります。 プリンは2021年「ポケモンユナイト」1にプレイアブルキ

    【自然言語処理】プリンを含む文がポケモンかどうか分類してみた - Qiita
    sh19910711
    sh19910711 2022/03/19
    "2021年はプリンの年だった / おそらくインターネット上にはプリンに関するブログ投稿等の文書で溢れかえっており、それらが本当にポケモンのプリンであるかどうか分類する問題の重要性も高まるのではないか"
  • GCP BigQueryのデータを特定時点に切り戻す(PITR) - Qiita

    いわゆるポイントインタイムリストア(Point In Time Restore、PITR)等と呼ばれるようなデータを特定地点に切り戻す機能が、GCP BigQueryでも使えることを知ったので試してみます。BigQueryではタイムトラベルと呼ばれる機能のようです。 基的に下記ドキュメントの通りですが、実際にやってみます。 環境 2021/07/13時点のGCP BigQueryを使っています。 テストデータの作成 sandboxというデータセットを作っておいて、適当なテーブルを作ります。 CREATE TABLE sandbox.sushi ( id INT, name STRING, updated_at DATETIME );

    GCP BigQueryのデータを特定時点に切り戻す(PITR) - Qiita
  • TypeScriptで書いたプログラムをPython等で動かす魔法の「jsii」を紹介 - Qiita

    まず結論から書くと、下記の図のような事ができます。 上側に表示しているTypeScriptで書いたプログラムを、下側のPythonプログラムから実行している例です。 これは、jsiiというライブラリを使って、TypeScriptプログラムをPythonで実行可能なライブラリに変換しています。公式ドキュメントにthe magic happensと書いてあるとおり、魔法のような技術です。 jsiiはPythonの他にもJavaなどの言語で利用できますが、稿ではTypeScriptで書いたプログラムをPythonで実行します。 実際にやってみましょう。 稿の実行環境 TypeScript 3.6.4 Python 3.7.5 Node.js 13.1.0 jsiiを使ってみる jsiiは大まかに、下記のような流れで利用できます。 TypeScriptでプログラムを記述 jsiiを使って他言語

    TypeScriptで書いたプログラムをPython等で動かす魔法の「jsii」を紹介 - Qiita
    sh19910711
    sh19910711 2020/03/15
    "jsiiはAWSが開発しているOSSです。実際の使用例として、AWSの提供するInfrastructure as CodeのツールであるAWS CDK内でjsiiが使われています"
  • 1