並び順

ブックマーク数

期間指定

  • から
  • まで

241 - 280 件 / 7765件

新着順 人気順

pythonの検索結果241 - 280 件 / 7765件

  • PythonとRスクリプトの効果的な連携:データサイエンスの新しい次元へ - Python転職初心者向けエンジニアリングブログ

    データサイエンスの分野では、PythonとRスクリプトを組み合わせて使用することが一般的です。この記事では、PythonとRスクリプトを効果的に連携させ、データサイエンスの実践的な応用例に焦点を当てて解説します。 PythonとRの連携の重要性 Pythonは機械学習や深層学習などの分野で強力であり、豊富なライブラリが揃っています。一方で、Rスクリプトは統計解析やデータ可視化において優れた性能を発揮します。これらの言語を組み合わせて使用することで、データサイエンティストは幅広いツールを手に入れ、柔軟かつ効率的に分析を行うことができます。 PythonからRスクリプトを呼び出す PythonからRスクリプトを呼び出す方法として、subprocessモジュールを使用することができます。以下は、PythonからRスクリプトを呼び出す基本的な例です。 import subprocess # Rスク

      PythonとRスクリプトの効果的な連携:データサイエンスの新しい次元へ - Python転職初心者向けエンジニアリングブログ
    • 2024年のPythonプログラミング - Uzabase for Engineers

      ソーシャル経済メディア「NewsPicks」で推薦や検索などのアルゴリズム開発をしている北内です。Pythonは頻繁に新機能や便利なライブラリが登場し、ベストプラクティスの変化が激しい言語です。そこで、2024年2月時点で利用頻度の高そうな新機能、ライブラリ、ツールなどを紹介したいと思います。 この記事では広く浅く紹介することに重点を置き、各トピックについては概要のみを紹介します。詳細な使用方法に関しては各公式サイト等での確認をおすすめします。なお、本記事ではOSとしてmacOSを前提としています。 環境構築 Pythonの環境構築はpyenvとPoetryの組み合わせがもっとも標準的でしょう。 以下の手順でpyenvとPythonをインストールできます。 brew install pyenv # Bashの場合 echo 'eval "$(pyenv init -)"' >> ~/.ba

        2024年のPythonプログラミング - Uzabase for Engineers
      • Amazon CodeWhispererを使ったプロンプトエンジニアリングのベストプラクティス | Amazon Web Services

        Amazon Web Services ブログ Amazon CodeWhispererを使ったプロンプトエンジニアリングのベストプラクティス 生成 AI コーディングツールは、開発者の日々の開発作業の仕方を変えています。関数の生成からユニットテストの作成まで、これらのツールはお客様のソフトウェア開発の加速に役立っています。 Amazon CodeWhisperer は、開発者の自然言語のコメントと周囲のコードに基づいてコードのレコメンデーションを提供することで、開発者の生産性を向上させる IDE とコマンドラインの AI による生産性向上ツールです。 CodeWhisperer を使用すると、開発者は「 S3 にファイルをアップロードする Lambda 関数を作成する」など、特定のタスクを簡単な英語で概説するコメントを単純に記述することができます。 CodeWhisperer に対してこ

          Amazon CodeWhispererを使ったプロンプトエンジニアリングのベストプラクティス | Amazon Web Services
        • PyTorch® 2.2リリース ー SDPA性能2倍、AOTInductorによる非Python環境への展開が可能に

          PyTorchチームは1月31日、PyTorch® 2.2のリリースを発表した。新機能や最適化が盛りだくさんのこのバージョンは、エンジニアたちの期待を十分に満たすリリースだ。 PyTorch 2.2では、FlashAttention-v2の統合により、SDPA(_scaled_dot_product_attention_)のパフォーマンスが 約2倍向上 した。これにより、A100 GPUsで最大FLOPs/sの約50-73%まで到達する高速なSDPAが実現された。 新しい機能としては、非Pythonサーバーサイド向けのAOTInductorも導入。これにより、PyTorchプログラムのコンパイルとデプロイメントが可能になり、非Python環境での利用が向上した。 その他にも、Optimizersのサポート向上や新しいログメカニズムTORCH_LOGSの追加など、多くの改良が行われた。一方で

            PyTorch® 2.2リリース ー SDPA性能2倍、AOTInductorによる非Python環境への展開が可能に
          • 【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース(PDB)からの機械学習データを収集~ - LabCode

            AI創薬とは? AI創薬は、人工知能(AI)技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni

            • Bluetoothで家の中の携帯を見つけてみた - Qiita

              はじめに 皆さんにこんな経験はありませんか?? 家の中なのに携帯がない!! 自分はよく家の中で携帯を無くします。大抵30秒くらい探せば見つかるのですが、特には全く見つからない時もあり、切羽詰まっている時だと心の具合が悪いです。 部屋を整理整頓する!置き場所を決める!という古典的かつ最も有効な手法は一旦無視して、携帯を無くした時用の携帯捜索システムを作ってみました。 携帯捜索システムについて 今回は携帯のBluetoothの信号強度から位置(距離)を推定、携帯を探してみます。 イメージ図にすると以下です。 次に上記を達成するための具体的なステップは以下です。 1.携帯の識別(Bluetoothアドレスの取得) 2.携帯のBluetoothの信号強度取得 3.信号強度から携帯の位置の予測 4.実用化 順々に解説していきます。 1.携帯の識別(Bluetoothアドレスの取得) まずは自身の携帯

                Bluetoothで家の中の携帯を見つけてみた - Qiita
              • Python 3.10~3.12の魅力:入門者も使いやすいf-string、ExceptionGroup、進化したエラーメッセージの機能を解説

                はじめに 連載の第4回となる今回は、f-string構文の機能強化、新しく導入されたExceptionGroupとTaskGroup、それと改良されたエラーメッセージを中心に紹介します。 対象読者 Pythonの最新の機能を把握したい方 Pythonの経験者で、Pythonに改めて入門したい方 プログラミング言語の最新パラダイムに関心のある方 必要な環境 本記事のサンプルコードは、以下の環境で動作を確認しています。 macOS Sonoma Python(3.10.13、3.11.6、3.12.1) Visual Studio Code 1.84.2(Python v2023.23.13481009) サンプルの実行 掲載サンプルは、それぞれの.pyファイルに記述されています。動作確認は、Python 3.12、3.11、3.10をHomebrewでインストールしたmacOS上で、拡張機能

                  Python 3.10~3.12の魅力:入門者も使いやすいf-string、ExceptionGroup、進化したエラーメッセージの機能を解説
                • 生成AIグラビアをグラビアカメラマンが作るとどうなる?第17回:新技術をすぐ試せるComfyUIのインストール・使いかた (西川和久) | テクノエッジ TechnoEdge

                  ComfyUIが流行ってる?Stable Diffusionで生成AI画像を作る時、もっとも一般的なインターフェースはAUTOMATIC1111だろう。デファクトスタンダードと言ってもいいほどで、検索すると、インストール方法や使い方など、それこそ山盛り出てくる。 ところが最近、ComfyUIがちょっとした人気だ。以前軽くご紹介したが、カスタムNodeを組み合わせ自由にWorkflowを構築できる結構マニアックなアプリなのに何故? ComfyUI。カスタムNodeを接続してWorkflowを作る…と結構マニアックなアプリ。これは筆者が日頃使っているWorkflowの1つこれには理由があり、12月頃から以降、Stable Video Diffusion、Kohya's HiresFix、SDXL Turbo、LCM、FaceID、PhotoMaker、InstantID、様々なControlN

                    生成AIグラビアをグラビアカメラマンが作るとどうなる?第17回:新技術をすぐ試せるComfyUIのインストール・使いかた (西川和久) | テクノエッジ TechnoEdge
                  • 【Python】__〇〇__ メソッドの正体

                    __〇〇__メソッドの正体 is「特殊メソッド」 Python で開発する際、__init__ をはじめとする __ (アンダースコア*2) で囲まれたメソッドを目にする機会があると思います。 これらのメソッドは「特殊メソッド」と呼ばれ、Python では以下のように定義されています。 special method (特殊メソッド) ある型に特定の操作、例えば加算をするために Python から暗黙に呼び出されるメソッド。この種類のメソッドは、メソッド名の最初と最後にアンダースコア2つがついています。 つまり、独自で定義したクラス内でこれら特殊メソッドをオーバーライドすることで、特定の操作の振る舞いを変更できるようになります。特殊メソッドはそれを直接呼び出すというよりは、既存の演算子などの振る舞いを変更するというイメージです。 例えば、インスタンス同士の加算処理を実装したい時、新たに ad

                      【Python】__〇〇__ メソッドの正体
                    • Metaがコード生成AIモデルの新バージョン「Code Llama 70B」をリリース、コードの正確性が向上・Pythonに最適化されたバリアントも提供

                      FacebookやInstagramを運営するMetaが、テキスト入力を元にプログラムのコードを生成するAI「Code Llama」の700億パラメータのモデルをリリースしたと発表しました。モデルはLlama 2と同じ「Llama 2 Community License」で公開されており、月間アクティブユーザー数が7億人以下の場合は無償で商用利用することが可能です。 Introducing Code Llama, a state-of-the-art large language model for coding https://ai.meta.com/blog/code-llama-large-language-model-coding/ Code LlamaはMetaが2023年7月にリリースしたLlama 2をコード固有のデータセットでさらにトレーニングしたもの。Python、C++

                        Metaがコード生成AIモデルの新バージョン「Code Llama 70B」をリリース、コードの正確性が向上・Pythonに最適化されたバリアントも提供
                      • 【2024年】ITエンジニア本大賞まとめ - Qiita

                        アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために! 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、

                          【2024年】ITエンジニア本大賞まとめ - Qiita
                        • 生成AIアプリ開発フレームワーク「LangChain」、安定版(v0.1.0)を公開

                          LangChainプロジェクトは2024年1月8日(米国時間)、大規模言語モデル(LLM)を活用した生成AI(人工知能)アプリケーションを開発するためのオープンソースフレームワーク「LangChain」の安定版(v0.1.0)を公開した。 LangChainは、LLMを活用した生成アプリケーション開発を支援するオープンソースのフレームワークだ。LLMとコンテキスト(データソース)の統合を支援する複数の機能を提供している。開発者はLangChainを利用することで、LLMを利用した生成AIアプリを構築できる。 LangChai社は「完全な下位互換性があり、PythonとJavaScriptの両方で利用可能だ」と述べている。 LangChain v0.1.0の主な変更点 関連記事 生成AI入門:議事録を答えるチャットAI(RAGアプリ)を作ってみよう【プログラミング不要】 生成系AIの導入が急

                            生成AIアプリ開発フレームワーク「LangChain」、安定版(v0.1.0)を公開
                          • チャート見るのがだるいのでTradingViewを使って自動売買してみた件:Bitget編 - Qiita

                            趣旨 TradingViewを見ていちいち取引所のサイトに移動して注文を出すのがだるい!という時に全部自動化してトレード放棄したいという邪な考えから作ったbotです。 同じことを全く別の方法で実現することも可能です。 Macでもラズパイでもレンタルサーバーでも実装できますが、実際に動かすとなるとレンタルサーバーでやるのが良いと思います。またサーバーで実装した場合はSmeeを使わなくて済むので簡単ですし、より安全です。

                              チャート見るのがだるいのでTradingViewを使って自動売買してみた件:Bitget編 - Qiita
                            • Pythonにasyncioってあるけどよく知らなかったので調べた

                              1.はじめに Pythonのasyncioは、async・await構文を利用して並行処理を行うため公式ライブラリです。 筆者はいくつかのライブラリでasync・awaitまたはasyncioなるキーワードを目にしつつも、理解を後回しにしてきました。この度一念発起して情報を整理し、同じような人たちのために情報をまとめました。 まず、asyncioの基本的な使い方を改めて整理しました。 特に、並行処理のタスク遷移と例外周りについて、パッと検索した範囲ではあまり情報が見つからなかったため、深掘りしてまとめました。 執筆当時の検索結果では、asyncioの古い書き方や機能を利用しているものも多くありました。この記事ではなるべく執筆現在の最新バージョン(Python 3.11)で推奨されている書き方でサンプルを作ってあります。 ただし、asyncioについて色々と書いたものの、async・awai

                                Pythonにasyncioってあるけどよく知らなかったので調べた
                              • 【Python】import system の全体像

                                概要 Python の import 文は、プログラムの実行中に他のモジュールを読みこむために使われます。 おおまかな import 文の動作として、sys.path から指定された名前のモジュールを探して見つかったものを読みこむというように理解している人が多いのではないかと思います。 この理解は概ね正しいですが、実際には sys.path の探索は import system の一部分でしかなく、他の機構が用いられることもあります。さらにはカスタマイズした実装を使って import system の動作を拡張したり置き替えたりすることさえ可能です。 Python の import system は import 文の単純そうな文法からすると意外なほどに複雑です。この記事では import system の仕組みについて、図を交えながら全体像をできるだけわかりやすく説明することを目指しまし

                                  【Python】import system の全体像
                                • 畳み込みの仕組み | Convolution

                                  確率から画像処理まで、離散畳み込みと高速フーリエ変換(FFT) 激ムズ数え上げパズルと驚きの解法 https://youtu.be/FR6_JK5thCY フーリエ変換の解説動画 https://youtu.be/fGos3wrKeHY 【注釈】 整数のかけ算のアルゴリズムについて、FFTの"straightforward"な適用はO(N * log(n) log(log(n)) )の実行時間になる。log(log(n))の項は小さいが、2019年になってHarvey and van der Hoevenがこの項を取り除くアルゴリズムを発見した。また、O(N^2)を、必要な計算量がN^2と共に大きくなると表現したが、厳密にはこれはTheta(N^2)が意味するところである。 O(N^2)は計算量が高々N^2の定数倍になるという意味で、特に、実行時間がN^2項を持たないが有界であるアル

                                    畳み込みの仕組み | Convolution
                                  • PythonでDDDやってみた💪 - techtekt

                                    はじめに 実行環境 ディレクトリ構造 app migrations/model pyproject.toml ソースコードと簡単な解説 app/core app/core/abstract app/core/decorator app/core/exception app/core/interface app/core/middleware app/core/mixin app/ddd app/ddd/application app/ddd/application/schema app/ddd/application/schema/studnet app/ddd/application/usecase app/ddd/application/usecase/student app/ddd/domain app/ddd/domain/student app/ddd/infra app/ddd

                                      PythonでDDDやってみた💪 - techtekt
                                    • [NumPy超入門]日付や時刻、その差分の扱い

                                      連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はカリフォルニア州の住宅価格を予想するモデルを単回帰分析という手法を用いて作成してみました。今回は話をガラリと変えて、NumPyにおける日付の扱いを紹介します。 NumPyで日付を操作する NumPyには日付や時刻、その差分を扱うために次の2つのクラスが用意されています。

                                        [NumPy超入門]日付や時刻、その差分の扱い
                                      • 【Python】pydub使ったら音声データの解析がめっちゃ簡単だった

                                        音声データをPythonで取り込んで表示したり解析したりしたいと思ったことはありませんか? この記事では音声データの入出力をPythonで行えるpydubのインストールと基本的な使用方法(音声データの読み込み)について説明します。 pydubで音声データファイルの入力ができれば,Numpyが提供する関数等を使用してPython上で音声データの解析・加工ができるようになります。 動作検証済み環境 macOS Catalina(10.15.7), python3.7.10, Jupyter Notebook, OpenCV 3.4.2 Pythonで音声データを読み込み,波形を描画する方法 pydubのインストール Pythonで音声データファイルの読み込みをするときは,pydubが便利です。 pydubは内部で ffmpegというライブラリを使用しますので,あらかじめインストールしておく必要

                                          【Python】pydub使ったら音声データの解析がめっちゃ簡単だった
                                        • PythonとR言語のハーモニーな連携: データサイエンスの舞台裏 - Python転職初心者向けエンジニアリングブログ

                                          プログラミングの舞台裏には、異なるプログラミング言語を組み合わせて使用することで、プロジェクトに深みをもたらす魔法が広がっています。今回の記事では、PythonとR言語の連携に焦点を当て、データサイエンスの分野でこれらの言語を連携させることで得られる恩恵について詳しく探ってみましょう。 PythonとR言語: データサイエンスのダイナミックデュオ Pythonは豊富なライブラリやシンプルな構文を持ち、データ処理や機械学習分野で強力な存在です。一方で、R言語は統計解析や可視化に特化しており、データサイエンスの分野で広く使用されています。これらの異なる強みを連携させることで、データサイエンスのダイナミックデュオが誕生します。 連携の鍵: PythonからRスクリプトを呼び出す PythonからRスクリプトを呼び出すためには、subprocessモジュールを使用します。以下は基本的な例です。 i

                                            PythonとR言語のハーモニーな連携: データサイエンスの舞台裏 - Python転職初心者向けエンジニアリングブログ
                                          • 次期Python、ついにJITコンパイラ搭載の見通し。「copy-and-patch」と呼ばれる新たなJITコンパイラの仕組みとは?

                                            次期Python、ついにJITコンパイラ搭載の見通し。「copy-and-patch」と呼ばれる新たなJITコンパイラの仕組みとは? 機械学習やAI処理の分野を中心に非常に高い人気のプログラミング言語である「Python」の次期バージョンに、処理速度の向上を目指したJITコンパイラが搭載される見通しです。 このJITコンパイラは、PythonコアデベロッパーのBrandt Bucher氏が提案し、実装しています。 そしてPython Software FoundationのフェローであるAnthony Shaw氏がブログ「Python 3.13 gets a JIT」で、このJITコンパイラについて解説しています。 これらの情報を元に、PythonのJITコンパイラがどのように実装されようとしているのか、少し紹介していきましょう。 RubyもJavaScriptもJITが高速化を実現してき

                                              次期Python、ついにJITコンパイラ搭載の見通し。「copy-and-patch」と呼ばれる新たなJITコンパイラの仕組みとは?
                                            • API GatewayのテストをBoto3で行ってみた(AWS SDK for Python) - NRIネットコムBlog

                                              本記事は 基盤デザインウィーク 4日目の記事です。 🌈 3日目 ▶▶ 本記事 ▶▶ 5日目 💻 はじめに pytest・Boto3・API Gatewayについて pytestとは Boto3とは API Gatewayとは やってみた API GatewayでMock作成 作成したMockのテストをBoto3で実施 リソースパスのテスト レスポンス内容のテスト おわりに はじめに はじめまして。基デザウィーク4日目を担当します、入社1年目の深瀬です。昨年8月に基盤デザイン事業部へ配属となり、インフラエンジニアの道を進むことになりました。最初は「インフラ!?うっ…頭が痛い。。」と思っていましたが、いざ配属されるとなんとなく思い描いていたのとは違い、今のところ楽しくインフラエンジニアライフを過ごせています。 本記事では、Amazon API Gateway(以下API Gateway)の

                                                API GatewayのテストをBoto3で行ってみた(AWS SDK for Python) - NRIネットコムBlog
                                              • OpenAI APIであらゆるジャンルのクイズを無限に作る(Function Calling、JSON Mode) - Qiita

                                                OpenAI APIであらゆるジャンルのクイズを無限に作る(Function Calling、JSON Mode)PythonOpenAIChatGPT OpenAIのChat Completion APIを使って、あらゆるジャンルのクイズを無限に作るクイズAPI1を作ってみました。利用するためには、OpenAIのAPIトークンが必要です。 PythonのStreamlitで作ったデモアプリの中で使っています。 クイズのデータ形式 ジャンルを指定すると、Chat Completion APIを使って、次のようなJSON形式の4択クイズデータを生成します。次の例はジャンルにPythonを指定した結果です。 { "questions": [ { "question": "Pythonの特徴でないものはどれ?", "options": ["動的な型付けを採用している", "クラスベースのオブジェ

                                                  OpenAI APIであらゆるジャンルのクイズを無限に作る(Function Calling、JSON Mode) - Qiita
                                                • 【GEE】ランダムフォレストで土地被覆分類を行う【衛星データ解析】 - LabCode

                                                  土地被覆分類とは? 衛星画像や航空写真などのリモートセンシングデータを分析し、地表のさまざまなカバータイプ(例えば、森林、農地、水域、都市地域など)を識別するプロセスです。土地被覆分類は地球環境のモニタリング、土地利用計画、生態系の管理、気候変動の研究など、多くの応用分野で利用されます。 以前の記事で利用した環境省生物多様性センターの植生図をはじめ、国土地理院の地理院地図、産総研のシームレス地質図などが作成され公開されています。 GEEには土地被覆分類を行うためのオブジェクトとしてee.Classifierというものが用意されています。これを利用することで機械学習を利用した土地被覆分類を行うことができます。 ee.Classifierが対応している主要な機械学習モデルは以下の通りです。 決定木(Decision Tree):条件分岐によってグループに分けられる木の構造をしたものです。回帰に

                                                    【GEE】ランダムフォレストで土地被覆分類を行う【衛星データ解析】 - LabCode
                                                  • Pythonデータサイエンスハンドブック 第2版

                                                    Pythonのデータサイエンス用のツールを使いこなすための実用的な情報が詰め込まれたリファレンスの待望の改訂版です。IPythonとJupyter、NumPy、pandas、Matplotlib、scikit-learnを利用し、データの操作、可視化、行列計算、時系列解析、統計分析、機械学習、データモデルの構築、複雑な科学計算まで、幅広いトピックをカバー。それぞれのトピックについて、押さえておくべき基本、tips、便利なコマンドなどを紹介します。Pythonでデータ処理を行う人にとってはいつも手元に置いておきたい「使える」一冊です。 『Python Data Science Handbook, Second Edition』への称賛 訳者まえがき はじめに Ⅰ部 Jupyter:Pythonより優れたPython 1章 IPython、Jupyter入門 1.1 IPythonシェルの起動

                                                      Pythonデータサイエンスハンドブック 第2版
                                                    • 登録不要・無料のPython学習環境「PyWeb」にWebアプリ(CGI)実行機能が追加/HTML/CSSでWebフォームを作って、Pythonプログラムと連携

                                                        登録不要・無料のPython学習環境「PyWeb」にWebアプリ(CGI)実行機能が追加/HTML/CSSでWebフォームを作って、Pythonプログラムと連携
                                                      • Pythonの`callable()`関数を活用してオブジェクトが呼び出し可能かどうかを確認しよう - Python転職初心者向けエンジニアリングブログ

                                                        Pythonは非常に柔軟なプログラミング言語であり、オブジェクトの種類や性質は様々です。プログラマーがオブジェクトを取り扱う際、そのオブジェクトが呼び出し可能(callable)かどうかを知りたいことがあります。そのためにPythonはcallable()関数を提供しています。この記事では、callable()関数の使い方や具体的な例を通じて、その利点や応用について詳しく説明します。 callable()関数とは? Pythonのcallable()関数は、指定されたオブジェクトが呼び出し可能であるかどうかを判定するために使用されます。呼び出し可能とは、そのオブジェクトが関数やメソッドのように、実行可能なものであることを意味します。callable()関数は以下のように使います。 result = callable(object) ここでobjectは判定対象のオブジェクトです。calla

                                                          Pythonの`callable()`関数を活用してオブジェクトが呼び出し可能かどうかを確認しよう - Python転職初心者向けエンジニアリングブログ
                                                        • LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ

                                                          こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI

                                                            LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
                                                          • 自然言語処理(NLP)の基礎と応用: Pythonで学ぶテキストデータの解析 - Python転職初心者向けエンジニアリングブログ

                                                            自然言語処理(NLP)は、コンピュータが人間の言語を理解し、処理するための分野です。PythonにはNLPを実現するための豊富なライブラリが存在し、本記事ではNLPの基礎から応用までをPythonコードを交えながら詳しく解説します。 1. NLPの基礎 1.1 テキストデータの前処理 NLPの最初のステップはテキストデータの前処理です。これにはテキストのクリーニング、トークン化、ストップワードの削除などが含まれます。 import re from nltk.corpus import stopwords from nltk.tokenize import word_tokenize # テキストデータのクリーニング def clean_text(text): text = re.sub(r"[^a-zA-Z]", " ", text) # アルファベット以外の文字をスペースに置換 text

                                                              自然言語処理(NLP)の基礎と応用: Pythonで学ぶテキストデータの解析 - Python転職初心者向けエンジニアリングブログ
                                                            • Bluesky のフォロー推薦モデルを書いた - HackMD

                                                              Social Network を活用するには自分の興味にあったアカウントをフォローすることが大事です.そのために重要な役割を果たすのが「おすすめユーザ推薦 (friend recommendation)」です.

                                                                Bluesky のフォロー推薦モデルを書いた - HackMD
                                                              • ユーザーの質問からSQLクエリを生成するPython RAGフレームワーク「Vanna 0.0.31」がリリース

                                                                CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

                                                                  ユーザーの質問からSQLクエリを生成するPython RAGフレームワーク「Vanna 0.0.31」がリリース
                                                                • 最小二乗法で回帰式が2次関数になったらどうする? 重回帰分析の計算も

                                                                  機械学習の最も基礎的な手法が最小二乗法だ。この特集では、Pythonで最小二乗法のプログラムを実装することで、その仕組みを学んでいく。 ここまで、回帰式は「y = ax + b」という1次関数でした。実は、回帰式は2次関数でも3次関数でもよいのです。ここでは、回帰式が2次関数の場合の最小二乗法を考えましょう。 2次関数の回帰式は次のようになります。

                                                                    最小二乗法で回帰式が2次関数になったらどうする? 重回帰分析の計算も
                                                                  • 「LLMアプリ開発の鍵:LangChain超入門」大嶋 勇樹 | Forkwell Press | フォークウェルプレス

                                                                    LLMを使ったアプリケーション開発の基礎 ChatGPT、すごく話題ですよね エンジニアの間で注目を集める ChatGPT 。「このエラーはどういう意味?」や「こんなプログラムを書いて」といった指示にも適切に対応します。有料プランでは、GPT-4 や GPT-3.5 などのモデルを選択可能です。これらは大規模言語モデル(Large Language Model: LLM)と呼ばれ、多くの組織が ChatGPT の API を活用したアプリケーション開発に着手しています。その応用例には、社内文書に基づいて回答するチャットボット、自然言語から SQL を自動生成・実行するツール、特定の口調や性格を持つ AI キャラクターなどが含まれます。 LLMアプリ開発が盛り上がっている理由 LLM アプリ開発の盛り上がりは、これまでの AI との一線を画す点に起因します。従来のチャット AI や要約翻訳

                                                                      「LLMアプリ開発の鍵:LangChain超入門」大嶋 勇樹 | Forkwell Press | フォークウェルプレス
                                                                    • GitHub - Ostorlab/oxo: OXO is a security scanning orchestrator for the modern age.

                                                                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                        GitHub - Ostorlab/oxo: OXO is a security scanning orchestrator for the modern age.
                                                                      • 東京発・AIドリームチーム「Sakana.ai」が45億円調達 元Googleトップ研究者らが設立 AI業界の著名人や日本の大手IT企業も出資

                                                                        元米Googleの著名な研究者、リオン・ジョーンズ氏とデビッド・ハー氏が東京で立ち上げたAI企業Sakana.ai(東京都港区)は1月16日、シリコンバレーのベンチャーキャピタルやNTTグループ、KDDI、ソニーグループなどから45億円の資金を調達したと発表した。 調達元はシリコンバレーのベンチャーキャピタル米Lux Capitalや米Khosla Venturesに加え、日本ではNTTグループ、KDDI、ソニーグループ、ベンチャーキャピタルのみやこキャピタルやジャフコグループなども出資した。Googleで最高AI責任者を務めるジェフ・ディーン氏や、米Hugging Face創業者CEOのクレム・デラング氏、米Scale AI創業者CEOのアレックス・ワン氏といった個人からも出資を受けた。 調達した資金は人材採用に充てる。国内外から優秀なITエンジニア人材を集め、日本に招致するという。さら

                                                                          東京発・AIドリームチーム「Sakana.ai」が45億円調達 元Googleトップ研究者らが設立 AI業界の著名人や日本の大手IT企業も出資
                                                                        • ゼロからはじめるPython(111) Googleカレンダーの予定を読み込んでカウントダウンしよう(上)カレンダー編

                                                                          Googleカレンダーを使ってスケジュール管理をしている人も多いことだろう。Googleカレンダーの予定はPythonを使って取得できる。今回は、予定一覧を取得してカウントダウンするプログラムを作ってみよう。 今回作るカレンダー Googleカレンダーについて Googleが基本的に無料で提供するWebカレンダーが「Googleカレンダー」だ。スマートフォンアプリも提供されており、家族やチームで共有もできるので、利用しているユーザーは多いことだろう。 Googleカレンダー そして、プログラマーにとって、嬉しい点だかが、このGoogleカレンダーにはAPIが用意されており、自作のプログラムからカレンダーを制御できるようになっているという点だ。簡単なプログラムを利用して、予定の一覧を取得したり、イベントを追加したりすることができる。 今回と次回で、カレンダーから重要な予定を取得して、予定まで

                                                                            ゼロからはじめるPython(111) Googleカレンダーの予定を読み込んでカウントダウンしよう(上)カレンダー編
                                                                          • Dynamic Programming is not Black Magic – Quentin Santos

                                                                            This year’s Advent of Code has been brutal (compare the stats of 2023 with that of 2022, especially day 1 part 1 vs. day 1 part 2). It included a problem to solve with dynamic programming as soon as day 12, which discouraged some people I know. This specific problem was particularly gnarly for Advent of Code, with multiple special cases to take into account, making it basically intractable if you

                                                                            • GitHub - spyboy-productions/CloakQuest3r: Uncover the true IP address of websites safeguarded by Cloudflare & Others

                                                                              CloakQuest3r is a powerful Python tool meticulously crafted to uncover the true IP address of websites safeguarded by Cloudflare and other alternatives, a widely adopted web security and performance enhancement service. Its core mission is to accurately discern the actual IP address of web servers that are concealed behind Cloudflare's protective shield. Subdomain scanning is employed as a key tec

                                                                                GitHub - spyboy-productions/CloakQuest3r: Uncover the true IP address of websites safeguarded by Cloudflare & Others
                                                                              • Pythonの構造的パターンマッチングのさらに便利なパターン紹介 | gihyo.jp

                                                                                鈴木たかのり(@takanory)です。今月の「Python Monthly Topics」では、第1回で紹介したPython 3.10の新機能「構造的パターンマッチング(Structural Pattern Matching⁠)⁠」の続きをお届けします。 前回は構造的パターンマッチング全体の説明、いくつかのパターンをコード例を交えて紹介しました。今回はその続きとして、前回紹介できなかった他のパターンについても紹介します。 Python 3.10の新機能:構造化パターンマッチング | gihyo.jp 構造的パターンマッチングとは 前回の繰り返しになりますが、この記事で初めて構造的パターンマッチングを知った人に向けて、簡単に紹介します。詳細は上記の記事を参照してください。 構造的パターンマッチングはPython 3.10で新しく導入された文法です。Python 3.10は2021年10月に

                                                                                  Pythonの構造的パターンマッチングのさらに便利なパターン紹介 | gihyo.jp
                                                                                • [NumPy超入門]Pythonで単回帰分析:手作業で計算してみよう

                                                                                  連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はCalifornia Housingデータセット(カリフォルニアの住宅価格のデータセット)を基に相関係数を計算してヒートマップを作成したり、'MedInc'列(地域の所得を表すデータ)と'MedHouseVal'列(地域の住宅価格を表すデータ)を軸に散布図を作成したりして、これら2つのデータにはある程度の相関があるのではないかという話をしました。 今回は'MedInc'列と'MedHouseVal'列との関係を数式として表現

                                                                                    [NumPy超入門]Pythonで単回帰分析:手作業で計算してみよう