特定のページが更新されたら通知する仕組みを作ってみた - Qiita
はじめに RSS対応のサイトだと、更新情報追いやすいけど、RSS非対応のページも追いたいよね。って人向けの記事です。 RSS対応しているサイトなら、RSSリーダーを使った方が早いです また、Discordのチャンネルにも通知がしたかったので、メールとDiscord両方に通知を行っています。 Discord側にWebhook用のURLが必要ですが、本記事では紹介しません 参考サイトのZennの記事が細かく書かれていますので、そちらをご覧ください なお、この仕組みは更新を検知したいサイトに確認リクエストを送ります。 高頻度で設定してしまうと、サーバーに負荷がかかる為、 高頻度での設定はしないようにお願いします 参考サイト 構成図 コードについて(Lambda) コードについては、基本的に、クラスメソッドさんの記事を参考にしています Discordの通知部分については、AmazonBedrock
pdfからtextを抜き出す試行錯誤のメモ｜Kan Hatakeyama
これは二段構えの構成を持っています。この二段構えを正確に検出し、テキストを理解することが望ましいです。 Unstructuredを使うPythonのライブラリであるUnstructuredを試してみましょう。 参考記事 導入は非常に簡単です。 pip install 'unstructured[pdf]' 実装も簡単です。 解析コード： from unstructured.partition.pdf import partition_pdf pdf_elements = partition_pdf("pdf/7_71_5.pdf") 表示コード： for structure in pdf_elements: print(structure) 結果： 残念ながら、2段組のカラムを正確に検出することはできませんでした。 Grobidを使うGrobidは、peS2oというオープンアクセス論文のコ
GitHub、脆弱性のあるコードを実際にデバッグして学べる「Secure Code Game」シーズン2がスタート
GitHub、脆弱性のあるコードを実際にデバッグして学べる「Secure Code Game」シーズン2がスタート 「Secure Code Game」は、ゲームと名付けられていますが、実際のコードを月間60時間無料で提供されるGitHub Codespacesの機能を駆使して修正し、ユニットテストを通して完成させる手順となっており、実践に近い内容となっています。 昨年（2023年）3月に開始されたシーズン1は、PythonとC言語でのセキュアなコーディングを学べる内容でした。今回のシーズン2ではこれらに加えてJavaScript、Go、そしてGitHub ActionsのYamlファイルなどが含まれており、これらのコードのバグを修正することになります。 Secure Code Gameの始め方 「Secure Code Game」の始め方は次の通りです。 まず「Secure Code G
【まとめ】大学が公開している有益な資料 - Qiita
はじめに 今回は各大学が公開している、エンジニア向けの資料をまとめていきます。 東京大学 ChatGPT活用法 ChatGPTの基礎的な内容から実際にどのように活用すべきかが解説されている。 Pythonプログラミング入門 Pythonについて環境構築から始まり、基本文法、応用的な使い方まで分かりやすく解説されている。 AWS入門 ハンズオン形式でAWSの学習ができる。 AI・データサイエンスの活用事例 データサイエンスやAIの活用事例を学べる。 人工知能・深層学習を学ぶためのロードマップ AIやデータサイエンスの具体的な活用事例が学べる。 京都大学 プログラミング演習 Python 統計学 統計学やデータ分析、検定を学べる。 慶應大学 ChatGPTの活用資料 ChatGPTを用いた開発方法が学べる。 東京工業大学 機械学習 筑波大学 データベース データベースの基本から正規化や設計とい
チャット形式でプログラミングが可能なローカルで動作するオープンソースなAIツール「Open Interpreter」を使ってみた
OpenAIが開発したプラグイン「Code Interpreter」を使用すると、ChatGPTにプログラミングのコードを生成してもらうことが可能ですが、インターネットに接続できないのに加え、使用できるパッケージやアップロードの容量、実行時間などに制限があります。「Open Interpreter」はローカルで動作することでそうした制限を突破し、柔軟にさまざまなプログラムを生成・実行してくれるオープンソースなAIツールとのことなので、実際に使って試してみました。 KillianLucas/open-interpreter: OpenAI's Code Interpreter in your terminal, running locally https://github.com/KillianLucas/open-interpreter/blob/main/docs/README_JA.m
OpenAI APIとLangChainを用いた記事の翻訳・要約メディアのつくり方
はじめに この記事では、3日間でテック記事のAI要約・翻訳メディアをつくる個人開発で利用した OpenAI API LangChain の具体的な実装と利用コストについて触れていきます。 OpenAI APIとLangChainとは... OpenAI API OpenAI APIは、OpenAIという人工知能の研究・開発・普及を目的とした団体が提供するAPIです。このAPI は、自然言語とコードの理解または生成を必要とするタスクに利用することができます。 LangChain OpenAIが提供するGPT-3のような大規模言語モデル（Large Language Model: LLM）を利用してサービスの開発をしたいときに、「あるとうれしい機能」が集まったライブラリです。 この記事の目的 OpenAI API を使った記事の要約とFunction Callingの紹介 LangChain
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる
Python(pytest)でテスト書くならfixture,conftest,parametrizeを理解すると世界が一気に変わる 概要 Pythonのテストライブラリといえばpytestが一般的です。 Python標準のuniitestとは異なり、クラスベースではなく関数ベースでテストコードを記述することが一般的ですが、fixture,conftest,parametrizeを理解すると一気に世界が変わり、テスト体験が圧倒的に向上するため、これらの実装方法を紹介します。 リポジトリ 本記事の説明に使用しているサンプルのテスト実装は、以下のリポジトリです。 想定読者 PythonやGitの基本的な使い方を理解している方を想定しているため、基本的な用語説明は省略しています。 環境 エンジニアの利用率の高いmacOSを前提として説明していますので、その他の環境の方は随時読み替えてください。 開
ChatGPTでプログラミングは一切なしでExcelの集計・編集作業をする - Taste of Tech Topics
今朝は雨が降ったようで、久しぶりに涼しい朝を迎えられた菅野です。 前回の記事「日々のExcel管理を効率化するPythonスクリプトをChatGPTに作ってもらう」には多くの反響をいただきありがとうございます。 acro-engineer.hatenablog.com 前回は、Pythonスクリプトを生成することで、Excel管理の作業を自動化することを目的としていました。 ただ、エンジニアでない社員からは、以下のようなコメントをもらいました。 エンジニアではない人はPython実行もハードルが高い ChatGPTとExcelファイルだけで完結させてほしい ということで、今回はPythonスクリプトを意識することなく、ChatGPTのCode Interpreterのみを用いてExcelの集計・編集作業を行ってみます。 今回のテーマではGPT-4モデル、Code Interpreterを使
ChatGPT「Code Interpreter」とは？何ができる？データ分析能力が飛躍的向上のワケ
Code Interpreterとは？ 何ができる？ 年平均35％以上で成長し、2030年には1,093億ドルに達すると予想される生成AI市場。ChatGPTを展開するOpenAIが主導権を握っていると思われるが、Bardを擁するグーグルのほか、AlphaGoの技術を活用したチャットボットGeminiを開発するディープマインド、ChatGPTよりも強い記憶力を売りとするClaude2をリリースしたAnthropicなど、競合がひしめきあい、競争が激しい市場となっている。 生成AIトレンドの火付け役となったOpenAIは優位性を維持するために、ChatGPTのプラグインを拡充するなどさまざまな施策を展開中だ。ChatGPTにおける直近のアップデートで特に注目されているのが「Code Interpreter」のリリースだろう。 Code Interpreterの存在が明らかにされたのは3月23
ChatGPT活用を激震させる新機能｢Code Interpreter｣にNetflixをデータ解析させたらスゴかった
コード・インタープリターはChatGPTの有料版｢ChatGPT Plus｣で、GPT-4の付加機能として呼び出せる。 画像：筆者によるスクリーンショット ChatGPTの有料版である｢ChatGPT Plus｣（月額20ドル）には、7月初めから｢Code Interpreter（コード・インタープリター）｣という機能が追加された。 この機能が画期的だとして、一時ネットでは大いに話題になった。これまでは面倒だった｢データ集計｣などを、チャットの命令だけで実行できるからだ。 データ集計は、Excelなどの表計算ソフトやPythonなどのデータ処理に強いプログラミング言語で処理することが多い。 しかしコード・インタープリターでは、それらを使う必要はほとんどなく、データさえ用意できればいい。さまざまな手間がほぼゼロになり、ChatGPT任せにできる。 そうはいってもピンと来ない人も多いはず。そこ
ChatGPTを用いた複雑な処理を視覚的に組み立てられるノードエディター「ChatGraph」を使ってみた
「ChatGraph」はChatGPTのノードエディターで、ノードを組み合わせることで複雑なシステムを視覚的に構築できます。ChatGPTの高い性能を有意義に使えそうだったので、実際に使ってみました。 【ChatGPTのノードエディタ】ChatGraph - β - uynet - BOOTH https://booth.pm/ja/items/4728147 まずは、上記のリンクからChatGraphの配布ページにアクセスして「無料ダウンロード」をクリックします。今回は無料版を選択しましたが、ChatGraphには画像生成機能が付いたお布施版も存在しています。 ZIPファイルをダウンロードしたら、Windows標準機能や対応ソフトで解凍します。 ZIPファイルを解凍するとChatGraphの実行ファイル「graph.exe」が現れるのでダブルクリックして起動します。 ChatGraphの
ChatGPTで記憶を持たせる｜ナッピー通信
こんにちは代表のサル君です。今日はChatGPTに記憶を持たせる方法を紹介します。 ChatGPTと記憶力ChatGPTは、大量のテキストデータをトレーニングデータとして使用し、そのデータを元に自然言語テキストを生成することができます。しかし、個別の対話の詳細を長期的に覚えることはできません。これは、ChatGPTが非常に大量のデータを扱うことができる一方で、短期的な情報を長期的に保持するためのメカニズムが欠如しているためです。 しかし、適切に設定されたプロンプトを使用することで、ChatGPTに一定程度の記憶力を持たせることができます。 対話の開始まず、以下のような対話をChatGPTと行います。 ユーザー: コンピュータサイエンスについてのブログを書きたいんですが、どんなことを書けば良いですか？ ChatGPT: コンピュータサイエンスについてのブログを書く場合、様々なトピックを取り上
GPT-4でPythonコードをエラーがなくなるまで自動修正・実行繰り返すAIツール「ウルヴァリン」 | テクノエッジ TechnoEdge
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 コンピューターはプログラムコードで動作しますが、このコードは人間が記述している以上、どうしてもエラーを含んでしまうことが避けられません。 しかし、最近は大規模言語モデルを使ったGPTなどジェネレーティブAIの急速な進歩により、目的とする処理を文章として渡すだけで、AIがある程度プログラムコードを出力できるようになってきました。 そして、BioBootloaderと名乗る開発者による新しい試みでは、プログラム開発の際にどうしても必要となるデバッグ作業を、GPT-4をベースとするAIで行うことを可能にしました。このツールは、プログラムを自動修正することから、似た能力を持つアメコミヒーローにちなんで「Wolveri
新入社員のみんな、「ChatGPT×Python」で鬼にならないか？｜ピーナッツ
ChatGPTが本当にヤバい。 断言する。新卒がこれを使いこなせば、今職場で「優秀」とされている5-6年目くらいの先輩なら余裕で出し抜ける。鬼になれる。 筆者はメーカー社員なので、メーカーの新入社員がChatGPTを使って鬼になる方法を1つ提案したい。 「ChatGPT×Python」である。 Pythonとは、ご存知のとおり物理シュミレーションからデータサイエンス、機械学習までカバーする汎用性をそなえたプログラミング言語だ。何でもできるわりには書ける人がなぜか少なく、いまだにスキルとして重宝されている。 そんなPythonにChatGPTを使おう。 ChatGPTを使えば、上司から求められるアウトプットを一瞬で出すことができる。それに対してフィードバックをもらい、それも一瞬で打ち返すことができる。 「あいつ"Python書ける"だけじゃないんだよな。こっちが言ったこと正確に理解するし、そ
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonの「仮想環境」を完全に理解しよう
無料で会員登録も不要なWeb上の「Python」実行・学習環境「PyWeb」が正式公開／初学者向けでチュートリアルやサンプルコードも利用できる
https://twitter.com/kaityo256/status/1664286155205132288?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1664286155205132288%7Ctwgr%5E1bca869d8970a91e87096baeb78203dab001889e%7Ctwcon%5Es1_&ref_url=http%3A%2F%2Fblog.livedoor.jp%2Fmanamerit%2Farchives%2F65849819.html
GPT4内のプログラム、地味に特許とろうと温めてたけど、間に合わなさそうなのでもう出しちゃお。 以下みたいに書くと、雑なプロンプトでも勝手に高品質になる。
