AWSやGCPといったクラウドサービスのセキュリティ項目を無料で監査できるオープンソースソフト「Scout Suite」レビュー
AWSやGCP、Azureといったクラウドサービスには数多くの設定があり、セキュリティ上の問題に設定画面から気づくのは難しい場合もあります。無料のオープンソースソフト「Scout Suite」では、各クラウドのAPI機能を利用して、クラウド上に構築した環境の設定に対し、セキュリティの問題がないかの監査を行うことが可能です。 GitHub - nccgroup/ScoutSuite: Multi-Cloud Security Auditing Tool https://github.com/nccgroup/ScoutSuite Scout Suiteが記事作成時点で正式に対応しているサービスは、AWS、GCP、Azureの3サービス。Alibaba CloudとOracle Cloud Infrastructureには実験的に対応しています。今回はGCP上のプロジェクトに対し、Scout
はじめに みなさん、こんにちは。 株式会社キカガクの機械学習講師 藏野です。 キカガクは、「AI を含めた先端技術の研修」を行っている会社です。 この記事は、「Web スクレイピングで特定のデータを取得して CSV で出力」までの実務的な内容を取り扱います。 スクレイピングの記事は多くありますが、活用を見据えてデータを取得し保存するところまで取り組みたいという方は、ぜひ参考にされてください。 この記事は、Python を活用しながら Web サイトのデータ収集を効率化（１）【環境構築編】の続きとなっています。 必ず読む必要はありませんが、スクレイピングの仕組みを復習したい方は一読をオススメします。 目次 スクレイピングの手法 環境構築 実践 おわりに お知らせ Web スクレイピングの手法 スクレイピングには、以下の 2 つの手法があります。 Selenium を使用して、ブラウザを自動操
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
言語処理100本ノック（2024年度）
Copied from: Public/Study NLP100 2023 実践的な課題に取り組みながら，プログラミング，データ分析，研究のスキルを楽しく習得することを目指します．具体的には， Unix環境でのターミナルの操作． 研究室の実験環境の体験． Pythonプログラミングのチュートリアル． Pythonの実行環境のインストール． Pythonの基礎． Jupyter notebook, IPython, pipの使い方など． この勉強会では言語処理100本ノック 2020を教材として用います．自然言語処理に関するプログラムを実際に作ってもらい，互いにコードレビューを行います． 問題に対する答えは一つではありません．どんな方法でも構いませんので，自力で問題を解き，他人のコードを読むことで，よいプログラムとは何かを体感してください． This study group aims at
Pythonでデータ処理をしている際、numpyにはまらないごちゃごちゃした前処理があり、ちょっと遅いんだよなぁ。。。となること、ないでしょうか。 ルーチンになっている解析であれば高速化を頑張る意味がありそうですが、新しい解析を試行錯誤している最中など、わざわざ高速化のためのコードをガリガリ書いていくのは辛いぐらいのフェーズ、ないでしょうか。 こんなとき、私はJuliaを使っています。Juliaは特別な書き方をしなくても高速になる場合が多く、並列処理も簡単にできます。 julialang.org Julia、いいらしいが名前は聞いたことがあるけど使うまでには至ってない、という方がと思います。今まで使っているコードの資産を書き直すのは嫌ですよね。 しかし、JuliaにはPythonの資産を活かしつつ高速にデータ処理がするための道具がそろっています。 今回の記事はPythonとJuliaをいっ
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
概要 こんにちは@kajyuuenです。 日本語自然言語処理のData Augmentationライブラリdaajaを作成しました。 この記事ではdaajaが実装しているData Augmentation手法についての解説とその使い方について紹介します。 ソースコードは以下のリポジトリで公開しています。 github.com また、このライブラリはPyPIに公開しているのでpip install daajaでインストールが可能です。 はじめに Data Augmentationとは Data Augmentationとは元のデータから新しいデータを生成し、データ数を増やす手法です。 日本語ではデータ拡張という名前で知られています。 ラベル付きデータを擬似的に増やすことによって、アノテーションコストを必要とせずにモデルの汎化性能や精度の向上が期待できます。 対応している手法 現在daajaは
GitHub - deezer/spleeter: Deezer source separation library including pretrained models.
Spleeter is Deezer source separation library with pretrained models written in Python and uses Tensorflow. It makes it easy to train source separation model (assuming you have a dataset of isolated sources), and provides already trained state of the art model for performing various flavour of separation : Vocals (singing voice) / accompaniment separation (2 stems) Vocals / drums / bass / other sep
この記事は、「BASE Advent Calendar 2019」の3日目の記事です。 devblog.thebase.in 前の日は id:ngsw のEC2における単位時間あたりの名前解決制限の対応と id:chiiichellのエンジニア2年生がリーダブルコードを読んで今年自分が書いたコードを振り返るでした。 devblog.thebase.in Product Dev Divisionの加賀谷です。内部統制の実現手段の1つである「ITへの対応」について整備改善を日々進めています。社内の内部統制事務局と監査法人に評価とアドバイスをいただきながら、IT統制のうちの全般統制への対応を実施しています。 AnyPay社さんのGitHubを組織運営に活用する事例にあるとおり、活動の中で行う文書管理、承認、証跡管理にGitHubがとても有効だと感じることが多くありました。この記事では先の記事に学
日本語の単語を適切な位置で区切って読みやすく改行してくれる軽量でオープンソースなライブラリ「BudouX」の機能＆採用例＆デモはこんな感じ、Chrome 119に実装予定で簡単に利用できる見込み
日本語のページをブラウザで見ているとおかしな位置で改行されることが多いのですが、単語と単語の間にスペースを入れる英語などと異なり、日本語では分かち書きがされていないのが原因。単語の途中で文章が折り返されてしまう原因になっています。BudouXは機械学習モデルを利用して容量を抑えつつ、サードパーティーのAPIやライブラリに依存せずに分かち書きを行ってくれるオープンソースライブラリなので、読みやすい改行が実現できます。 Google Developers Japan: BudouX: 読みやすい改行のための軽量な分かち書き器 https://developers-jp.googleblog.com/2023/09/budoux-adobe.html BudouXの使用イメージは下図の通り。従来は画面幅によっては「最先端」や「テクノロジー」などの単語の途中で改行が行われてしまう事がありましたが、
AWSの権限昇格してますか？（挨拶） PMapperは、指定したAWSアカウントのIAMとOrganizationsを分析して、権限昇格可能なパスを可視化してくれるツールです。NCCグループ社製。 github.com PMapperはIAMポリシー、ユーザー、グループなどをノード、権限昇格する（できる）ノードから、されるノードへのベクトルをエッジとして、有向グラフを生成します。こんな感じ。 権限昇格できるノード--昇格方法-->権限昇格されるノード AdministratorsAccess の他、IAMFullAccess のように、自分自身にポリシーを割り当てられるノードをAdminと位置づけ、AssumeRole や PathRole によってAdminに（直接的か間接的かを問わず）なれる別のノードを探す、という感じみたいです。 実行 CloudShellを使いました。Dockerイ
Google Cloudのデータエンジニアをしています、はんざわです。 今回はSQLのリンターであるSQLFluffを触りながら理解を深めたいと思います。 検証環境 macOS： 13.3.1 Python： 3.9.5 SQLFluffとは SQLFluffとは、SQLのフォーマットを自動で問題点の指摘や修正をしてくれるオープンソースサービスです。 さっそくインストールして使ってみたいと思います。 インストール SQLFluffをインストールするにはPython3が必要です。 $ pip3 install sqlfluff 正常にインストールできているか確認します。 $ sqlfluff version 2.0.7 インストールが完了しました。実際にクエリを用意し、使ってみたいと思います。 さっそく使ってみる sqlfluffには大きくlintとfixの2つの機能があります。 まずはli
「GPT Index」を試したので、まとめました。 1. GPT Index「GPT Index」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。 同様のチャットボットは「LangChain」でも作成できますが、「GPT Index」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 【注意】ドキュメントが大きいと、OpenAI APIの呼び出しも多くなるので、コストを注意する必要があります。 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !p
ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のようにSlackの専用チャンネルを通して開発エンジニアに質問を投げて回答を作成することになっています。 CSチームから調査を依頼されるお問い合わせの例 これらのCS問い合わせ対応は日々いくつも発生しており、CSお問い合わせ対応を当番制にして運用してみた話 でもあるように週ごとに持ち回り制で各部門のエンジニアが対応しているのですが、どうしても調査や対応に時間が取られてしまうという問題が発生していました。 dev
Python関連記事まとめ | note.nkmk.me
環境情報・設定 Pythonのバージョンを確認、表示（sys.versionなど） Pythonが実行されている環境のOSやバージョン情報などを取得 カレントディレクトリを取得、変更（移動） 実行中のファイルの場所（パス）を取得する__file__ 環境変数を取得・追加・上書き・削除（os.environ） 再帰回数の上限を確認・変更（sys.setrecursionlimitなど） コードの書き方・ルール Pythonはインデント（スペース4文字）でブロックを表す 識別子（変数名など）として有効・無効な名前、命名規則 キーワード（予約語）一覧を確認するkeyword 長い文字列を複数行に分けて書く メソッドチェーンを改行して書く pip（パッケージ管理） パッケージ管理システムpipの使い方 pipでrequirements.txtを使ってパッケージ一括インストール pip list /
こんにちは、Twitter監視botの八木です。 いつものようにTwitter監視を行なっていると、あるツイートが目に飛び込んできました。 120 : Remove Image Background using Python https://t.co/888CDqtc68 pic.twitter.com/14g18gzi2n — Python Coding (@clcoding) October 7, 2022 Rembgという、画像から背景を削除するPythonライブラリがあるようです。 ツイートの画像を見てみると、非常に綺麗に背景が削除されています。すごい。 ツイートはPythonコードからの呼び出しですが、READMEをみるとCLIもありました。 今回はこのCLIでいろんな画像を処理してみます。 前提条件 PC: MacBook Pro (13-inch, M1, 2020) OS:
R&D チームの徳田（@dakuton）です。 最近は画像とテキストの狭間にいます。 今回記事のまとめ 簡単にまとめると以下のとおりです。 いくつかの超解像(高解像度化)モデルがOpenCV extra modules(opencv_contrib)インストール + コード数行記述で導入可能 超解像に限らず、文字が一定サイズ以上になるような前処理 -> OCR解析 を実施すると、OCR精度改善につながることがある 超解像による見た目の滑らかさに比例して、OCR精度改善につながるわけではない 低計算コストな画像拡大から超解像に変更する恩恵は発生しにくい テスト条件を変えた場合、違った結果になる可能性あり(用いるOCRエンジン、画像の劣化条件、OpenCV未提供の後発モデル利用など) 実験内容 利用するOCRエンジンの実行条件は変えずに、前処理部分のみ変更した場合のOCR精度・速度変化を調べま
GitLab CIとPuppeteerを使ってはてなブログのデザインを継続的にデプロイする - pixiv inside - pixiv inside
こんにちは！ピクシブ福岡オフィスでエンジニアをしている@tasshiです。 今回はpixiv insideリニューアルのデプロイ環境についてお話ししたいと思います。 pixiv insideについて 「pixiv inside（ピクシブ インサイド）」は、ピクシブ株式会社の日常を伝えるためのオウンドメディアです。 2014年に「pixiv engineering blog」としてスタートし、2017年に現在の「pixiv inside」になりました。 WordPressからはてなブログへ pixiv insideでは2020年1月にセルフホスティングのWordPressからはてなブログへと移行し、新デザインへのリニューアルを行っています。 デザインリニューアルではデザイナーさんの作ったデザインを元にして、エンジニアがJavaScript, CSSなどのデザインリソースを実装します。 その後
ChatGPT公式プラグイン「Code interpreter」がついに日本でも使えるようになったので、自ら検証したTipsをまとめます。 他にも追加できそうなTipsがあればコメントもらえると嬉しいです Code interpreterとは 「Code interpreter（コードインタープリター）」とは、ChatGPTが提供する公式プラグインの1つで、このプラグインを利用することで、ChatGPT上でPythonを使ったコードの実行や、ファイルのアップロード・ダウンロードができるようになります。 ファイルのアップロード機能を使うことで、チャット上にデータをアップロードし、そのデータに対してコードを実行することができるようになります。 また、作業の結果をcsvなどでダウンロードすることが可能です。 つまり、Code interpreterのプラグインを使うことで、ChatGPT上でPy
今回テックブログを書くにあたり、以下の記事を参考にしました。 qiita.com こちらの記事では、マクドナルドのメニューを対象に組み合わせ最適化問題を扱っており、内容も非常に面白く読ませて頂きました。 今回、弊社askenでも自社データを使用して食事の組み合わせ最適化問題をやってみたのでご紹介します。 はじめに こんにちは！ askenで機械学習エンジニアとして働いているyumaです。 shoku_panという名前でTwitterをやってます。 さてみなさん、弊社ダイエットアプリ「あすけん」をご存知ですか？ www.asken.jp あすけんでは、その日の食事内容を記録すると栄養士の未来（みき）さんからアドバイスをもらえます。点数も出るので、高得点をとることがモチベーションになっている方もいらっしゃると思います。 もちろん僕も使っています。ちなみに今年のお正月はこのような結果になりました
New – A Shared File System for Your Lambda Functions | Amazon Web Services
AWS News Blog New – A Shared File System for Your Lambda Functions July 1, 2020: Post updated to take care that Amazon EFS increased file system minimum throughput, when burst credits are exhausted, to 1 MiB/s. I am very happy to announce that AWS Lambda functions can now mount an Amazon Elastic File System (Amazon EFS), a scalable and elastic NFS file system storing data within and across multipl
「Waifu Diffusion v1.2」が二次元キャラの画像生成が得意らしいということで試してみました。 ・Diffusers v0.3.0 ・Waifu Diffusion v1.2 【最新版の情報は以下で紹介】 1. Waifu Diffusion v1.2「Waifu Diffusion v1.2」は、「Stable Diffusion」を二次元イラストのデータセットでファインチューニングして作られた画像生成AIです。Danbooruの画像で学習しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers
皆さん、Open Interprerをご存知でしょうか？あまりの優秀さにChatGPTが出た時と同じか、それ以上のインパクトがあると言われているほど注目されています。 Open Interpreter本当にすごいんです！ なんと、開発者がOpen Interpreterを発表した時のツイートは7,000いいねを超えていて、毎日数百件以上Open Interpreterに関するツイートがされているほど… Today I’m launching Open Interpreter, an open-source Code Interpreter that runs locally. Summarize PDFs, visualize datasets, and control your browser — all from a ChatGPT-like interface in your ter
blog.jxck.io で（md2inao→md2indesignの進行は過去にもちょっとかかわりがあってウォッチした） もうすでにそういう製品があったり、知らないだけで全コードがハイライトされた書籍を出してる出版社はあるのかもしれないが、そういう本を少なくとも自分は見てない。 という記載があったのでちょっと書いてみる。 オーム社さん、オライリー・ジャパンさん、インプレスさん、羊土社さん、講談社サイエンティフィク社さんなどの一部の書籍では、コードハイライト付きになっていて、さらにそのうちいくつかは紙版では白黒、電子版ではカラーを使い分けていたりする。 というのも、前職の制作会社時代に私がその仕組みを作ってきたから。 組版はInDesignを使うのもあれば、TeXを使っているのもある。紙白黒/電子カラーのような使い分けは、TeXではOK、InDesignではもしデータを2種類管理しなければ
インタビューや会議の際に発言内容をメモしながら、後で間違えないよう録音もする人は少なくないだろう。だが、録音した音声を聞いてテキストに起こす作業はかなりの手間がかかる。筆者の場合は聞き取りづらい箇所を繰り返し再生したり、パソコンに文字を打ち込む操作が遅れて音声の再生を一時停止したりしているうちに、実際の録音時間の何倍もかかってしまう。作業が終わるころには疲れてうんざりしていることもある。 筆者と同じように「骨の折れる文字起こし作業を何とか楽にこなしたい」と考える人は、洋の東西を問わず多いのかもしれない。最近はAI（人工知能）によって音声を解析して自動的に文字起こしするツールが国内外で増えてきた。中でも大きな注目を集めているのは、米OpenAI（オープンAI）の音声認識AI「Whisper」だ。 同社は米テスラ創業者のイーロン・マスク氏らが設立したAIの研究開発企業で、2020年に発表した言
こんにちは、CTOの森です。iimonは今回が初のアドベントカレンダー参加です！ 本記事はiimonアドベントカレンダー1日目の記事となります。 はじめに 検証した環境 MySQL/mecabのインストール 大量のデータを入れる 1レコードのINSERTにかかった時間 検索してみる 検索文字列が「出来事」の場合 インデックスなし N-gram(bi-gram) IN NATURAL LANGUAGE MODE IN BOOLEAN MODE MeCab IN NATURAL LANGUAGE MODE IN BOOLEAN MODE 検索文字列が「チューリングはロンドンのリッチモンドに住み」の場合 まとめ 参照したサイト 最後に はじめに 今回はMySQLで全文検索機能を使う際のパフォーマンスについて書こうと思います！ 全文検索をちゃんと使うのであればElasticsearchやSolrな
生成AIグラビアをグラビアカメラマンが作るとどうなる？第十回：実在モデルからSDXL用顔LoRAを作る (西川和久) | テクノエッジ TechnoEdge
https://www.techno-edge.net/special/560/recent/%E7%94%9F%E6%88%90AI%E3%82%B0%E3%83%A9%E3%83%93%E3%82%A2%E3%82%92%E3%82%B0%E3%83%A9%E3%83%93%E3%82%A2%E3%82%AB%E3%83%A1%E3%83%A9%E3%83%9E%E3%83%B3%E3%81%8C%E4%BD%9C%E3%82%8B%E3%81%A8%E3%81%A9%E3%81%86%E3%81%AA%E3%82%8B%EF%BC%9F続きを読む » Modelに無い顔や彼女の顔を出したい！生成AIでポートレート写真やグラビアを作っていると、同じような雰囲気の顔ばかりが結構出るのに気付く。 もちろん何パターンもあるので、毎回同じでもないのだが、XやInstagramなどの生成AI画像
こんばんは、きんどるどうでしょうです。2012年11月30日にサイトをスタートして96ヶ月。 2年前の73ヶ月目報告エントリーにてFX7,200万円溶かした件がバズリ、前回の85ヶ月目の記事で「あれ、実は親がわたしの金を溶かした」という気持ちの整理をつけた記事を公開しましたが、 そして今年は自分でやりました。半年で合計1億1700万円飛ばしました。へっへ。Twitterには色々書いたのですがきんどう本体のみ見てる読者さんに改めて現状をご報告しますね。 参考：前回の振り返り Amazonアソシエイトだけで生活して85ヶ月になった。いよいよ成長限界に達したらしい Amazonアソシエイトだけで生活して97ヶ月になった。またFXでふっ飛ばしちゃった件 毎度PVとか目標とか振り返りを買いてましたが、もういいでしょう。今年はコロナの影響はまったくといいほどなく、若干出版社のセールがしぶくなったのとK
nerman: AllenNLP と Optuna で作る固有表現抽出システム - クックパッド開発者ブログ
事業開発部の @himkt です．好きなニューラルネットは BiLSTM-CRF です． 普段はクックパッドアプリのつくれぽ検索機能の開発チームで自然言語処理をしています． 本稿では，レシピテキストからの料理用語抽出システム nerman について紹介します． nerman の由来は ner (固有表現抽出 = Named Entity Recognition) + man (する太郎) です． クックパッドに投稿されたレシピから料理に関する用語を自動抽出するシステムであり，AllenNLP と Optuna を組み合わせて作られています． （コードについてすべてを説明するのは難しいため，実際のコードを簡略化している箇所があります） 料理用語の自動抽出 料理レシピには様々な料理用語が出現します． 食材や調理器具はもちろん，調理動作や食材の分量なども料理用語とみなせます． 「切る」という調理
今回は、Pktmonで取得したログファイルを自作のプログラムで分析する方法を紹介する。例えば可視化を考えてみよう。Wiresharkを使えばパケットの様々な情報を確認できる。しかしWiresharkの機能では取得できない情報を見たい場合もある。その場合、パケットキャプチャーソフトを自分でプログラミングできれば融通が利く。また取得したパケットに同じ分析を繰り返し適用したり、処理を自動化したりすることも可能だ。 Pythonの実行環境を導入 プログラミング言語の種類は多いが、ここでは人気のプログラミング言語である「Python」を使う。Pythonには、ネットワーク管理のためのライブラリーが多数用意されている。 まずWindows 10にPythonの実行環境をインストールする。PowerShellで「python」と入力してEnterキーを押す。Windows Storeが起動し、「Pyth
突然だが、上記はこの連載の第2回の冒頭部分だ。連載をはじめた当初は右も左もわからない状態だったので「Stable DiffusionはMacでは使えない」と断言してしまった。思い出すたびに冷や汗が出る。 とはいえご存知の通りStable Diffusionを動かすのにNVIDIAビデオカード搭載のWindows機が向いているのは事実なので、これまではすべて新規購入したゲーミングPCで作業することになんの不満も感じていない。 だが、前回紹介したStable DiffusionのUI環境のインストールや更新がワンクリックで可能になる「Stability Matrix」を使えば、PythonやPipのバージョンといった難しいことを考えなくてもMacで画像生成環境を作れるのではないかと考えた。 お詫びから7ヵ月、ずいぶん遅くなったがようやく伏線回収である。 Stability MatrixでM1
PyCon JP 2019で見たセッションの聴講記録20個分 / 資料・動画・関連リンクなど - フリーランチ食べたい
2019年9月16日/17日に開催されたPyCon JP 2019で自分が直接/YouTubeで聴講したセッションについてのまとめです。主に下記の内容を書いています。 スピーカーURL 配信動画 スライド 発表内で出てきたライブラリなどのURL 自分の感想 「あのセッションで話していたライブラリなんだっけ」と思い出したい方やざっくり内容が知りたい方に読んでいただければ幸いです。PyCon JPに自分も発表者としても参加し、スタッフとして参加し、Webサイトの開発もしたので、それについては改めて書きたいと思います。 pycon.jp PythonとAutoML / 芝田 将 スピーカー: https://twitter.com/c_bata_ 動画: https://www.youtube.com/watch?v=Whkwu46DgBs スライド: https://www.slideshar
PyTorch
by The PyTorch Team If you installed PyTorch-nightly on Linux via pip between December 25, 2022 and December 30, 2022, please uninstall it and torchtriton immediately, and use the latest nightly binaries (newer than Dec 30th 2022). PyTorch-nightly Linux packages installed via pip during that time installed a dependency, torchtriton, which was compromised on the Python Package Index (PyPI) code rep
2019年9月16、17日、日本最大のPythonの祭典である「PyCon JP 2019」が開催されました。「Python New Era」をキャッチコピーに、日本だけでなく世界各地からPythonエンジニアたちが一堂に会し、さまざまな知見を共有します。プレゼンテーション「Python開発を円滑に進めるためのツール設定」に登壇したのは、Atsushi Odagiri氏。講演資料はこちら ユニットテストツール「pytest」 Atsushi Odagiri氏（以下、Odagiri）：では次にpytestです。pytestもけっこう有名になってきたツールです。flake8とかmypyは静的チェックのツールなので、あいつらは実行させない、つまりコードの内容として「何か危ないぞ」とか「型違うよ」というのをチェックしてくれるツールです。pytestは結局のところユニットテストツールなので、テストで
こんにちは、サーバーサイドエンジニアの竹本です。 この記事は Enigmo Advent Calendar 2020 の3日目の記事です。 みなさまは2020年に買った中でよかったものはなんでしょう？ 私はiPadです。 最新 Apple iPad Pro (12.9インチ, Wi-Fi, 128GB) - シルバー (第4世代) 発売日: 2020/03/25メディア: Personal Computers 主にkindleを見開きで読むことに活用しています。 エニグモの福利厚生の一つ「エンジニアサポート」で5万円の補助を受けました。わーい。 https://enigmo.co.jp/recruit/culture/ そしてみなさまは馬券、買っていますか？ 馬券は競馬に賭ける際に購入する投票券です。 1口100円から、ネットでも気軽に購入することができます。(競馬は20歳から) 弊社にも
きっかけ tensorflow入れようとpip installしようとしたらpipが何故かお亡くなりになった． うーん．と調べているうちにすごいことに気づいてしまった． 自分の開発環境が： - brew, pyenv, virtualenv, pyenv-virtualenv, virtualenvwrapper, anacondaごちゃ混ぜ（←すごいミックス！） - bash/zshごちゃ混ぜ よく理解しない大学3年生の時とかにインストールしたのと， 友達に勝手にシェルをzshにされていたのが原因です． （terminal便利にしといたから〜って言われたこともあったな〜） 参考文献 ここが一番よくまとまってた www.zopfco.de アンインストール ゆっくりいきましょう anaconda conda install anaconda-clean anaconda-clean --y
RaspberryPi 3 Model B+でIoT監視カメラをつくる（その７ カメラのAI化） | そう備忘録
追加インストール機械学習の為にGoogeのTensorFlow関連のモジュールを追加インストールした。 Edge TPUランタイムのインストール以下のコマンドでラズパイにEdge TPU（Tensor Processing Unit）ランタイム（スタンダード版）のインストールを行った。 尚、本来はCoral USB Acceleratorの様なEdge TPUユニットをラズパイに接続して機械学習を行うのが理想なのだろうが今のIoT監視カメラにCoral USB Acceleratorを追加すると外箱を作り直さないといけないのと、そこそこの値段がするので（１．５万円ぐらい）ラズパイ単体でTensor Flow Liteを動かすことにしている。 この為、最後の行のlibedgetpu1-stdのインストールは今回のプログラムをラズパイ単体で動かすだけであれば不要なのだが、今後Coral USB
AIに手足ができる！Zapier Natural Language Actions + LangChainがすごいので試してみた【LangChain・Zapier NLA・OpenAI】 | DevelopersIO
AIに手足ができる！Zapier Natural Language Actions + LangChainがすごいので試してみた【LangChain・Zapier NLA・OpenAI】 はじめに 新規事業統括部Passregiチームの山本です。 3/16にLangChainのサイトで、Zapier Natural Language Actions（以下Zapier NLA）との連携についての記事がありました。 https://blog.langchain.dev/langchain-zapier-nla/ 今回は、このページを参考に、簡単な解説や考えたこと、実際に動かしてみた様子について記載しようと思います。 (補足) Zapierについて Zapierは世の中の多数あるサービス（GmailやSlackなど）の操作を自動化できるサービス（SaaS自動化サービス）です。設定はWeb画面でノ
ネットワーク自動化とプログラマビリティ
本書はネットワーク自動化とプログラマビリティにフォーカスした解説書で、ネットワークエンジニアの業務を「より効率良く」「より生産的に」進化させるためのエッセンスが詰まったノウハウ集です。ネットワーク運用業務（ネットワーク装置のコンフィグレーションやトポロジー管理、サービス死活監視など）をどのように効率化・自動化させるかという観点から、次世代ネットワークエンジニアが知るべきすべての側面を網羅的に解説します。Pythonを用いたプログラミングの基本から、Linuxの操作、データモデル、Gitによる管理、実践的な自動化ツールの解説まで幅広く扱います。 目次 賞賛の声 監訳者まえがき はじめに 1章 ネットワーク業界の動向 1.1 SDNの登場 1.1.1 OpenFlow 1.1.2 SDNとは 1.2 まとめ 2章 ネットワークの自動化 2.1 ネットワークを自動化する意義 2.1.1 シンプル
Lambda + DynamoDB + LangChainで外部情報に対応したサーバレスチャットボットを作ってみる - NRIネットコムBlog
Lambda + DynamoDB + LangChainを組み合わせて外部情報に対応したチャットボットを作ってみました。 構成 Lambda Dockerfile requirements.txt lambda_function.py OpenAI Functions Agent 会話履歴の保持 外部情報の参照 DynamoDB 動作確認 まとめ 構成 Lambda LangChainのパッケージが250MBを超えてしまうので、コンテナイメージからLambda関数を作成するようにします。 docs.aws.amazon.com Dockerfile FROM public.ecr.aws/lambda/python:3.10 # Copy requirements.txt COPY requirements.txt ${LAMBDA_TASK_ROOT} # Copy function
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python を活用しながら Web サイトのデータ収集を効率化（２）【実装編】 - Qiita
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
JuliaとPythonを併用したデータ処理のススメ - MNTSQ Techブログ
日本語自然言語処理のData Augmentationライブラリdaajaを作りました - 農園
内部統制へのGitHub活用事例 - BASEプロダクトチームブログ
IAMの権限昇格を可視化する「PMapper」 - ペネトレーションしのべくん
SQLFluffを完全に理解する | DevelopersIO
GPT Index で専門知識を必要とする質問応答チャットボットを簡単作成｜npaka｜note
Rembgを使って画像から背景を削除してみた | DevelopersIO
OCR前処理としてのOpenCV超解像 - OPTiM TECH BLOG
ChatGPT公式プラグイン「Code interpreter」を活用するためのTips - Qiita
線形計画法使ってあすけんで100点とってみた - asken テックブログ
Google Colab で はじめる Waifu Diffusion v1.2｜npaka
【Open Interpreter】ChatGPTがPCを操る禁忌の活用事例10選 | WEEL
コードハイライト付きの書籍をこれまでずっと作っていた - kmuto’s blog
話題の文字起こしAI「Whisper」、ニュース記事を読み上げて試したら驚きの精度だった
MySQLで全文検索機能を使う際のパフォーマンスについて調査してみた - iimon tech blog
Amazonアソシエイトだけで生活して97ヶ月になった。またFXでふっ飛ばしちゃった件 - きんどう
Pythonを活用してパケットを可視化、ネットワークの利用状況が一目瞭然
Macで始める画像生成AI 「Stable Diffusion」ComfyUIの使い方 (1/5)
Python開発を円滑に進めるためのツール設定 Part.2
競馬必勝本は本当に当たるのかを検証！〜Pythonで実装する馬券自動選択ツール〜 - エニグモ開発者ブログ
荒れ果てたpython開発環境を再構築する - 制御とコンピューターサイエンスの間