Scala3の開発体験がScala2時代に比べてめちゃくちゃ良くなっていた話 - Qiita
ドワンゴのN予備校という教育サービスでプログラミング講師をしている @sifue といいます。N高等学校/S高等学校のプログラミング講師もしており、学内のツール開発や運用などもしたりしています。 最近は生成AIが流行ったこともあって、Pythonだったり、UIが必要なものはどうしてもTypeScriptとReactで実装することも多いのですが、久しぶりにScalaを使っての開発をしてみました。 自身は、Scalaでの開発はニコニコ生放送のサービスを開発するときに使っていた他、N予備校内で提供している大規模Webアプリの教材やドワンゴが当初作成していたScalaテキストの作成などにも関わらせてもらいました。 その当時のScalaは2.12であったわけなのですが、その後2.13が出て、さらに今はScala3系になって3.3.1までバージョンが進み、開発環境が変わってすごく使い勝手がよくなったと
GPT-3.5-Turbo / GPT-4-Turbo 1106のJSONモードの使い方｜shi3z
日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import openai import os openai.api_key = "<APIキー>" client = OpenAI() def gpt(utterance): #response = openai.chat( response = client.chat.completions.create( #model="gpt-4-1106-preview", model="gpt-3.5-turbo-1106", r
【Python】Kindleの洋書1冊を1分で日本語PDFに変換するコードを書いた話 - Qiita
動機 外資系のAmazonが展開している電子書籍Kindleでは比較的洋書の取り扱いが多いです。 Kindle Unlimitedに登録されている書籍も多く、Springerなんかも含まれているので活用しない手はありません。 そこでkindle-translatorをつくりました。 https://github.com/1plus1is3/kindle-translator これで一冊50万字あるKindleの洋書を1分で日本語PDFに変換できます。 キーボードの矢印キーでページ送りができるならKindleに限らずあらゆる電子書籍リーダおよびPDFビューワで使え、DeepLが対応している言語であれば英語以外の言語でも翻訳できます(仏→日とか)。 未経験からPythonエンジニアになって3ヶ月(うち1ヶ月は研修)が経ち、色々作れるようになった時点でつくったツールなので、改良すべき点もまだまだ
Google Custom Search APIを使って画像の自動収集 - 小さな星がほらひとつ
こんにちは。 前回はTwitter search APIを使ってTwitterから画像データを自動収集する方法をまとめました。 blog.wackwack.net 今回はGoogleCustomSearch APIを使った画像自動収集プログラムを作成しましたので、必要な手順を紹介します。 カスタム検索エンジンの作成とAPIキーの発行 カスタム検索エンジンの作成 APIキーの発行 画像自動収集プログラム ポイント google-api-python-client パラメータ ループ処理 画像URLの取得 100件以上は取得できない カスタム検索エンジンの作成とAPIキーの発行 GoogleCustomSearch APIを使うには「カスタム検索エンジンの作成」と「APIキーの発行」が必要となります。 GoogleCustomSearch APIではAPIキーを使って認証を行い、作成したカスタ
Netflixにおける実用的なAPI設計: gRPCとFieldMask | pyspa
Netflix Tech BlogのgRPC APIに関する以下の２つの記事に感銘を受けたので、ここにその概要を日本語で記します。 (めんどくさかったので)翻訳の許可は取ってませんが、再構成してますし元のJavaではなくPythonで書き直していますので、容赦して下さい… Practical API Design at Netflix, Part 1: Using Protobuf FieldMaskPractical API Design at Netflix, Part 2: Protobuf FieldMask for Mutation OperationsまとめgRPCでは、FieldMaskをうまく使うことで、必要な情報だけ取得したりあるいは与えたりしたりできまっせ第一部まずField Maskをどのように使うかを述べています。 背景Remote Callというものは、そもそもコ
C++/Java/Ruby/Pythonの並列I/O用ファイルインターフェイス - 豪鬼メモ
ファイルの読み書きをマルチスレッドで並列に行うための仕組みを、各種プログラミング言語（C++、C、Java、Ruby、Python）で利用できるようにライブラリを整備した。メモリマップI/O、通常I/O、ダイレクトI/Oを同じインターフェイスで利用できる。Tkrzw-0.9.38からこの機能が利用できる。メモリマップI/Oと通常I/Oは全ての処理系で、ダイレクトI/OはLinuxとMacとWindowsで利用できる。 データベースライブラリTkrzwはマルチスレッド環境での並列処理性能を重視して開発しているが、そこで利用しているファイル層の機能を直接利用できるようにAPIを整備した。データベースとしてではなく、単なるフラットなファイルとして利用するためのAPIである。テキストにもバイナリにも利用できる。 C++ API C API Java API Python API Ruby API
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) - Attsun blog
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) ウェブAPIの作成など、外部からやってくるデータを安全に捌く上で、スキーマ定義とバリデーションは非常に重要です。 また、特にPythonのような動的型付け言語において、内部でもレイヤをまたぐ場合はきちんと定義されたデータモデルを利用することで、知らない間にデータモデルが変わっていた、というようなケースを防ぐことができます。 Pythonには標準でスキーマバリデーションライブラリがないため3rdパーティのものを使うことになりますが、様々なライブラリがあるので比較してみました。 比較対象のライブラリ概要※Pythonバージョンは3.9.0を利用します。 lib versionGithub Star (2020/1/5)memo
REST API開発に特化したWebフレームワークがもたらす生産性の向上 | IIJ Engineers Blog
皆さんはREST APIの開発にどのようなフレームワークをお使いでしょうか？ これまで、個人的には Flask 等の軽量なWebフレームワークを使って開発することが多く、REST API開発に特化したWebフレームワーク（以下、APIフレームワークと呼ぶ）を使った経験はありませんでした。 しかし先日、業務で Django REST Framework に触れる機会があり、REST APIの実装に必要な機能の多くが提供されていて、圧倒的に少ないコーディング量で開発が完了することを実感できました。例えば、フィルタリング（URLクエリストリングで検索条件等を指定し、取得する値を絞り込む）機能は、一から実装するとなると文字列をパースして、バリデーションして、クエリに渡して……、と結構面倒ですが、Django REST Frameworkではビルトイン機能として提供されているので、最小限のコードで実
PyCon JP 2019に登壇、PythonでのCIとテストの話をしました - BASEプロダクトチームブログ
どうも、はじめまして、東口（@hgsgtk）です。BASE BANK株式会社 Dev Divisionでソフトウェアエンジニアをしています。この度、9月14日〜9月17日に開催されたPyCon JP 2019に参加し、「Pythonを使った APIサーバー開発を始める際に 整備したCIとテスト機構」というタイトルで発表してきました。 PyCon JP 2019とは 9月14日〜9月17日に開催されたPythonエンジニアが一同に集う国内最大級のPythonのカンファレンスです。9月16日・17日の後半2日間でセッションスピーカーによるトークが行われる2日間で、私は16日の16:00から15分間登壇してきました。 pycon.jp 発表した内容 発表した内容は、Pythonを使った APIサーバー開発を始める際に 整備したCIとテスト機構というタイトルです。 pycon.jp トークの概要は
人間のためのイケてるPython WebFramework「responder」、そして作者のKenneth Reitzについて - フリーランチ食べたい
この記事は Python その2 Advent Calendar 2018 - Qiita の1日目です。 responderとは GitHub - kennethreitz/responder: a familiar HTTP Service Framework for Python 2018年10月に公開された イケてるPython WebFramework です。 requestsやpipenvなどの開発者である Kenneth Reitz が(おそらく)今年のHacktoberfest 2018 - DigitalOcean 用に開発したものだと思われます。 GitHubのタグを見ると(Topic: hacktoberfest2018 · GitHub )、hacktoberfestで2位 今年10月に公開されたのに関わらず既にStarが2000以上付いており、かなり勢いがあります
Twilog + Pythonで他人の過去の全ツイート（3200件超）を一括取得する方法 - StatsBeginner: 初学者の統計学習ノート
Twitter APIで「他人の全ツイート」は取得できない さて先日から書いてるように、PythonのTweepyというライブラリを使うと、簡単にTwitterのREST APIを操作することができますので、研究で何か分析するときも、これを使えば手軽に分析用のデータが取得できます。レスポンスのデータの中身を読むのが大変ですが、それなりに理解はできてきました。 statsbeginner.hatenablog.com statsbeginner.hatenablog.com ところで、特定のユーザのツイートの傾向を見たいと思った場合、APIで全ツイートを取得したいところですが、残念ながら最新のものから数えて3200件までしか取得することができません。 「自分のツイート」であれば、Twitterが公式に過去の全件を出力する機能を付けてくれていますが（付属情報がほとんど入って来ませんが）
Python 3.3 以上で使える Python/C API で文字列アクセスを高速化 - methaneのブログ
試しに英語で Blog を書いてみた のですが、書くので精一杯で結局何が言いたいのか分からない感じになってしまったので今後は日本語 Blog 書いてから英訳しようと思います。 Python 3 は 3.2 まで、文字列を unicode に統一した関係で Python 2.7 に比べて遅くなったりメモリ効率が悪くなったりしてしまっていたのですが、 Python 3.3 で PEP 393 Flexible String Representation が導入されて改善されました。 PEP 393 は Python の内部だけではなく Python/C API にも変更を加えており、内部を理解しつつ新しい API を適切に使えば、バイト列と文字列の間の変換を行うような C 拡張を高速化することができます。 そろそろ Python 3.2 のサポートを切れる時期なので、思い当たる人は目を通してお
Pythonのsocketでプロセス間通信をして価格データ等を送信する
どうも、お久しぶりです。キリンです。 取り敢えず1ヶ月ほど、連続でブログの更新を続けてみたのですが、それ以降更新が途絶えてしまっていました。本業（FXの運用）のほうが今鳴かず飛ばずなので、なんとか盛り返そうと頑張ってます。 その中で、どうしてもプロセス間通信(IPC, Inter Process Communication)をしなければならない事案に遭遇してしまったので、忘備録も兼ねてPythonでSocketを使ったプロセス間通信の方法を調べる際に学習したことと、実際に作成したプログラムをご紹介します。きちんとTCP/IPの通信について勉強したわけではないので、間違った理解、解釈があるかと思います。その際はご指導いただけると助かります。 プロセス間通信がしたい Linux上でしか動かないPythonライブラリ Linux上でしか動かないPythonのライブラリをどうしても使いたいという事
lxmlでAmazonAPI (objectify使ってみたよ) - bonlife
bonlifeです。誰かに教えられるほどPython詳しいわけじゃないですが、lxmlのobjectifyはやっぱり便利だよ、ということを伝えたい！ だけどもっとレスポンスが速い方法があるはず。 誰か教えてw まとめ記事はこちら。(記事中のquoteはurllib2.quoteっぽい。) lxmlのobjectifyを使うとかなり使いやすいオブジェクトが生成されます。最初(objectify.parse)のレスポンスは結構遅そうですが…。 import urllib2 from lxml import objectify host = u'http://webservices.amazon.co.jp/onca/xml?Service=AWSECommerceService' id = u'&SubscriptionId=AWSのアクセスキー' ope = u'&Operation=Ite
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.oasob.com/blog/detail/6/
IBM Developer