「ビルトインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認ください。 使った環境 Python 3.6.1 :: Anaconda 4.4.0 (64-bit) Ubuntu Jupyter notebook（一部マジックコマンドなども利用しています） ※Windowsの場合、マルチプロセスなどで直接Jupyter上で動いてくれない（.pyファイルを経由すると動く）などのケースがあります。 参考 : Jupyter notebook never finishes processing using multiprocessing (Python 3) 並行

オブジェクト指向カンファレンス2024 クソコード動画『カプセル化 Mk-II』 https://twitter.com/MinoDriven/status/1771763728234537310 下記セッションで用いたスライドです https://fortee.jp/oocon-2024/proposal/9e935d37-5480-4488-bc6d-3b9ee492106f

さて、みんな大好きSpotifyですが、開発者向けにAPIが開放されておりいろいろなデータを取得できます。 これでちょっと遊んでみましょう。 以下すべて2024年3月時点での情報です。 Spotifyに存在する遊佐未森のスタジオアルバムSpotifyに存在する遊佐未森のスタジオアルバムは以下の14作品でした。 『水色』『roka』『ECHO』『庭』『small is beautiful』『honoka』『Bougainvillea』と『檸檬』が来てないみたいですね。 『空耳の丘』『ハルモニオデオン』『HOPE』『モザイク』『瞳水晶』『momoism』『アルヒハレノヒ』『アカシア』『休暇小屋』『スヰート檸檬』『銀河手帖』『淡雪』『せせらぎ』『潮騒』 Spotifyよく聞かれている曲Top10Spotifyでよく聞かれている遊佐未森の楽曲Topは以下の順。 うーん、やっぱり「地図をください」が

あらまし ブラウザでコード譜を書くためのMarkdownベースのJavascriptライブラリ fumen の紹介です。 Github : https://github.com/hbjpn/fumen/ ドキュメント : https://hbjpn.github.io/fumen/ プレイグラウンド : https://fumenbook.com/ Wordpress Plugin: https://wordpress.org/plugins/fumen/ ずいぶん前(2013年〜)から公開していましたが、以前のバージョンは速度が遅かったり描画の純軟性にかける問題があったので、根本的な作り直しを行いました。また、fumenをコアにしたコード譜作成WEBサービスfumenbookも作りました。 モチベーション 譜面を作るツールは多くあるのですが、音符等まで含めた綺麗な譜面を作ることを主眼にお

内容、３行、マトメタ Colaboratory、ベンリ。 Bigqueryカラ、データトッテ分析。ノゾム。 3ツ、ヤリカタカイタ。ツカエ。 ということで、ColaboratoryからBigqueryにアクセスする方法を説明してみます。 主要な３つのパターンを記載します。 ColaboratoryのMagic Command 公式のBigQueryのクライアントAPI pandas経由のAPI もちろん、GCPのアカウントおよびBigqueryへのアクセスが許可されたユーザーアカウントが必要ですが、そこらへんは公式リファレンスをご覧ください。 Colaboratoryって何？状態であれば、下記の記事が詳しくまとめてくれてます。 【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory 0.前準備 ColaboratoryはGoogleアカウントさえあれば使えますが、GC

google colaboratoryは、github、gistなどと連動させることができ、colaboratory上で作成したファイルを気軽にこれらの外部のサイトで保存し、公開することができる。 まずは、colaboratoryの画面のファイルメニューから「GitHubにコピーを保存」を選択する。 初めての場合は、githubの認証があるが、認証が完了すると以下のような画面が表示されるので、保存先のレポジトリを選択する。 今回は、hhachiyaに作ったcolaboratoryレポジトリに保存してみたところ、以下のような拡張子が「ipynb」のjupyter notebookのファイルが保存された。 github.com 保存と言っても、githubなので、ちゃんとcommitされているので、以下のように更新履歴を管理できる。 さらに、githubに保存したファイルは、colaborat

はじめに Google Adwords APIは2020年を目処に廃止されるとの予定でしたが、 Google Ads APIの正式ローンチが大幅に遅れているらしく今年中に廃止されることはないらしいです。 https://developer.feedforce.jp/entry/2019/05/15/131054 Google Ads APIドキュメントもまだ未公開で閲覧できないため、 Google Adwords APIでコンバージョンデータをGoogleAdsにインポートする方法を試してみました。 全体の流れ 公式ドキュメント(広告のクリックを経由したコンバージョンのデータを Google 広告にインポートする)に記載されている内容をまとめると大きく3つ。 広告のURLに追加されるGCLID（Google クリック ID）付与の設定 コンバージョンアクションの設定 GoogleAdsへコ

Databricksのコアコンポーネントシリーズは一旦これで終了です。 Databricksにおける並列処理エンジンはApache Spark、ストレージフォーマットはDelta Lakeです。それではもう一つのコアコンポーネントであるMLflowは何に活用されるのでしょうか？本書ではMLflowとは何か、そのメリットは何かを説明します。 かつては、Jupyter notebookで機械学習モデルを構築し、モデルをExcelで管理していた身からすると、MLflowの無い生活には戻れません。 背景 過去数年を通じて機械学習モデルは様々なユースケースで活用されています。そして、大規模言語モデルの出現も起爆剤となっています。 しかし、機械学習の営みで重要なのは機械学習モデルだけではありません。 出典: https://papers.nips.cc/paper/2015/file/86df7dcf

PyTorch 1.11(torchtext 0.12)より自然言語処理で活用していたtorchtextのFieldやTabularDatasetなど便利な機能がなくなりました。PyTorch 1.10(torchtext 0.11)まではlegacyに移動されいましたが利用することは可能でした。しかし、PyTorch 1.11(torchtext 0.12)で完全に削除されてしまいました。 詳細については、以下に記載されています。 https://github.com/pytorch/text/releases/tag/v0.9.0-rc5 また、移行方法については以下に説明があります。 https://github.com/pytorch/text/blob/master/examples/legacy_tutorial/migration_tutorial.ipynb PyTorch

「よし、修正完了！」 「作業ブランチにpushしてプルリク作成するかー」 「git push っと」 「あ、やべ、今mainブランチだわ。。pushちゃった。。」 こんなことってありませんか？ 自分が進めているプロジェクトでは、基本的にプルリクエストが承認されなければmainブランチにマージできない運用となっています。 しかし、GitHubの設定によっては上記のようなミスが起こりうるので、あらためて設定を整理してみました。 プルリクエスト作成時に特定の人物をレビュアーに指定する GitHubのcode ownersという機能を使い、プルリクエスト時にチームメンバーなどをレビュアーに指定できます。 リポジトリに.github/CODEOWNERSというファイルを作成し、レビュアーに指定したいアカウント名を指定します。 .github/CODEOWNERS # @hoge, @fuga, @f

そんな機能いります？いや、そういわれると。。。セルのコピーでも、初めから＝B1を全範囲に入れとけばいいと言われたりもしますし。。。 でもまあ、それだと、一つが消えたりすることってあるじゃないですか。 ARRAYFORMULAの機能は体系立てて理解できてないです。 でも、メリットとしては、「一つのセルに入力するだけで展開できる」というところだと思います。 すごく必要ではないんですけど、ようやく希望通りのイメージできたので公開させていただいています。バグがありましたらご指摘くださいませ。 どんな時に必要なのか？経理の伝票インポートには使えると思います？経理業務で、会計ソフトに伝票をインポートするとき、弥生会計・freee会計などでは、同じ数字や日付などを複数行に入力しないといけないケースがあります。 こんな時に、一つのセルの入力で、特定の範囲に展開したいなという用途の想定でした。 段階を追って

イベントについて CA DATA NIGHTは、サイバーエージェントが主催するデータサイエンスに特化した技術者向けの勉強会です。機械学習、統計学、自然言語処理、コンピュータビジョン、情報推薦、検索、経済学など様々な専門分野のエンジニアやデータサイエンティストから技術・取り組みなどを紹介いたします。 第3回のテーマは「ビジネスインパクトを引き出すデータサイエンス」です。 事業を成長させるために日々奮闘しているデータサイエンティストが、市場分析・マネタイズ・製品開発など、さまざまなビジネスプロセスにどのように組み込まれているかの具体例を紹介します。データ駆動型の意思決定が企業の競争力をいかに高めるか、地道な実践と多角的なアプローチ方法によって考え出した事業成長の鍵を握るためのデータ活用について、3つの事業のケーススタディとともにご紹介します。イベントの最後には懇親会を準備しています。お楽しみに

高等学校段階までの学習で身につけてほしいこと 東京大学を志望する皆さんには、アドミッション・ポリシーにも明示されているように、本学に入学するまでに、できるだけ多くのことを、できるだけ深く学んでほしいと思います。以下、本学を受験しようと考えている皆さんに向けて、高等学校段階までの学習において、特に留意してほしいことを教科別に掲げます。 【国語】 国語の入試問題は、「自国の歴史や文化に深い理解を示す」人材の育成という東京大学の教育理念に基づいて、高等学校までに培った国語の総合力を測ることを目的とし、文系・理系を問わず、現代文・古文・漢文という三分野すべてから出題されます。本学の教育・研究のすべてにわたって国語の能力が基盤となっていることは言をまちませんが、特に古典を必須としているのは、日本文化の歴史的形成への自覚を促し、真の教養を涵養するには古典が不可欠であると考えるからです。このような観点か

2024/03/07 【開発系エンジニアのためのDocker絵とき入門出版記念】著者と学ぶ Docker ハンズオン https://phper-oop.connpass.com/event/309942/ 本スライドで参考資料としているのは　開発系エンジニアのためのDocker絵とき入門　です https://www.amazon.co.jp/dp/4798071501 ぜひ合わせてご覧ください