記者に「プログラミングのスキル」って必要なの？ちなみにNHKニュースの画像生成も記者がコードを書いてます｜NHK取材ノート
記者に「プログラミングのスキル」って必要なの？ちなみにNHKニュースの画像生成も記者がコードを書いてます 新型コロナウイルスの新規感染者の数を示す日本地図に、毎日厳しい視線を送る男がいる。 コロナの感染拡大の今後が懸念されるが、地図がきちんと描画されているかも気になってしまう。 それはこの「新型コロナ感染者数マップ作画システム」をプログラミングしたのが彼だから。 ちなみに彼は技術部局のエンジニアではなく、いつもはテレビで解説している記者だったりする。 このシステム、記者が作りましたこんにちは、NHK解説委員の三輪誠司といいます。専門はITやサイバーセキュリティで、主に「シブ5時」や「くらし解説」などでニュースの解説を担当しています。 新型コロナウイルスの「感染者数マップ作画システム」は、1週間で作成しました。 言語はJava、地図はSVGで、ブラウザの画面をそのまま放送で使っています。SV
プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
毎日同じような作業でこのように思っている人はいないでしょうか。 あ～毎日ネットにアクセスして、同じデータ収集するの面倒くさいなぁ こういう退屈な作業、自動でやってくれないかな でもプログラミングできないしなぁ。勉強すんのも面倒くさいなぁ。 そんな人に朗報です。今回は、プログラムをかけない人でも、ネットから情報を自動収集する方法をまとめます。 今回使うのは、Google Spreadsheetという、エクセルに似たWeb上のアプリケーションです。実はネット上の情報を自由に取得（スクレイピング）できるツールだとは知られていません。そんな裏の使い方を今回は説明したいと思います。
食べログ3.8問題に終止符を打つ
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.metrics import confusion_matrix from sklearn.metrics import roc_auc_score from sklearn.model_selection imp
Pythonを学ぶときに読むべき本2020年版 - 初心者からプロになるために - Lean Baseball
※最新版（2021年バージョン）がこちらにありますので合わせてご覧ください！ 毎年恒例, Python本と学び方の総まとめです！*1 プログラミング, エンジニアリングに機械学習と今年（2019年）もPythonにとって賑やかな一年となりました. 今年もたくさん出てきたPythonの書籍や事例などを元に, 初心者向けの書籍・学び方 仕事にする方（中級者）へのオススメ書籍 プロを目指す・もうプロな人でキャリアチェンジを考えている方へのオススメ を余す所無くご紹介します. 来年（2020年）に向けての準備の参考になれば幸いです. ※ちなみに過去に2019, 2018, 2017と3回ほどやってます*2. このエントリーの著者&免責事項 Shinichi Nakagawa（@shinyorke） 株式会社JX通信社 シニア・エンジニア, 主にデータ基盤・分析を担当. Python歴はおおよそ9年
どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた
2021.02.16 「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた WebサイトにIDとパスワードを入力するとき、ときどき「私はロボットではありません」にチェックを求められることがあります。 僕はロボットではないので、当然チェックを入れて認証を進めるわけですが……。でもちょっと待ってください。なぜクリックひとつで、人間かロボットかを判断できるんでしょう。 これはきっと、人間ではないなんらかの不正アクセスを防ぐ仕組みのはず。でもチェックを入れるくらい、プログラムを作ってなんやかんやすれば、シュッとできるのでは？ 「私はロボットではありません」は、どんな仕組みで人間とロボットを判別しているのか。もっといい方法はないのか。これまでの歴史的経緯も含め、情報セキュリティ大学院大学の大久保隆夫教授に聞きました。 気づかないうちに「人間かロボットか」
最近は営業力なくてもクラウドワークスのような便利なサイトで案件が受けれるようだ。 いざチャレンジ! １．まずは実績作りクラウドワークスデビューを果たしたいのだが、自分は実績が1件もないので料金は度外視して「何でもいいから1件実績を作る」という作戦に出てみた。 申し込みが少ない案件を探していると下記のような案件が見つかった 「自社のオリジナル販売サイトの商品ページを解析し、某大手ショッピングモールサイト3社に自動でアップロードするロボットプログラムの作成依頼」 （10,000円） ほう… 相場を分かっていないのか けっこうな難易度のシステムを1万円ぽっきりで依頼するとはなかなかの猛者だ。 だれも申し込みしていない案件かと思いきや、他にも数名の申し込みがあった。 大丈夫か？？こいつら？ ２．案件獲得交渉さっそく申し込んでみるのだが、1件実績を作るという目的を達成するためになるべく案件の獲得率を
Twitterに厳しい一時制限 未認証アカの閲覧件数は「1日600件まで」── 「Twitter終わり」「API規制」トレンドに【更新：1日1000件に緩和】
Twitterの投稿が読み込めないと、日本時間の7月1日午後11時ごろから話題になっている。これにより「Twitter終わり」や「API規制」といった単語がTwitterの日本トレンドに入った。Twitterを運営する米Xのイーロン・マスク氏は2日午前2時、「一時的な制限を加えた」とツイートした。例えば未認証のアカウントは1日当たり600件までの読み込みが上限になるとしている。その後、マスク氏は状況を更新し、2日午前7時時点までに段階的に制限を緩和している（記事下部に追記あり）。 認証済みのアカウントは1日当たり6000件まで、新規に作られた未認証アカウントは1日当たり300件まで。1日のリセットタイミングがいつあるのか、いつまでこの制限が適用されるのかは明らかにしていない。 一時的な制限を始めた理由について、マスク氏は「極端なレベルのデータスクレイピングとシステム操作に対処するため」と説
pohotos by Ronnie Macdonald 「AIが人間の仕事を奪う」と言われ始めてしばらく経ちますが、今や「幻滅期に入った」なんて言われ方もしています。おかげで僕は仕事を奪われることもなく、毎日満員電車に揺られています。奪う奪う詐欺もいいとこです。 そんなAIの発展にはもう少し時間がかかりそうな一方で、学べる環境は簡単に手に入るようになりました。触るなら、皆が幻滅しかかっている今な気もします。ということで、今更ですがAIの力を知るべく、ディープラーニングに触れてみることにしました。 いろいろ試したのですが、ここでは結果をメインに「無知の状態から勉強しても、ディープラーニングでこれぐらいは楽しめるよ」ということを伝えてみます。プログラムはお手本になるようなものではないので、見たい人だけに有料で公開してみます。 Kaggleでディープラーニングのお手並み拝見 最初にディープラーニ
2021年10月25日、この日は僕がただの大学生から、大学のサーバーをダウンさせた"犯人"へと変わった日です。 小説みたいな書き出しをしてみましたが、これは嘘みたいな本当の話で、ふと思い出して懐かしくなったので回想録として note に残すことにしました。 出来事の概要2年前の2021年10月、何が起きたかを簡単に書くと以下の通りです。 ・大学の授業や課題を管理するためのシステムを拡張するツールを作った ・ツールが予想以上の人数に使われ、結果として大学のサーバーに負荷がかかりサーバーが落ちる事態になった ・大学から呼び出しを受けることになった 時系列を追って、この note で出来事の全容を書きたいと思います。 使いづらい LMSまず前提として、私の大学では毎日の授業や課題は授業支援システム、通称 LMS と呼ばれるオンラインのシステムで管理されています。 実際のLMSの画面しかし、この
ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ
配車サービスとしてのUber Japanは、なぜ日本市場で立ち上げに失敗したのでしょうか？ 2014年3月にアプリによる配車サービスをスタートしたUberですが、あれから7年。今や東京でUberといえば、フードデリバリーのUber Eatsを指すようになっているのではないでしょうか。 日本でのUber失敗の原因は、いろいろな説明があり得ますが、この問いに対する答えには、今の日本のスタートアップ・エコシステムにおける重要なテーマが潜んでいるのではないかと思います。 「日本では」法律を破ってはいけない 長く日本に住むアメリカ人連続起業家の友人、Tim Romero氏がホストするポッドキャスト「Disrupting Japan」で、かつてこのテーマを扱ったことがあります。日本社会のあり方やUber海外展開失敗の事例国の1つの説明として、ポッドキャストの内容をTim本人が書き起こした記事は、英語圏
「ひっ迫した状況が一目瞭然」新型コロナ病床数まとめサイト、大反響に「バグを疑った」と開発者仰天 “医療現場の声”励みにスピード公開
「ひっ迫した状況が一目瞭然」新型コロナ病床数まとめサイト、大反響に「バグを疑った」と開発者仰天 “医療現場の声”励みにスピード公開 新型コロナウイルス感染症の患者数や、感染者用の病床数などを都道府県ごとに表示した「新型コロナウイルス対策ダッシュボード」が、ネットで話題を呼んでいる。Twitterでは「病床の使用率が一目瞭然」「都市部の病床数がギリギリなのが分かる」と好評だ。Facebook上のシェア数は4000近くあり、開発者の福野泰介さんは「バグを疑ったくらいです」と驚く。 福野さんは、福井県鯖江市のソフトウェアメーカー「jig.jp」の会長を務める傍ら、東京都が開設した「東京都新型コロナウイルス感染症対策サイト」や、無償で提供されているオンライン教材やテレワーク用のサービスをまとめた「VS COVID-19 #民間支援情報ナビ」の作成にも携わっている。病床数に特化したサイトを作成した経
Kindleの蔵書が1万冊を超えてきて、そろそろ蔵書管理したくなり、 蔵書一覧を取得する方法を調べたので、まとめておく。 概要 蔵書一覧の取得方法としては大きく2つあり、 コンテンツと端末の管理ページからスクレイピングする方法と、 Kindle Cloud Readerが使っているWeb SQL Databaseのクライアント側のDBからそのまま取得する方法がある。 後者のほうが簡単なため、ここでは後者の方法について記載する。 （前者の方法が知りたい方は、https://qiita.com/yshr1982/items/072e8b44d456f6d9358bなどを参考にしてください。) // 追記 上記の２つの方法以外のやり方を情報共有してもらったので追記。 @error_401さんから頂いた情報によると Kindle for PCを利用している場合、本の情報が入ったXMLが生成されるた
ツイッター上でウクライナ政府をネオナチ政権だと拡散しているのは誰か（鳥海不二夫） - エキスパート - Yahoo!ニュース
2022年2月24日にロシア軍がウクライナに侵攻しました． 3月7日現在いまだ侵攻は続いており，一般市民にも多くの死傷者が出ているということで早期の収束を願うばかりです． ロシア側はウクライナへの侵攻の正当性として，ウクライナ政権はネオナチ政権であるという主張をしているようです． プーチン氏は安全保障会議で「我々はまさにネオナチと戦っている」と述べ、ウクライナ政府側をネオナチ扱いした。 https://mainichi.jp/articles/20220304/k00/00m/030/061000c 日本のマスメディアでこの主張を入れているところはあまりないようですが，ソーシャルメディア上ではこの主張に沿ってロシアの侵攻を正当化しているグループもあるようです． ロシアによるウクライナ侵攻について、日本では「単なる思い込みによる誤解」から「めちゃめちゃな陰謀論」まで、ツイッターのみならず、ウ
りょうくんグルメをご存知だろうか。知らなくても、本人のツイートの雰囲気は料理のレシピなんかで一度は見た文脈のはずだ。 こんなやつ。 まじでこの世の全てのタピオカ好きに教えてあげたいんだが新宿三丁目のceleb縁味には全ての人間を虜にする禁断のオレオミルクフォームがある。 これが濃厚黒糖で超絶美味いからぜひ全国のタピオカ好き、タピオカを愛する者たち、タピオカを憎む者たち、全てのタピオカ関係者に伝われ pic.twitter.com/wnnPvkJ2pr— りょうくんグルメ (@uryo1112) 2019年6月15日 「りょうくんグルメ」は文章が情報量に対してやたら長いので、pythonの練習も兼ねてアイデンティティである上から目線の構文を取り去ることにした。逆りょうくんグルメである。 手順は大雑把に分けて以下の3ステップ。 1. Twitterからりょうくんグルメのツイートをスクレイピング
個人開発で 賃貸物件の検索サービス Comfy を作りました1。グラフや地図でサクサク絞り込める UI が特徴のサービスです。とにかく気持ち良い使い勝手を実現するために色々工夫しています。 既にリリースからは 4 ヶ月以上経っているのですが、改めてサービスの概要や、システム構成及び使用した技術・サービスをご紹介しようと思います。2。 サービスの概要 Comfy は日本全国の賃貸物件を検索できる Web サービス です。画面 UI は上の GIF 画像のような感じです。 こだわったポイントを色々書くよりも実際にさわって頂いた方が新感覚の UI や気持ちよさを体感頂けるかと思いますので、 実際のサービス をぜひお試し頂ければ幸いです！ システム構成 図の通り、システムは大きく 3 つに分けられます。 フロントエンド バックエンド データ基盤 使用技術は図の通りではあるのですが、フロントエンドと
記事の概要 私（芝浦工業大学学部4年生）が大学２年時に1人で制作した、大学のポータルアプリ（ポータルサイトからスクレイピングして時間割などを表示する）が、大学に正式採用され、公式アプリ"ScombApp"としてリリースされるに至った経緯を時系列順に説明します。 ホーム画面 時間割画面 制作の動機 大学のポータルサイト使いにくいがち。 ポータルサイトのスマホアプリ版があれば便利そう。 他にやってる人いなさそうだし、最初に作ったらみんな使ってくれそう。 ポータルサイトの問題点 大学ポータルサイトで使いにくかった点を挙げていく。 とりあえずこれを克服することを目標にした。 ログインの時に自動補完が使えない 制作当時はBASIC認証で、スマホからだとログインの自動補完ができなかった。 毎回手打ちでパスワードを入力している人がほとんど ←！？ 次の授業や教室を確認するだけでも、毎回手打ちログインが必
データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary
(2019/10/12追記 データ解析のプログラムもGitHubで公開しました) (2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています) はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗
対策とセットで公開しろよボケが まずサンプルは https://www.neo-blood.co.jp/ を見..
対策とセットで公開しろよボケが まずサンプルは https://www.neo-blood.co.jp/ を見れば大体わかる こういう詐欺サイトにはひっかからないようにしような で、対策 見分け方としては https://www.ccj.kokusen.go.jp/jri_sysi?page=sgSite あたりが参考になる 最初から騙されずに買わないのが一番いい。このサイトで予習すればだまされる率も減るだろう で残念ながら騙されてしまった場合。 汎用的な対処法については https://www.ccj.kokusen.go.jp/chatbot_answer?page=mhuhn&ksi=credit の3．クレジットカード会社への相談についてを見ろ 追記を見たが銀行振り込みの場合は https://www.ccj.kokusen.go.jp/chatbot_answer?page=mh
40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita
下で最新版に記事を編集しましたブログを作ったよ ツイッターアカウントフォローお願いします https://twitter.com/usagipycom こんな記事も書いてます 友達がpythonでPCゲームのレベル上げツールを作っていた それを聞いて、pythonって便利なのね。と思いその後色々あってプログラミングを勉強することにした プログラマー35歳までみたいな世の中で40代おそすぎ！ってあるかもしれない PCがあって、無料の教材はネットに転がってるし、本もたくさんあるし、挑戦するのは無料だし2022年の1月ぐらいから勉強を始めた 入門書って成果物がないからつまらないなと思ってそれ以外になんかないかなって本屋さんをふらふらしてたら python自動化 みたいな書籍がいっぱいあることに気がついた なるほど、もしかしたら仕事楽になるんじゃないかそんな思いから次の本を買った シゴトがはかどる
こんにちは！ しなもんです。 ふとしたきっかけから、日本語のニセ通販サイトが大量に作られたことが判明しましたので、注意喚起を兼ねて調査結果を公開します。 こうした偽サイトに個人情報や金融情報などを入力しないようにご注意ください。 はじめに 偽サイトの発見 ニセサイト群の特定 ドメインを分析 実際のサイトの様子 運営会社の身元 画像の出所 ソースの分析 注文してみた 評価サイトでの扱い 攻撃を仕掛けているのは何者なのか ニセサイトは平然と存在している 調査に使用したサービス 付録 調査対象のドメイン一覧 更新履歴 はじめに 調査はしなもんが自力で実施しましたが、ニセ通販サイトの存在自体は I 氏から教えてもらいました。 調査上の重要なアイデアのいくつかも I 氏によるものです。 この場を借りてお礼を申し上げます。 以下、不用意なアクセスの防止のために、URL や IP アドレスを 「hxxp
皆さんは Web ページのスクレイピングって書いた事ありますか？私はあります。だってどんなに平和で平穏な生活を送っていても数年に一度はスクレイピングってしたくなりますよね。「うわーまじか！API ないのかよ…。」的な。 そうしたら HTTP クライアントと HTML パーサのライブラリを探してきてインストールした上でごりごり書くことになると思います。でも実際に書いてみると、そうやってライブラリのインストールをしたりサンプルコードで動作確認している時間よりも、HTML を解析して実際にパースしたところから対象の要素を取得して欲しい値を取り出す試行錯誤の時間の方が長かったっていう事はないですか？ 今日ご紹介する Node.js でお手軽スクレイピングは、その辺の試行錯誤の手間を極力減らすことが出来る方法です。2020 年夏の最新版です。 まずは環境から。特に古いものを使う理由もないので 202
そろそろWebエンジニア3年目の折り返しになるので、Webエンジニアとして働く中でこれまで読んできた情報たちをまとめようと思い立ちました。 エンジニア3年目の今だからこそまとめられる情報として、「エンジニア1年目の１年間で読んでおきたかったな〜。」という本と記事をまとめておきます。 まとめ始めたら楽しくなってしまい、情報量が多くなってしまった...。全部手に取るのは不可能だと思うので、サーっと目を通して見て興味が湧いた本や情報を手にとっていただけると良いかと。 これからWebエンジニアになる人、Webエンジニア1年目の人の参考になれば幸いです。 これは何？ Webエンジニア1年目が仕事を進める上で絶対に求められるであろう知識を、技術力・Web知識・仕事の進め方・キャリアの観点からまとめました。 「これだけ読んでおけば絶対大丈夫！！」という安易なものではありませんが、「どんな知識を学べばいい
今回はエンジニアバブルの背景を整理することで、また大なり小なり起きるであろうバブルに備えることを目的としてまとめます。 有料設定していますが、最後まで無料でお読みいただけます。もしよければ投げ銭感覚で応援をお願い致します。 エンジニアバブルとは何かIT業界では新興の業界ということもあり、大小のバブルが発生しやすい特徴があります。この20数年の日本国内を振り返っても下記のようなものがありました。 ITバブル（1999-2000年） クラウドバブル（2010年前後） ソーシャルゲームバブル（2010年代前半） AIバブル（現在） このコンテンツで言うエンジニアバブルとは、プログラマを中心としたエンジニアが売り手市場となり、待遇が右肩上がりで提示されやすい状況を指します。エンジニアバブルでは求人倍率が上昇し、即戦力採用が活発化しました。提示年収が現年収比 1.25倍を超えたりすることも多々ありま
Twitterのオーナー、イーロン・マスク氏は7月1日、Twitterでの“サービスの低下”の原因を「数百の組織がTwitterのデータを極度なレベルでスクレイピングしている」ことだとツイートしたが、原因は別のところにあるようだと、フリーランスのWeb開発者、シェルドン・チャン氏がMastodonの投稿で指摘した。 この“サービスの低下”で、多数のユーザーが投稿を読めなくなっている。マスク氏は2日、「極端なレベルのデータスクレイピングとシステム操作に対処するため」にユーザーが読める投稿数に制限を加えたとツイートした。 だがチャン氏は、異常なトラフィックの原因として、TwitterのWebアプリのバグにより、無限ループ状態でTwitterにリクエストが送信されていることを発見したと動画を添えて説明した。この動画では毎分数百件のリクエストが送信されていることが確認できる。 左の動画は、レートが
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設
はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回
pythonを使った株価の自動収集 - Qiita
Help us understand the problem. What are the problem?
[2021年7月6日追記はじまり] はてなブックマークコメントや Twitter でのご教示を受け、10人追加させてもらました（エントリタイトルや記述も一部変更しました）。 一部反応についてはリストに含めない理由を直接ご説明させていただきました。これでもまだ足りないと思いますが、一応ここまでとさせてください。なお、アカウントを削除されている方はそれ自体意思表示であり、こうしたリストに含めるべきではないと考えます。 [2021年7月6日追記おわり] yamdas.hatenablog.com pha さんの「結局みんなキャッキャウフフしたかっただけなのか」にリンクされたおかげで、このエントリのはてなブックマークが今になってぐっと伸びたのだけど、これは2015年末、今から5年前以上にまとめたエントリである。そこで自然と以下の疑問が浮かぶ。 はてな出身の文筆家をざっと30人挙げてみる - YAM
退屈なことはPythonにやらせよう 第2版
一歩先行くハイパフォーマンスなビジネスパーソンからの圧倒的な支持を獲得し、自作RPA本の草分けとして大ヒットしたベストセラー書の改訂版。劇的な「業務効率化」「コスト削減」「生産性向上」を達成するには、単純な繰り返し作業の自動化は必須です。本書ではWordやExcel、PDF文書の一括処理、Webサイトからのダウンロード、メールやSMSの送受信、画像処理、GUI操作といった日常業務でよく直面する面倒で退屈な作業を、Pythonと豊富なモジュールを使って自動化します。今回の改訂では、GmailやGoogleスプレッドシートの操作、Pythonと各種モジュールの最新版への対応、演習等を増補しています。日本語版では、PyInstallerによるEXEファイルの作成方法を巻末付録として収録しました。 訳者まえがき まえがき 第I部 Pythonプログラミングの基礎 1章 Pythonの基本 1.1
こんにちは、Anyflowの坂本です。 RPAっていうワードをよく目にする方も多いんじゃないでしょうか。 2018年のバズワードって言われているそうです。 RPAといえば、こんなニュースが以前話題になっていました。 実験の結果として、RPAを試験導入した事務で、平均84.9％、最大99.1％の作業時間削減効果を確認した。 99%削減ってまじかよ。すごい。 いろいろRPAについて調べているうちに個人的に 「今、日本に本当に必要とされているのって、RPAなんだっけ？ 」と思いまして、この note を書くことにしました。 そもそもRPAってなんだっけ？RPAは Robotic Process Autimation の略で、簡単に言うとPCの操作を自動化してくれるロボットのことです。 よく、デジタルレイバー（仮想知的労働者）なんて言われたりします。 例えば、エクセルからエクセルにコピペして転記す
AI成果物が急増したことで「AI生成コンテンツをAIが学習するループ」が発生し「モデルの崩壊」が起きつつあると研究者が警告 - GIGAZINE
Adobeが権利的にクリアなトレーニングモデルを用いた画像生成AI「Firefly」を発表したり、Microsoftの検索エンジンであるEdgeで対話型AIのChatGPTが活躍していたり、世界的なコンサル企業が「社員の50％は業務にジェネレーティブAIを活用している」と明らかにしたりと、ジェネレーティブAIは社会に広がり続けています。しかし、AIを使用してコンテンツを作成・公開する人が増えていることで、新たな問題として「AIが生成したコンテンツがインターネット上にあふれ、それをAIが学習することで、重大な欠陥が生まれている」ということが研究者グループから指摘されています。 [2305.17493] The Curse of Recursion: Training on Generated Data Makes Models Forget https://doi.org/10.48550/
はじめに※2020年のやつ誰も作ってくれないので、自分でまとめ ※増田文学でない奴が混じってると思う ※「○○が入ってない」、「▲▲は増田文学でなはいのでは」等あればコメントよろしく頼みます 2020年増田文学ランキング100順位URLブクマ日付コンテンツ1旅が終わる気がする17792020/07/01暮らし★クソデカ羅生門16012020/06/112日本から捨てられた土地で生まれて15652020/10/26世の中3渡辺明の孤独な闘い15612020/07/18世の中4在宅勤務が始まり、いまが人生で1番幸せな春15602020/04/10暮らし5ほぼ叔父に育てられた14612020/06/17世の中6一軒家（借家だけど）に越したので犬を飼うことにした14262020/02/28暮らし7子どもが知的障害者になった13212020/05/25暮らし8防犯カメラの死角を必死で探したことがある
５万円のPS5を10万円で売ってるくらいで文句言っている人がいるけど、 もっと遥かに大きな転売については全然文句言わないよね。 不動産屋がオーナーからマンションを1億円で買って2億円で転売しても文句言わないよね。 独占販売契約などを利用して、買値の数倍から数十倍の価格で転売している商社とかにも文句言わないよね。 証券会社が手数料名目で何割も乗せた価格で証券を転売しても文句言わないよね。 結局、文句を言いやすい相手が転売で５万円儲けたら文句を言うけど、 文句を言いにくい相手が転売で５兆円儲けても文句を言わないよね。 弱いものを攻撃したいだけだよね。 メルカリでの転売なんて、需要と供給に基づいて市場価格が決まっていくだけじゃん。 たった5万円の手数料を払うだけで、店頭で買えない貴重な商品が買えるんだから感謝すればいいじゃん。 不動産屋に何千万円も手数料を取られた上で「いい物件を紹介してくれてあ
【Windows 10版でどこまでできるか】Power Automate Desktop のライセンスやできることや気になることまとめ【随時更新】 - Qiita
【Windows 10版でどこまでできるか】Power Automate Desktop のライセンスやできることや気になることまとめ【随時更新】AzureRPAPowerAutomateDesktopQiitaAzure はじめに 2021年のMicrosoft Igniteの発表でPower Automate Desktop が追加費用なしでWindows10ユーザーにて利用可能になりました。 大きな反響がある発表でしたが、デジタルプロセスの自動化を実行するPower Automate は以前から存在しており、また、2020年からPower Automate の有償プランの一部でPower Automate Desktop は利用できていました。 本記事では、Windows 10 や Windows 11 で追加費用なしで使用できるPower Automate Desktop について
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
ちいさな Web ブラウザを作ってみよう
【スクレイピングツール】面倒な情報収集はGoogle Spreadsheetにやらせよう！ - DAINOTE
個人開発で「Excel専用のWebAPI」を作りました
日付、住所、文字列、辞書、翻訳……なんでもござれの「ExcelAPI」がスゴい／「Excel 2013」以降で利用できる「WEBSERVICE」関数と組み合わせて使う無料のWeb API【やじうまの杜】
ベテランエンジニアがクラウドワークスで5,000円の案件を受けてみた｜ebiebi_pg
ディープラーニングさえあれば、競馬で回収率100%を超えられる - Qiita
僕の自作ツールが大学のサーバーをダウンさせてしまった日の話｜くりきん
株AIを結構頑張ったら、儲かりそうな雰囲気が出ている - Qiita
なぜUber配車サービスは日本で失敗したのか？ | Coral Capital
Kindle蔵書一覧を取得する方法 - Qiita
りょうくんグルメの文体を自動でもとに戻すやつを作りました - 開け閉め
【個人開発】爆速な賃貸物件の検索サービスを作った - Qiita
自作した時間割アプリが大学の公式アプリに採用された話 - Qiita
大量出現したニセ通販サイトを探る - 午前７時のしなもんぶろぐ
Node.js でお手軽スクレイピング 2020 年夏 - Qiita
Webエンジニア1年目の自分に捧げたい本・記事を超まとめ - Qiita
エンジニアバブルとは何だったのか｜久松剛／IT百物語の蒐集家
Twitter障害はスクレイピングではなく“自己DDoS”が原因？
無料Webクローラー「EasySpider」 プログラミングスキル不要、マウスクリックだけで操作可能
機械学習で競馬の回収率100%超えを達成した話 - Qiita
はてな出身の文筆家をもう40人ざっと挙げてみる（主に2016年以降） - YAMDAS現更新履歴
日本に本当に必要とされているのは、RPAではなく、iPaaSだと思う｜ren@Anyflow Inc.
増田文学2020 ランキング100(仮) ※「〇〇が無い」、「これ文学じゃない」ってのあったら教えてね
PS5の転売は悪だとか言って ※11/17再追記