かれこれ三年以上ほぼ毎朝論文を読んでいます。 ほぼ毎朝、というのは本当にほぼ毎朝です。この三年のうち読まなかった日はワクチンの副反応でダウンしている日など、あわせて 10 ~ 20 日ほどでしかありません。この日課だけでも 1000 本以上は論文を読んだことになります。 論文読みの日課についての知見が溜まってきたのでこの記事で共有します。 主な想定読者は研究者と学生の皆さんですが、それ以外の論文読みに興味のある皆さんにも有用な情報が詰まっているはずです。 日課の流れ Readable について 🧐 論文の選び方 自分の研究内容と直接関係あるものを読む（特におすすめ） 完全にランダムに選ぶ 被引用数の多い順に選ぶ（特におすすめ） トピックごとに重要な論文を読んでいく 研究者ごとに論文を読んでいく 📝 論文メモの書き方 ⏳ 時間を計測する 🤗 論文メモを公開する 📜 表現集の作成 🔨
人間の本体は心臓でもなければ脳でもないという価値観 - 続・はてなポイント３万を使い切るまで死なない日記
AIとはなにかということを、真剣に考え始めたのは、6年前からだ。AIとはなにかというテーマを突き詰めていくと、そもそも人間の知性とはなにか、という疑問にぶちあたる。 人間の知性を将来はコンピュータに搭載された人工知能が超えてしまうという想像はコンピュータの登場とともに誕生していて、なにも新しいことではない。事実、コンピュータは発明された瞬間に、計算能力においては人間を軽く超えていた。 計算能力で劣っているにも関わらず知性において人間がコンピュータに負けてないと思うのは少し奇妙なことでもある。人間の脳の機能の進化において、数字を扱って、計算できるようになったのはかなり最近のことのようだ。人間の脳にとっては、足し算とかかけ算は、最新のバージョンアップで、やっと可能になった最先端の高度な情報処理能力であって、それでコンピュータに負けてしまったということだ。 人間がコンピュータには直感はないとか、
関連：Pythonでスペクトルのフィッティング - 最終防衛ライン3 プログラミングの経験はほとんどないのですが、最近Pythonの勉強を始めました。自分のやりたいことがそれなりにできるようになりつつあります。いろいろな本を購入したり、図書館で借りたりして勉強したので、折角なのでそれらをまとめておきます。 プログラミング未経験者ではないものの、興味のある人がぴったりのまとめだと思います。 私の目標は、業務で扱う大量のデータ処理の自動化が主で、機械学習にもつなげられたらと考えています。特に科学技術計算を自動化したい。たとえば、大量のデータを同一フォーマットのグラフとして出力するなどですが、この目標は既に達成できました。 1. 私のプログラム歴 2. 一ヶ月勉強して、できるようになったこと 3. 非プログラマー向けの入門書 Pythonスタートブック 実践力を身につける Pythonの教科書
機械学習システム開発や統計分析を仕事にしたい人にオススメの書籍初級5冊＆中級10冊＋テーマ別9冊（2019年1月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以前の書籍リスト記事のアップデートです。 機械学習エンジニアやデータサイエンティストとして（もしくはそうではない職名であったとしても）機械学習システム開発や統計分析を仕事にしたい人なら、最低限これだけは読んでおいて損はないだろうという書籍を初級向け5冊、中級向け10冊選定しています。ただし、以前とは若干異なり「仕事にする」イコール「プロフェッショナルを目指す」ということで、特に初級向けリストを若干レベルアップさせています。中には初学者でも結構読みこなすのが難しい本だけになっているかもしれませんが、中級向けリストに進む上でどうしてもこれだけは読破して欲しいという願望も込めました、ということで。 完全にお馴染みのネタなので特に説明することはないかと思いますが、言うまでもなく以下のリストは完全なる僕個人の独断と偏見で、最近出版されたり自分で読んだ本
というのを作ったので自己紹介します。 2月頃から、コンピュータでアニメ顔を検出&解析する方法をいろいろ試しつつ作っていて、その成果のひとつとして、無理やり出力したライブラリです。 はじめに はじめにざっとライブラリの紹介を書いて、あとのほうでは詳細な処理の話を僕の考えを超交えつつグダグだと書きたいと思います。 Imager::AnimeFaceでできること Imager::AnimeFaceは、画像に含まれるアニメキャラクター的な人物の顔の位置を検出し、さらに目や口など顔を構成する部品位置や大きさの推定、肌や髪の色の抽出を簡単に行うことができるライブラリです。 これらが可能になると、 画像から自動でいい感じのサムネイルを作成できる 動画から自動でいい感じのサムネイルを作成できる 自動的にぐぬぬ画像が作れる 自動的に全員の顔を○○にできる 顔ベースのローカル画像検索 など、最新鋭のソリューシ
虚構新聞を支える技術｜nagisaworks
NagisaWorksでは時折世間を陥れる虚構新聞のシステム全般を担当しております。このシステム、様々な制約により少々ユニークなものになっていますので、今回このシステムについて少しお話をします。 まず制約条件/目標として以下が挙げられます。 1.とにかく低コスト 2.運用が虚構新聞社内のみで行えること 3.でもそこそこに速く 4.web/app両対応 1.とにかく低コスト 虚構新聞はSAKURA internetのサーバー、種別としてはさくらのレンタルサーバーを使用しています。 これは元々使っていたという理由からなのですが、新しいシステムでもそのまま使用することにしています。 ネットワークとしてかかる費用はこれだけのはずですので、とにかく安い。 PVの割にこれほど安いものを使用しているサービスも少ないかと思われます。 まぁケチっているわけでもなさそうなので、インカムの問題でしょうか。 2.
2015年1月10日にジュンク堂池袋店で開催された「このコンピュータ書がすごい！2015新春座談会 －2014年に出たコンピュータ書ならこれを読め！－」に行ってきましたのでレポートをつらつらと書いていきますね。 最初に言っておきますが、怖ろしい文量というか、紹介書籍量なので時間のあるときにでもゆっくり読んでもらうことをお薦めします。 このイベントは、日本Rubyの会代表でありプレゼンの高橋メソッドでお馴染みの高橋征義さんのマシンガントークでコンピュータ関連書籍をひたすら紹介するというもの。19時30分にスタートして、終了したのは21時45分。ジュンク堂の担当者さんが「時間、超ヤバイ！！」という泣きカンペを出すぐらい、濃密なイベントでした。 【追記】技術評論社さんの公式チャネルに動画が上がってました。 2014年すごいコンピュータ書総合ランキング 1位 リーダブルコード 2位 インフラ／ネッ
みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。
今まで読んできた技術書の中で良かったものを挙げていく。 そろそろ本棚が溢れるので捨てる前に書き留めておく。 私は独学でプログラミングを始めたので情報系専攻の人には何をそんなという本も混っているだろうが価値は人それぞれ違う。 一応私自身について語っておくと学生時代はプログラミングに興味を持ちつつも数学科に進んだ。 しかしそこでもプログラミングへの興味は薄れず、色々本を読んだり同学年の情報科学科の真似をしたりしていた。 今思えば日本の精鋭たる東大情報科学科の人達に勝てる筈もなかったのだが学生時代に我武者羅になれたのは悪い経験ではなかった。 私が興味があったのは主にプログラミング言語そのもの、特にLispとその周辺。 何故本か 挙げていく前に1つだけ。Webに大量に情報がある今、何故本かについて説明したい。簡潔に言うと 文章が推敲されていて読み易い 1つの情報ソースに多彩な内容が載っている 巨大
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
はじめに システム作ってるとかライブラリ作ってるみたいなある程度Pythonを綺麗に1書くことが求められる方々に向けた記事です。 (機械学習系のライブラリを使うためにPython書いてる方とか、初学者の方にはちょっとあわないかも知れません) 綺麗に書くための作法の難しさって共有が面倒なところだと思うんですよね。その書き方は間違いじゃない、間違いじゃないけどもっといい書き方があるぞみたいなやつってなかなか指摘し辛いですし、じゃあ1人に対してレビューしたら他のメンバーにはどう伝える？そもそも伝える必要？俺の工数は？みたいになりがちです。 一番いいのはこういう時はこう書く！みたいなドキュメントを作って「ドキュメント違反です」ってレビューをしてあげることなんですが、まーそれもそれで超面倒じゃないですか。なのでこの記事がそのドキュメントの代わり、とまではいかなくとも礎くらいになればいいなと思って書き
Deep Learningで「いらすとや風人間画像生成モデル」を作った話（DCGAN、Wasserstein GAN） - ぬいぐるみライフ？
フリー素材サイト「いらすとや」に出てくる人間風の画像を自動生成するモデルをDeep Learningで作りました。実装にはGoogle製のライブラリ「TensorFlow」と機械学習アルゴリズムの「DCGAN」「Wasserstein GAN」を用いています。 以下は生成された人間画像のうちそれなりにきれいなものの一例です。頬のところが赤くなっていて何となく本家いらすとやの特徴を捉えられていると思います。 「いらすとや」とは？ 実装した手法の概要 DCGAN、Wasserstein GANについて Generator Discriminator GeneratorとDiscriminatorの学習 学習や実装の詳細 Generator、Discriminatorのネットワーク構成やパラメーター 訓練データ その他 学習経過 モデルを検証する 入力にバイアスを掛けていい画像を出やすくする ま
競技プログラミングの在り方 ～「競技プログラミングを我々が終わらせる」を受けて～ - chokudaiのブログ
nuc.hatenadiary.org 競技プログラミングについての言及があったのですが、バズってる＋競技プログラミングについて、納得がいかない記述がかなり多く見受けられたので、反論記事を書きました。 自己紹介 競技プログラミングの日本最大企業「AtCoder」の社長を9年間続けています。競技プログラマとして、2010年から毎年1つは世界大会で入賞しています。 完全に競技プログラミング支持側の意見なので、ポジショントークを出来るだけ排除しようと心がけているものの、完全に排除することは多分出来ていないため、多数の意見と比較してもらえると幸いです。 競技プログラミングとGoogle まずは肯定的な所から。 Googleに入るためには、競技プログラミングではなく、Googleに入るための勉強をするべき、という点に関しては、間違いなく正しいです。特にAtCoderの競技プログラミングは、常日頃から
はじめに 2015年度新卒でドワンゴに入社しました@ytanakaといいます。普段はAndroidアプリ開発を主に担当していますが、大学院時代は増井俊之先生のもとでユーザインタフェースと情報推薦システムの研究をしていました。 ドワンゴに入社後、それまでの研究を活かしプログラマ向けのニュースキュレーションサービスMenthas(メンタス)を個人開発しました。今回はせっかくの機会なので、開発の経緯と概要そして仕組みについて述べたいと思います。 追記： 続編を書きました こちらの記事は以前のバージョンの内容になります。現行のMenthasの仕組み・構成は以下にまとめています。 約3年かけてプログラマ向けニュース推薦アプリを作り直した話 背景 さて、この記事をご覧になっているのはプログラマの方が多いと思いますが皆さん普段どうやって情報収集をしていますか？ 自分の見聞きする限りではTwitterやは
普通のコードエディタに見えて実は壮大なゲーム(MMORPG)画面の「CyberCode Online」で遊んでみた！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、どこからどう見てもごく普通のコードエディタに見えて、実はマルチプレイ可能なMMORPGというジャンルのゲームが遊べるちょっと変わったWebサービスをご紹介します。 見た目はVisual Studio Code風の画面レイアウトなのですが、本格的なテキストベースのMMORPGになっていて、友人・知人と一緒に敵と戦いながらプレイヤーを成長させていくことができます。 第三者から見るとゲームで遊んでいるとは思われないのも1つの特徴になっています。 【 CyberCode Online 】 ■「CyberCode Online」の遊び方 それでは、最初に「CyberCode Online」をどのように遊ぶのか詳しく見ていきましょう！ サイトにアクセスすると、ごく普通のコードエディタが表示されるのですが、プログラムをよく見るとsignUp()関数が
海外志向と遠回り ─ 20年近くかけて少しずつやりたいことに近づいたソフトウェアエンジニアの生存戦略 - GeekOutコラム
こんにちは、ひげぽん（@higepon）といいます。最近は、@miyagawaさんが配信しているRebuild.fmというポッドキャストにときどき出演させてもらっています。もしかしたら、そちらで私のことをご存じの方もいらっしゃるかもしれません。 ソフトウェアエンジニア歴は長く、もうすぐ20年になります。新卒で電機メーカーのシステム子会社に就職。その後、株式会社はてな、サイボウズ・ラボ株式会社などを経て、アメリカのTwitter本社で働くために渡米。最近また日本に戻って、某外資系企業でエンジニアをしています。 長いキャリアの中では、たくさんの失敗や遠回りをしました。世界に羽ばたくWebサービスを作ろうと奮闘しましたが、失敗しました。開発効率を上げるツールを作って使われないこともありました。行きたい会社の面接を受けて箸にも棒にもかからず、悔しい思いをしたこともありました。 本記事では、このよう
21世紀初頭に「IT革命」という言葉が世の中を席巻してから、インターネットはもはや車やガスなどと同じ社会的なインフラになったと言っても過言ではないのではないでしょうか。 そんな中、データサイエンティストという仕事に注目が集まっています。年収1000万円を越えることも夢ではない職業です。そんなデータサイエンティストにとって不可欠なデータ解析に関する知識を無料で学べる「UDACITYonEdmaps」の使い方を紹介します。 UDACITYonEdmapsとは何か UDACITYとはアメリカ発のオンライン学習サービスの一つで、無料でデータサイエンスが学べるツールです。アメリカでスタートしたこのサービスは、リクルートホールディングスとの契約締結を経て、現在日本ではUDACITYonEdmapsとして展開しています。 UDACITYonEdmapsの前身であるUDACITYでは各企業の開発者などが講
おしっこセンサーできました ウチの小学生の息子が家のトイレでたびたびおしっこをこぼしてしまう。俺がくどくど注意してもあんまり効果ない。そこで、代わりにAIに怒ってもらうことにした。こんな感じである。 おしっこセンサーのデモ（動画）。水を数滴床にたらすとブザーが鳴り、床を拭くと止まる。 ディープラーニングの画像認識を使い、床の上に落ちた水滴をカメラで検出してブザーが鳴る仕組みだ。夏休みの自由工作に過ぎないので精度は期待していなかったけど、意外にきちんと動いてくれて、カメラに映る範囲に水滴を数滴たらすとピッピと鳴り、床を拭くとブザーも止まる。「お父さんだってAIくらい作れるぞ」と息子に自慢したいがための工作なのだ。 でも、これ作るのはそんなに難しくなくて、休み中の3日くらいで完成した。かかったお金は、RasPiやカメラ、周辺デバイスが2万円弱、画像認識のモデル作成に使ったクラウドの料金が数10
新はてなブックマークでも使われてるComplement Naive Bayesを解説するよ - 射撃しつつ前転 改
新はてブ正式リリース記念ということで。もうリリースから何週間も経っちゃったけど。 新はてなブックマークではブックマークエントリをカテゴリへと自動で分類しているが、このカテゴリ分類に使われているアルゴリズムはComplement Naive Bayesらしい。今日はこのアルゴリズムについて紹介してみる。 Complement Naive Bayesは2003年のICMLでJ. Rennieらが提案した手法である。ICMLというのは、機械学習に関する（たぶん）最難関の学会で、採択率はここ数年は30%を切っている。2003は119/371で、32.1%の採択率だったようだ。 Complement Naive Bayesの位置づけは 実装が簡単 学習時間が短い 性能もそこそこよい という感じで、2003年段階にあっても、絶対的な性能ではSVMに負けていた。しかし、学習が早いというのは実アプリケーシ
「日本は機械学習パラダイスだ」。こう提言したのは、早稲田大学法学部教授の上野達弘さんだ。 なぜなのか。その理由は、日本の著作権法にある。 日本の著作権法では、「情報解析を行うために著作物を複製すること」が、営利・非営利問わず認められているのだ。世界にもまれな規定だという。 著作権・AIに詳しい弁護士・柿沼太一さんが10月2日に都内で開いた「AIビジネス法務・知財セミナー」の内容から、機械学習と日本の著作権法の関係についてまとめる。 キモは「著作権法47条の7」 機械学習とは、大量のデータをプログラムに解析・学習させることで、プログラムが自らデータの特徴を見つけ出し、分類・整理できるようにする手法。例えば、大量の猫の写真を学習させ、猫の特徴を学んだモデルに、新たな動物の写真を入力すると、猫か猫ではないかを判別する――といったイメージだ。 機械学習を行うためには、大量のデータをAIプログラムに
身につまされる英語力問題。手っ取り早く英語を習得するなら海外に行ってしまうが最善なはずですがこのコロナ禍、身近なところで英語に触れつつ技術も勉強したい？といえば、動画です。 10 Developers You Should Follow to Improve Your Skills (スキルを上げるための、フォローすべき開発者10選) という記事があったので10人をまとめた。プラスオマケ。それぞれ実際に動画を見てみての補足付き。 1. Ben Awad (ベン・アワド) ソフトウェア開発者。React、React Native、GraphQL、Typescript、Node.js、PostgreSQL、Python、その他あらゆるコーディングについて紹介。React.jsやGraphQLの開発者にお勧め。ビッグ／テック コーディングインタビューの準備を手ほどきしている。「アルゴリズム形式の
どうも、まさとらん（@0310lan）です！ 今回は、フロントエンド開発者およびこれから学習をしようと考えている人に最適な無料リソースを厳選してご紹介します。 学習コンテンツばかりでなく、開発に便利なサービスやツールなども紹介しつつ、初心者から中級者くらいまで役に立つドキュメントもまとめています。すべて無料なのでWeb開発にご興味ある方はぜひ参考にしてみてください！ ■何を学習したらいいのかをロードマップで確認する 【 Developer Roadmaps 】 フロントエンドの学習といっても意外に広範囲なので、まずは何から勉強をすればいいのか迷う人も少なくありません。この「Developer Roadmaps」はWeb開発者が勉強するための学習内容をロードマップとして無償公開しています。 さまざまな種類が用意されていますが、例えばフロントエンドの場合は以下のような感じです。 有名なロードマ
IT戦記
みなさんお元気ですか？僕は少しだけ元気ではありません。じんわりとした夏の暑さを感じながらブログを書いています。 実は、数ヶ月前にスマートニュースという会社を退職しました。 しばらく無職 しばらくは就職せずに無職でいようかなと思っています。 すぐに再就職した方がいいんだろうな〜。とは思うのですが少し疲れたかも。 いい時代になったものだ 最近は AI の進化も素晴らしく、昔ソフトウェアで出来なかったことがどんどんできるようになってるなって感じます。 Rust とか、ちょうど欲しかった感じのプログラミング言語もあるし、 ChatGPT は完璧ではないけど何か新しいことを始めるときに素晴らしい洞察を与えてくれる。 時代は確実に良くなってる。そんな時代に「自分は働いていないくていいのか」と少し不安になるけれど、自由気ままにコードを書く、そんな時間が今あってのもいいのかなって思ってます。 オフトピック
2020年はペパボに9人の新卒エンジニアが入社しました。今年も新卒エンジニアを対象に、3ヶ月に及ぶエンジニア研修を開催しました。 本エントリでは、研修の全体像のご紹介や、研修で利用した各資料を公開します。また、領域別に研修担当者より概要の紹介をします。 新卒研修の資料作成を担当している方や、新卒・中途問わず、新しい領域にチャレンジしたいエンジニアの方はぜひご覧ください！ GMO ペパボの研修 GMO インターネットグループでは、毎年 GMO Technology Bootcamp(以下、GTB) と題して、グループ全体のエンジニアとクリエイター(デザイナ)が集まってプロダクトを作っていく上で必要となるベースラインの技術を学ぶ研修を行っています。 GMO ペパボの新卒入社のメンバーは今年から本格的に GTB に参加しました。新卒メンバーが参加するなら、と講義の内容の作成や講師としての参加につ
レールに乗らないで起業するのがブームみたいなので、レールに乗ったまま話もしようかなぁ、と思ったので、書いてみます。 参考： （2021/04/01追記 リンク先が危険なページになってたので、リンクを削除しました。） 過去を語りながら起業に至った経緯を語るのが流行ってるみたいなので、便乗しようかなあ、と思います。もう5年目だけどねｗ 中学・高校時代 小学校時代は、算数が得意で、筑駒って言う凄い中学に入りました。 でも中学だと、それが全然通用しませんでした。得意分野ならついていけるものの、苦手科目はお話にならず、下１割から２割の成績でした。このあたりで僕は悟ります。僕はそれなりに頭がいいけれども、トップクラスと戦えるほど、平均的に頭が良い人間ではない、ということを。 高２で肘を壊し野球部をやめ、パソコン研究会に頻繁に顔を出すようになります。といっても、そこではボードゲームや麻雀やパソコンのフリ
Bing検索の裏側―BitFunnelのアルゴリズム - Hatena Developer Blog
はてなアプリケーションエンジニアの id:takuya-a です。 この記事では、Microsoft の検索エンジン Bing で採用された BitFunnel アルゴリズムを紹介します。 昨年のエンジニアアドベントカレンダーでは、文字列検索のアルゴリズム全般について紹介しました（文字列アルゴリズムの学びかた - Hatena Developer Blog）。今年はそのなかでも、インデックス（索引）を使った全文検索アルゴリズムについてのお話になります。 この記事の前半は全文検索の入門にもなっていますので、検索技術になじみがない方にも楽しんでいただけるのではないでしょうか。 逆に、「そんなのもう知ってるよ！」という方は、本題である「BitFunnel アルゴリズムの詳細」から目を通していただければと思います。 この記事は、はてなエンジニア Advent Calendar 2017の21日目の
計算機による自律的な学習を目指す機械学習や, 大規模情報源からの知識発見を実現するデータマイニングの理論について, 教師付き学習, 教師なし学習を中心に理解する.
「ITエンジニア本大賞 2016年の技術書ベスト10」の各書籍について勝手に紹介 - 思っているよりもずっとずっと人生は短い。
ITエンジニアに読んでほしい！技術書・ビジネス書 大賞 2016 「編む庭」のほぼ裏番組になってしまいますが、明日はデブサミ2016で、翔泳社さんの「ITエンジニアに読んでほしい！技術書・ビジネス書 大賞」のプレゼンセッションがあるのでした。 今年は参加してないのですが（告知後に確認したら協賛お願いのメールが埋もれてました…。対応せずに大変失礼いたしました）、せっかくなので今年の技術書ベスト10になってた各書籍についてコメントしてみます。 『ITエンジニアのための機械学習理論入門』 ITエンジニアのための機械学習理論入門 作者: 中井悦司出版社/メーカー: 技術評論社発売日: 2015/10/17メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る ふだんはLinuxとかクラウドっぽい書籍を書かれいてる中井さんの書籍です。ちょっと意外ですが、本書では機械学習についての理
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
2023-04-06 DigdagからBigQueryを動かす - ChatGPTを使用してエラーを解決した話 AI BigQuery Digdag こんにちは、植村です。今回は弊チームで使用しているワークフローエンジンのdigdag(AWS, EC2)からGCPへアクセスしてBigQueryを動かした時のお話を書きます。やりたいこと：DigdagからBigQueryのExport機能を使用してGCSにデータを格納するGCPの環境は既にで… digdag BigQuery Chat GPT 2023-04-01 週休7日に興味あり？新しいBingが弊社の魅力をご紹介します！ AI こんにちは、菅野です。 もう一年の4分の1が終わりましたね。 新生活の季節となった4月1日なので(?)唐突に弊社を紹介する記事を書きました！ と言っても、私が紹介するのでは面白くないので「新しいBing」に会社の
「Otter」「DeepL翻訳」「Grammarly」など、便利なAIツールを駆使して英文ライティングに挑戦 - ENGLISH JOURNAL ONLINE
「Otter」「DeepL翻訳」「Grammarly」など、便利なAIツールを駆使して英文ライティングに挑戦 近年は人工知能（AI）を活用した自動翻訳や自動添削ツールが増えています。Otter、DeepL翻訳、Grammarlyなど、自分の英語力の足りない部分を補ってくれる便利なAIツールを駆使して、英文ライティングに挑戦してみましょう。 英文ライティングに自信がない人に助け舟リーディングやスピーキングの練習に比べると、後回しになってしまいがちなライティングですが、単なる語彙力や文法力だけでなく、表現の豊富さや、文章の構造など、総合的な語学力が求められる、非常に高度な分野だと言えます。英語の上達を目指している人ならば、常日頃からライティング力を高める勉強をしておきたいものです。 とはいえ、誰もがそんなに律儀で計画的とは限らないのが現実です。実際には、「来週までに英語で資料を準備しておかねば
なんかこのブログに記事書くの、ほんと久々だなと思うんですが。 最近ずっと思ってたことがあったので、つい勢いで書きなぐってしまいました。若干炎上商法かもしれませんが、まぁたまには？いいや。 長文ですがお付き合いください。特に、ソフトウェア工学の研究している皆さん。 昨日、とあるソフトウェア工学のシンポジウムにて、機械学習モデルをWebサービスにデプロイするためのハンズオン、という企画がありました。 僕が運営委員やってるMLSEとの共同企画で、僕は発案者の１人ですが、当日は1人の参加者として中に混じっていました。 4人グループに分かれての作業だったんですけども、僕以外の3人は、いずれもソフトウェア工学の研究をしている修士の学生さんでした。 で、ハンズオンも後半になって「Dockerの使い方」の演習になったのですが、その3人ともDockerに触ったことがなさそうな雰囲気でした。いちいち確認したわ
Amazon Web Services ブログ 自宅で学ぼう！AWS 初学者向けの勉強方法 6ステップ！ 2024 年 4 月追記：本記事の内容は 2024 年 4 月に公開された AWS 初学者向けの勉強方法 6 ステップ！2024 年版！ という記事にてアップデートされています。リンクの最新化と勉強方法の追記を行っておりますので、アップデートされた記事をご確認ください。 こんにちは、AWS トレーニングの講師を担当しているテクニカルトレーナーの西村航です。 皆さん、もしくは皆さんの周りでこんな方はいませんか。「在宅勤務中に AWS を勉強するように先輩から言われているけど、どこかに勉強方法がまとまってないかな？」という悩みを抱えている方、または「同僚や部下に AWS の自宅での勉強を促しているけど、ちょうど良い無料の教材とか無いかな？」という悩みを抱えている方。 本記事は、そういった
MOONGIFT更新停止のご連絡 MOONGIFT
いつもMOONGIFTをご覧いただきありがとうございます。タイトルにあります通り、MOONGIFTの更新を恒久的に停止するご連絡となります。最終更新記事は2021年07月16日になります。 背景 MOONGIFTはオープンソース・ソフトウェアの紹介サイトとして2004年01月29日に運営を開始しました。一番最初はlivedoorブログにて開始し、その後様々なブログプラットフォームを利用し、さらに一時はサイト名の変更（Open Alexandria）を経て、MOONGIFTという名称で運営を続けてきました。 MOONGIFTでは、これまでに16,000以上のソフトウェア（一部オープンソース・ソフトウェア以外のソフトウェアを含む）を紹介してきました。オープンソース・ソフトウェアは多くの先進的な技術への取り組みが行われており、オープンソース・ソフトウェアを知ることはソフトウェアの開発トレンドを知
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
はじめに 本記事では、データサイエンスについて学んだこと、データ分析業務に携わって、経験したこと、気付いたことをまとめています。特に、後半を中心にまとめています。前半についてはこちらの「データサイエンティストを目指して半年で学んだことまとめ」に書いています。ご興味があれば、読んでいただければと思います。 全てはビジョン（あるべき/ありたい姿）を明確にしてから始まる データ分析で最も重要になるのが、ビジョン（あるべき/ありたい姿）の明確度にあると感じています。ビジョンが明確であるほど、課題・目的も明確に設定でき、課題解決のための仮説検証、必要なデータの準備と、ビジョンの実現に向けたデータ分析ができるようになります。勿論、ビジョンが明確であれば良いというものではないかもしれません（必要なデータが集められない等）が、少なくとも、意味のない作業を減らすことは可能だと考えられます。 逆にビジョンが明
Pythonエンジニアが紹介する、Pythonの超便利なライブラリ・フレームワーク13個 - paiza times
Photo by hoerner_brett 秋山です。 私は主にPythonを使って開発をしているので、今回はPythonの便利なライブラリやフレームワークを紹介していきたいと思います。 といっても割と定番のものを中心に使っているので、既にPythonをがんがん使っている人にとっては「知ってるわ！」というものも多いかと思います。「最近Python書くようになりました～」という人たちにも「これ良い！」ってものが見つかればと思います。 ちなみに前回はPython2系と3系の違いについて書いてますので、「3系に移行しよっかなー」と考えている人は合わせて見てみてください。 paiza.hatenablog.com ■Pythonの便利なライブラリやフレームワーク ◆Web開発系フレームワーク ◇Django みんな大好き有名なDjango。RubyでいうところのRailsのような……全部のせ的な
データマイニング入門
ビックデータ分析技術は情報処理技術を学ぶ上で重要となっている。本講義では、データ分析・データマイニングの基礎について学ぶとともに演習を通して実際にデータを分析するプロセスを学ぶ。特に、前期課程の「データマイニング入門」講義のさらに発展的な内容を学習することで、後期課程や大学院におけるデータサイエンス、人工知能、機械学習、自然言語処理などの関連講義の基礎となる知識を習得することを目標とする。
魔法少女くにゅくにゅ a.k.a. 椚座 淳介 @kunukunu わたし昔から人との接し方がわからなくて，後天的に構築した「健常者エミュレータ」を使って生活しているんだけれど，この正体は，過去に経験した様々なシーンを訓練データとして，もっとも穏当な対人応答をモデル化したものなんだよね。これ，やってることは機械学習AIとほぼ同じではないかという。 2022-08-12 23:16:42
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
論文読みの日課について - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
非プログラマーがPythonを学ぶために読んだ本 - 最終防衛ライン3
Perlでアニメ顔を検出＆解析するImager::AnimeFace - デー
このコンピュータ書がすごい！2015のランキングと参加レポート（長文）（動画追記あり）
Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita
独学でプログラミングをやってきた中で良かった技術書50選 | κeenのHappy Hacκing Blog
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
今時のPythonはこう書く2020 - Qiita
プログラマ向けニュースキュレーションサービスを作ってみた話 - Qiita
データサイエンティストなら年収1000万円!?無料＆日本語でプログラミングの勉強をする方法
RasPiとディープラーニングで我が家のトイレ問題を解決する - Qiita
「日本は機械学習パラダイス」 その理由は著作権法にあり
英語力と技術力向上のための海外Tech系Youtuber10選 +n - Qiita
フロントエンドを集中的に学習できる究極の無料リソースを厳選してみた！ - paiza times
ペパボの新卒研修で利用した資料を公開します - Pepabo Tech Portal
大学院在学中にレールに乗ったまま起業した話 - chokudaiのブログ
1. 機械学習概論と単回帰 (1) | 筑波大学オープンコースウェア｜TSUKUBA OCW
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
FLINTERS Engineer's Blog
最近のソフトウェア工学に思うこと - bonotakeの日記
自宅で学ぼう！AWS 初学者向けの勉強方法 6ステップ！ | Amazon Web Services
今起きている革命、「因果革命」とは - Qiita
データサイエンティストを目指して勉強した1年間まとめ - Qiita
人との接し方がわからず「健常者エミュレータ」を走らせて生活しているけど、やってることはAIと同じなのでは…？