Adobe Firefly で生成PdMむけの記事でこのような記事がある。 「プロダクトマネージャーこそ、戦略的に読書せよ！」── 最短で成果を出すための読書地図 (1/6)|ProductZine（プロダクトジン） これのエンジニア向けの記事がないかなと思っていたがなさそうだったので作ろうと思った。しかし客観的な視点でこれがおすすめというのは難しいので自分が参考になったと思った本を家の本棚を見ながらまずは100冊リストアップしてみた。 紹介する本は10年読まれていたり、近年発売のものであれば10年後にも読まれているだろうというものを選ぶようにしている。個別のプログラミング言語やフレームワークなどの本はバージョンアップに追随ができないことが多いので選んでいない。 入門本プリンシプル オブ プログラミングリーダブルコード定番中の定番。おそらくこの2冊はあちらこちらで紹介されている。とりあえず
昔は海外の電波を発する新製品は国内で使用できなかったが、今は総務省の技適の特例制度を利用することでいち早く試すことができる。 「海外法令」云々のところで多少つまづいたが、これはFCC IDを検索すれば解決した。 https://fccid.io/BCGA2117 VisionProのFCC IDはBCGA2117だった。 これで準備完了。 吾輩は、かつては1990年代にキヤノンのMR(混合現実感)システムや理化学研究所のSR(代替現実感)システムを試し、大学院の履修生をやっていた頃はVR特講を受講し、学生対抗国際VR(人工現実感)コンテストに参加したこともある。htc Viveでいくつかのデモを作り(ほとんどは非公開)、Oculusもほとんど持ってるくらいはHMD好きである。片目リトラクタブルHMDで自転車の走行を支援するシステムのデモも2008年頃に作った。 2017年には機械学習したM
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた - Qiita
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた機械学習データ分析キャリアデータサイエンスデータサイエンティスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 その中のAI and Data Scientist Roadmapについての推薦図書まとめです。 雑感 これだけ学んでいれば「こいつ知ってるな」感がありますね。ただ気になる点としては ビジネス、ドメイン知識や分析目的定義などのスキルについて言及がないのは残念。 いきなり数学から入るコースになってますが、一旦は飛ばしてコード写経してから戻ってきても良いと思います。ここで挫折すると勿体無いので。 計量経済学重視の観点はいいですね
5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
こんにちは。レシピ事業部の新井（@SpicyCoffee）です。 クックパッドではこれまで、レシピを投稿してから検索結果に反映されるまで最長で 24 時間程度の時間がかかっていました。今回、この時間を 5 分程度、最長でも 10 分程度に短縮することに成功しました。本記事では、プロジェクトオーナーの立場で関わった私が代表してその開発について紹介します。 プロジェクトの目的と数値目標 本プロジェクトでは上記の「レシピを投稿してから検索結果に反映されるまでの時間短縮」が目的とされました。しかし、時間短縮といっても現状 24 時間であるものを "1 時間" にするのか、"1 分" にするのか、"1 秒" にするのかでは話が全然違います。この数値目標は設計を始めとした後の意思決定に大きく影響を与えるため、しっかりとした意図を持った状態で明確に定めておく必要がありました。 そこで、私とプロダクトオー
何でも微分する
IBIS 2023 企画セッション『最適輸送』 https://ibisml.org/ibis2023/os/#os3 で発表した内容です。 講演概要: 最適輸送が機械学習コミュニティーで人気を博している要因として、最適輸送には微分可能な変種が存在することが挙げられる。微分可能な最適輸送は様々な機械学習モデルに構成要素として簡単に組み入れることができる点が便利である。本講演では、最適輸送の微分可能な変種とその求め方であるシンクホーンアルゴリズムを紹介する。また、この考え方を応用し、ソーティングなどの操作や他の最適化問題を微分可能にする方法を紹介するとともに、これらの微分可能な操作が機械学習においてどのように役立つかを議論する。 シンクホーンアルゴリズムのソースコード：https://colab.research.google.com/drive/1RrQhsS52B-Q8ZvBeo57vK
【AI動画生成】Sora 要素技術解説
もう全部OpenAIでいいんじゃないかな はじめに 月間技術革新です。 ということで、昨日OpenAIから発表された新しい動画生成AI「Sora」が非常に話題となっていますね。 圧倒的な一貫性の保持と1分間に及ぶ長時間動画が生成可能という事で、現状の動画生成技術を圧倒的に凌駕する性能を持っているようです。 在野エンジニアの小手先テクニックなど一笑に付すような圧倒的性能を Soraの凄さは色んなエンジニアやインフルエンサーがたくさん語っているのでそちらを見てもらうとして、この記事ではSoraを構成する各技術について簡単に解説していければと思います。 Soraの技術構成 論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。 原文を見たい方はこちらからどうぞ 全体構成 Soraは以下の技術要素で構成されているとのこと
24/1/28 「生成AIの『学習』は学術用語だ」ということをそろそろちゃんと説明した方がいい - LWのサイゼリヤ
お題箱から 797.生成aiについて無知なので質問です 下記のように学習元画像を合成したかのような元画像がでることから合成ツールと主張する人がいますが、実際に生成aiは合成ツールなのでしょうか？ https://x.com/r18rensyu/status/1745959957990965624?s=61 これ去年の今ぐらいまでなら学習してるから合成ではない論はまだ通用したかもしれないけど、明らかに学習元となる画像がポンポン出るようになってきてしまって正体は引用合成ツールだったのがバレちゃったんだよね。 https://t.co/e367C2DqWl — リハビリ用 (@r18rensyu) 2024年1月13日 質問に対する答えは「依然として生成AIは合成ではなく学習を行っている」で、このツイートは100%誤りです。「塩水を沸騰させると砂糖水になる」と同じレベルの端的な誤りで、議論の余地
公開日 2024/05/27更新日 2024/05/27注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット エアークローゼットは日本初・国内最大級、女
はじめに 本記事では無料で公開されている企業のエンジニア向け研修資料をまとめました。 近年では、多くの企業が新人向けの研修資料を公開しています。これらの資料は内容が充実しており、初心者から中級者まで幅広いレベルの学びを得ることができます。さらに、資料の作り方も参考になるため、勉強会で発表する人や企業の研修担当者にとっても貴重な情報源となっています。 本記事では様々な企業のエンジニア向け研修資料をまとめましたので、ぜひ参考にしてみてください！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 この記事の主な対象者 有名企業の研修資料を幅広く確認したい方 エンジニアとして初級から中級レベルの方 独学で学んでいる方 今後研修資料
2023 年に読んでよかった本
2023 年に読んでよかった本 2023.12.30 年末なので 2023 年のまとめっぽい記事を書きたくなりました。今年は 1 年間でおおよそ 300 冊の本をよんだようです（そのうち 3 割ほどはラノベなのですが...）。その中でも特に印象に残った本を紹介します。 年末なので 2023 年のまとめっぽい記事を書きたくなりました。 今年は 1 年間でおおよそ 300 冊の本をよんだようです（そのうち 3 割ほどはラノベなのですが...）。その中でも特に印象に残った本を紹介します。 忘れる読書 この本では「本は忘れるために読んでいます」と語られています。というわけでこの本の内容もあまり覚えておりません(?)。 本を読むときには一字一句正確に覚えるような読み方をしていると、「覚えなきゃ」という気持ちが芽生えてしまい、本を読むことが苦痛になってしまうことがあります。そうではなくて、パラパラとペ
AIの開発に欠かせない機械学習には、GPUやNPU、TPUなどの処理チップが用いられていますが、それぞれの違いは分かりにくいものです。そんなCPUやGPU、NPU、TPUの違いをGoogleやクラウドストレージサービスを展開するBackblazeがまとめています。 AI 101: GPU vs. TPU vs. NPU https://www.backblaze.com/blog/ai-101-gpu-vs-tpu-vs-npu/ Cloud TPU の概要 | Google Cloud https://cloud.google.com/tpu/docs/intro-to-tpu?hl=ja ◆CPUとは？ CPUは「Central Processing Unit」の略称で、PCでの文書作成やロケットの進路計算、銀行の取引処理など多様な用途に用いられています。CPUでも機械学習を行うこ
マッコウクジラは「コーダ」と呼ばれる短いクリック音のシステムを用いて仲間内でコミュニケーションをとることが知られている。MITの研究チームは、統計モデルを用いた分析で、コーダによるやり取りが文脈に応じて構造化されていることを明らかにした。 by Rhiannon Williams2024.05.09 293 15 マッコウクジラは魅力的な生き物だ。あらゆる種の中で最大の脳を持ち、その大きさは人間の6倍もある。その大きな脳は、知的で理性的な行動をサポートするために進化したのではないかと科学者たちは考えている。 マッコウクジラは社会性が高く、集団で意思決定をする能力を持ち、複雑な採餌行動をとる。 しかし、マッコウクジラが「コーダ」と呼ばれる短いクリック音のシステムを用いてコミュニケーションをとるとき、お互いに何を伝えようとしているのかなど、マッコウクジラについてはわかっていないことも多い。そん
オープンLLMの開発をリードする現場の視点から、開発の実情や直面する課題について発表したのは、Stability AI Japan株式会社の秋葉拓哉氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、LLM開発のポイントを紹介しました。全2記事。前半は、LLM構築タイムアタック。 「GPT-4を作ってください」と言われたらどう答える？ 秋葉拓哉氏：みなさん、こんにちは。秋葉と申します。それでは、発表させていただきたいと思います。 みなさん、さっそくですが、「GPT-4」ってすごいですよね。ここにいらっしゃっている方々はこれについては、もう疑いの余地なく、同意してくださるかなと思います。 では、質問なんですが、もし「GPT-4を作ってください。予算はあるんだよ」と上司に言われたら、どう答えますか？ ということをちょっと聞いてみたいですね。 これはけっこう意
2つ前の投稿で羽生先生のインタビュー記事の発言を取り上げたらプチ炎上しました。私は特に炎上を狙ってやっているわけではなく、羽生先生の発言が将棋AI界隈に悪い影響が残り兼ねないので書いたのですが、開発関係者からは一定の同意が得られたものの、将棋ファンからは殺害予告やら、こんなツイートやらが届く始末です。 まあ、一線を越えているものに関しては関係各所と連携しつつ、粛々と対応させていただく次第です。(念のために言っておきますと、将棋ファンのすべてがこういう人たちばかりだとは私は思っていません。極一部にちょっとややこしい人がいらっしゃるという認識です。) この記事は大変長くなるので、「最新版のやねうら王が(お金を出してでも)欲しい！」と言う方や、「やねうら王の開発に支援してやる！」と言う方は、とりあえず、この記事の末尾のリンクから御支援くださいませ。 今回は、前回の羽生先生の発言を再度取り上げ、何
Kaggleアドベントカレンダー2023の19日目の記事です． TL;DR データ分析未経験からkaggleでどんなことを学んだか 想像していたデータ分析と実業務とのGap kaggleやっていて良かったこと、kaggleでは学ばなかったこと はじめに 趣味でkaggleを始めたことをきっかけに、現在はデータ分析の仕事をしています。 Muj!rush!というアカウントでKaggleをしています。Kaggle expertです。 kaggleを始めてから3年程度経過したので(この3年間は、地球の公転が早まってんのかってくらい時間が経つのが早かったです)、これまでを振り返ることで、今後kaggleを始めてデータサイエンティストを目指すような方への参考になれば幸いです。 Kaggleと出会ったことで仕事への向き合い方や、今後のキャリアの考え方が変わったので、 僭越ながら一言だけ言わせてもらうと、
JADEファウンダーの長山です。 いよいよ Universal Analytics (以下UA) の死が近づく中、Google Analytics 4 (以下GA4) が使いづらい、という声を聞くことが増えてきました。特に広告運用者にとってはまだまだ使いづらいことが多い、という点は、すでに弊社ブログでも小西が書いた通りです。しかし、どうしてこうなっているのか、について考察した記事は今まであまり無かったように思います。 少し歴史を振り返ってみましょう。現在のUAは Google が一から開発したものではありません。Urchin Software という会社が開発したアナリティクスサービスを Google が 2005 年に買収したものです。Urchin は買収時点ですでに10年近い歴史を持つソフトウェアで、Web におけるユーザー訪問の分析に特化する形でプロダクト開発が続けられていました。現
自分がニッチだと思っているテーマについて発表する「Qiita Engineer Festa 2023〜私しか得しないニッチな技術でLT〜」。ここで株式会社SonicGardenの遠藤氏が登壇。LambdaとFargateを組み合わせた実行環境について話します。 遠藤氏の自己紹介 遠藤大介氏：今日は「AWSのLambdaとPlanetScaleを組み合わせると、超絶スケールするWebアプリを作れちゃうぜ」という話をしていこうと思っています。 最初に自己紹介です。遠藤と申します。SonicGardenという会社で、プログラマーと執行役員をやっています。インフラと機械学習などが好きで、趣味もプログラムで仕事もプログラムな感じの人間なんですが、最近は機械学習周りが盛り上がっているので、そっちもいろいろやっています。 あと、ロードバイクに趣味で乗っているのですが、最近ちょっと乗れていません。それから
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
発達障害（神経発達症）などの精神疾患を脳の特性の違いと受け止め、尊重する考え方が注目され始めた。ニューロダイバーシティーとも呼ばれ、独創性や集中力など発達障害特有の能力に着目し、活用する。イノベーション人材としての期待が高まるが、パフォーマンスの最大化に向けた受け入れ体制は道半ばだ。 ■連載予定 ※内容や順番は予告なく変更する場合があります （1）発達障害の人、IT業界で活躍 オムロンは独創性・集中力に着目（今回） （2）入山章栄氏「脳の特性の違い、イノベーションの源泉に」 （3）産業医に聞く 発達障害を「戦力」にする上司の対応 時折会話の声が聞こえるオフィス。その片隅で、2台のモニターを前に集中して作業する若い男性がいた。耳栓をしているため、男性に周囲の音は入らない。ただ一心不乱に、プログラミング言語で書かれたソースコードが並ぶPC画面を見つめている。 ここは滋賀県草津市のオムロン草津事
はじめに Web技術は日進月歩で新しい技術が増えているが、実務でそれらすべてを触る機会はない。そこで、今回の記事では2023年下半期に赤の他人に勧めたいWeb技術を個人の独断と偏見で解説する。 対象者 これから何をすればいいのかわからないプログラマー 新しい技術に興味があるひと スキルセットを拡大したいひと タイトルでなんとなく気になったひと フレームワーク FastAPI FastAPIはPythonでAPIを開発するために開発された軽量のWebフレームワークだ。FastAPIでは、主に以下の特徴がある。 Node.jsやGo言語に匹敵する高速なアプリケーションを開発できる 構造が簡単(Flaskの影響を受けている) Pythonに型定義を含められる 環境構築がコマンド一つで終了する 非同期処理を簡単に実装できる Pythonで開発されているので、機械学習との相性が抜群 RESTとGra
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
ITエンジニアなのにまだ投資やってないの？ChatGPTでクオンツシステム作って儲けようぜpart3 - Qiita
前回まで ITエンジニアなのにまだ投資やってないの？ITエンジニアならChatGPTでクオンツシステム作って儲けようぜ ITエンジニアなのにまだ投資やってないの？ITエンジニアならChatGPTでクオンツシステム作って儲けようぜpart2 ネトフリは面白い 僕はネトフリのヘビーユーザーなんですが、投資系にも リーマンショックまでの経緯と仕組みを実録インタビューで振り返る「インサイドジョブ」や AIテック系の話で、チェスは機械には勝てないと言われてAIが勝ち、「人間の高度な知的能力でしか勝てない」と言った囲碁の世界王者に勝ち、今では7、8年も訓練を積んでようやくなる戦闘機のエースパイロットにも勝ち、AIの実用速度の高さをドキュメントした「アンノウン」なんかも面白いし勉強になります。 投資思考では技術力UPは悪手 投資思考って事業でも人生でもとても大事です。 例えば、収入に不満を持ってるエンジ
生成 AI による検索体験 (SGE) のご紹介
Google は、20 年以上前に日本で Google 検索の提供を開始しました。それ以来、常により良い体験となるよう機能をアップデートしてきました。AI と機械学習の進歩により、Google の検索システムはこれまで以上に人間の言語を理解することができるようになりました。そして本日より、国内で Google 検索の新機能として生成 AI による検索体験 (SGE -Search Generative Experience) の日本語版の試験運用を開始します。 Search Labs に Google アカウントを登録することで、デスクトップの Chrome ブラウザと スマートフォンの Google アプリ（ Android および iOS ）でご利用いただけます。 生成 AI による検索の進化生成 AI の新たな技術進歩により、検索エンジンの更なる可能性を再考することができ、新しいタイ
セキュリティエンジニアを目指す人に知っておいてほしい制度やガイドライン・サービスのまとめ - FFRIエンジニアブログ
はじめに 研究開発第二部リードセキュリティエンジニアの一瀬です。先日は「セキュリティエンジニアを目指す人に知っておいてほしい組織」を公開しました。今回は、セキュリティエンジニアを目指す人に知っておいてほしい制度やガイドライン、サービスについてまとめました。こちらも、セキュリティエンジニアとして働いていると日常的に会話に出てくるものばかりです。これからセキュリティを学ぼうという方の参考になれば幸いです。なお、記載した情報はすべて執筆時点 (2023 年 7 月) のものです。 はじめに 制度・ガイドライン セキュリティ設定共通化手順 (SCAP) 共通脆弱性識別子 (CVE) 共通脆弱性評価システム (CVSS) ISMS適合性評価制度 政府情報システムのためのセキュリティ評価制度 (ISMAP) CSIRT Services Framework PSIRT Services Framewo
フィードバックを送信 プロンプト設計戦略 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 プロンプト設計により、機械学習（ML）制御モデルの出力を初めて利用するユーザーでも、オーバーヘッドを最小限に抑えられます。プロンプトを慎重に作成することで、目的の結果を生成するようにモデルを調整できます。プロンプト設計は、特定のユースケースに合わせて言語モデルを適応させることをテストする効率的な方法です。 言語モデル、特に大規模言語モデル（LLM）は、単語間のパターンと関係を学習するために、膨大なテキストデータでトレーニングされています。テキスト（プロンプト）を受け取った言語モデルは、高度なオートコンプリート ツールのように、次に来ると思われるものを予測できます。したがって、プロンプトを設計する際は、モデルによる次の予測に影響を与える可能性のあるさまざまな要因を考慮し
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
今年の医療情報技師能力検定試験に向けて、医学医療編・医療情報システム編の学習を進めてきました。toB系プログラマとして働き始めてから見てこなかった単語や発想がたくさんあって面白かったので、印象的だったところをまとめます。 医療現場はロールベースかつイベントドリブン 医療現場では（乱暴に言うと）各部門やシステムの間を「オーダ」をはじめとしたメッセージが飛び交っている、というモデル化ができそうです。 多くの役職だと何ができるかが法で定められていて、そうした役割をどう組み合わせるかも予め想定されており、そのコラボレーションをメッセージで行っているということです。 これはけっこう医療現場というものを特徴づけるものだと思っていて、パッと思いつくところでも以下のような事が考えられます： 業務の属人性を下げるための仕組みとして機能することが期待される。 アクターのTODOや期待されるアウトプットが明確。
百番煎じのNTT退職エントリ
2023年6月末をもって、約7年間勤めたNTT研究所を退職することになりました。7月からは外資系IT企業でデータサイエンティストとして働く予定です。これまでは研究員として、ネットワーク運用を支援するための機械学習について研究してきました。これからはエンジニアリングやデータ分析を生業にしていきます。 この記事は、僕がなぜNTTをやめたのかをまとめた、いわゆるNTT退職エントリというやつです。NTT退職エントリという言葉が定着したのは、以下のkumagiさんの伝説の記事がきっかけでしょう。 この記事が公開されたのが４，５年前でしょうか。公開以降、NTT退職エントリというものがあちこちで書かれたので何番煎じなのかも不明なのですが、自分自身の記録として残しておこうと思います。 NTT退職エントリを読んでいる方の中には、NTTへの入社を検討している人もいるでしょう。NTTの一般的なメリットとデメリッ
技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話
こんにちは、株式会社シグマアイのエンジニアの@k_muroです。 今回の記事は最近導入した「技術blogを良い感じに共有してくれるSlack bot」のご紹介を。 はじめに 技術の進化は止まらない。(真面目な話、AI系の進捗がマジですごいて全然追えない) 毎日のように新しい技術、フレームワーク、ライブラリ、ツールが生まれています。そんな中でエンジニアとして働いていると、この情報の波に疲れを感じること、ありませんか？ ありますよね？(脅迫) 実際私もその一人で、この小さな疲れが積み重なって大きなストレスとなることに気づきました。 「新しい技術情報、追いつけるかな？」 「あのブログ記事、後で読もうと思ってたのに、どこいったっけ？」 「チーム全員が同じ情報を持ってるか心配だな。」 そんな日常の疑問や不安から逃れるための一歩として、私はあるSlack botを開発しました。このbotは、送られた技
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
音源分離ツールSpleeterと音源MIDI変換ツールBasic-PitchをM1 MacBook Air上のDockerで動作させる
はじめに 楽曲をアナライズしたいとき、ボーカルの旋律とか、伴奏の最低•最高音は聴音しやすいものです。 ですが、、たとえばテンションを含む密集した和音のボイシングまで分解するのは、途方もなくしんどいです。もちろん訓練された能力と、それなりの時間も必要になります。 手元に楽器がない環境の人にとっては、なおさら難しいことです。 そこで補助的に機械学習ライブラリの力を借りて、能力や時間がない人でも、より良い音楽学習ができるようにすることは、音楽の文化に良い影響があると思います。 SpleeterとBasic-Pitchという二つの最高なライブラリが提供するコマンドラインツールを使うことで、音源をパート別に分離して、それぞれのパートをMIDIノートとして出力することができます。 それによって、リファレンス楽曲の分析自体に時間をかけることなく、本当の目的である解析、そして解析した後にどう昇華させるか考
2021年、『人間とマシンのチーム：私たちの世界に革命をもたらす人間と人工知能のシナジーをいかに生み出すか』（未邦訳）と題する英語の本が刊行された。著者はY・S准将というペンネームだが、イスラエルのエリートの諜報機関、8200部隊を率いる人物であることが確認されている。 著書で彼は、戦火のなかで軍事攻撃の「標的」を何千という規模でマークするため、大量のデータをすばやく処理する特別なマシンの開発を提唱した。そのようなテクノロジーがあれば、「新たな標的の割り出しと、それを承認する意思決定の両方における人間のボトルネック」を解消できるだろうと、彼は書いている。 そのようなマシンは、実際に存在すると判明している。イスラエルとパレスチナ合同の独立系メディア「+972マガジン」とイスラエルの独立系ニュースメデイア「ローカル・コール」の調査によって、イスラエル軍が「ラベンダー」という人工知能をベースにし
米Googleは10月3日（現地時間）、Gmailユーザーをスパムから守る対策の一環として、メールの一括送信者に対する新たな要件を設けると発表した。 一括送信者とは、アカウントに1日当たり5000件以上のメールを送信するユーザーを指す。 まず、メール内に1クリックで購読解除できるボタンを設置することを義務付ける。送信者は、解除ボタンがクリックされてから2日以内に対応することが求められる。この要件はオープンスタンダードに基づいて構築されており、Gmail以外のメール受信者も恩恵を受けられるとしている。 また、GoogleはGmailヘルプの一括送信者向けのページ「一括送信ガイドライン」を更新し、メールの認証要件についての説明を追加した。メールが迷惑メールに分類されないように、ドメインに対して認証を設定する必要があるというものだ。 一括送信者は、2024年2月までにこれらの要件を満たすことが義
新しいデータ処理ライブラリの学習はもう不要！ Python 初学者のための Ibis 100 本ノック - Qiita
新しいデータ処理ライブラリの学習はもう不要！ Python 初学者のための Ibis 100 本ノックPython機械学習pandasデータ分析ibis-framework Information 2024/1/14： Kaggle notebook for Ibis Kaggle で Ibis を使用するための Sample Notebook を用意しました。Kaggle でもぜひ Ibis をご活用下さい。 🦩 [Ibis] Kaggle-Titanic-Tutorial Ibis 100 本ノック補足記事 Ibis 100 本ノックについて、よりスマートな書き方等について @hkzm さんが補足記事を書いてくれました（この記事を参考にコンテンツのほうもブラッシュアップしたいと思います）。 Ibis 100 本ノックの記事を受けて はじめに どうもこんにちは、kunishou です。
こんにちは！たかぎわ @shun_tak と申します！バクラク事業で機械学習・データ領域のマネジメントを担当しています！ 先日社内でChatGPT入門の勉強会を実施して、参加者からは好評だったので、資料をこちらで共有させてください！わりと社内資料そのままコピペです。 背景 羅針盤15を体現した例 早速やってみよう！ ChatGPTを触り倒す Step1 : ChatGPTを開く (0min) Step2 : まずは挨拶してみよう！ (5min) Step3 : Google検索の代わりに使ってみよう！ (5min) 他のトピックも聞いてみよう！ Step4 : ペルソナ設定済みのGPTを使ってみよう！ (10min) まずはConsensusというGPTを使ってみましょう！ ChatGPT Teamに加入していると、社内の人が作ったGPTにアクセスできます！ わいまつさんが作った企業リサー
「どのように開発するか」だけでなく、上流からプロジェクトに携わり「何を開発するか」から検討したい、と考えているエンジニアの方は少なくないでしょう。 一方、実際の開発現場では「WHAT（何を開発するか）」がすでにある程度検討され、エンジニアはその実現方法を具体化させるフェーズから参画し「HOW（どのように開発するか）」を考えるケースが多いのではないでしょうか。 「WHAT（何を開発するか）」を検討するフェーズからボトムアップでアイデアを出し、プロダクトの成長にコミットしたいーー。そんな思いを強く持つエンジニアにとって、理想的な環境とも言えるのがリクルートです。 今回、同社を代表するプロダクトである『SUUMO』のレコメンドAPIのインフラを、機械学習エンジニア（以下、MLE）とデータエンジニア（以下、DE）が連携して改修したプロジェクトを参考に、事業成長にコミットするエンジニアの姿を伝えます
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
Udemyで夏のビッグセール開催！ 話題の生成系AIからプロダクトマネジメントまで、新たな得意分野を見つけよう - はてなニュース
※夏のビッグセール、およびキャンペーンは終了しました。ご応募ありがとうございました。なお、Udemyの講座修了者を対象とした「学習応援キャンペーン」は9月30日まで実施中です。 オンライン学習プラットフォーム「Udemy」では、2023年8月22日（火）から夏のビッグセールを開催します。対象の講座が1,200円から購入可能と、なかなかチャレンジできなかった新しい領域を学習するにはとってもお得なチャンス。 今回のセール対象講座から、ChatGPTやMidjourneyといった話題の生成系AI、その基礎となる大規模言語モデル（LLM）の入門や実装を扱う講座といった人気のトピックに加えて、アプリケーション開発やプロジェクトマネジメント、さらには英語学習など、ステップアップを目指すITエンジニアにオススメの中級から上級の講座もピックアップして紹介します。 Udemyで勉強を始めたいけれど、いろいろ
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど） - Qiita
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど）Python機械学習入門ChatGPTLLM CoT、Zero-CoT、ToT、mock、ReAct、Step Back、Metacog、IEPなど、各種Prompt Engineering手法の概説と、日本語での実際のプロンプト例をまとめた記事です。 各種Prompt Engineering手法を日本語で実装したい方向けの記事となります。 本記事で取り扱う手法は以下の通りです。 項目数が多いため、記事右下の目次リンクもご活用ください。 本記事の内容 01: 通常のPrompt 02: Few-shot Learning 03: CoT（Chain of Thought） 04: 出力形式の指定方法 05: Zero-shot CoT（≒
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソフトウェアエンジニアにおすすめしたい本を100冊選んでみた | gennei's blog
Apple Vision ProはHoloLensの完成形。現時点での限界値｜shi3z
クックパッドの検索反映時間を 1/288 にしたシステム改修 - クックパッド開発者ブログ
注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
【2024年度】エンジニア向け研修資料まとめ - Qiita
「CPU」「GPU」「NPU」「TPU」の違いを分かりやすく説明するとこうなる
クジラの言語構造、想像以上に人間の言語に近かった
もし明日、上司に「GPT-4を作れ」と言われたら？ Stability AIのシニアリサーチサイエンティストが紹介する「LLM構築タイムアタック」
羽生先生の発言は何が開発者の反発を招いたのか？ | やねうら王 公式サイト
趣味でKaggleを始めたことをきっかけにデータサイエンティストになった話 - Qiita
GA4はなぜこんなに「使いづらい」のか - ブログ - 株式会社JADE
AWS Lambda×Fargate×PlanetScaleを組み合わせれば、超絶スケールするWebアプリを作れる 約2ドルから作れる“ニッチで俺得な”環境の布教
発達障害の人、IT業界で活躍 オムロンは独創性・集中力に着目
2023年下半期に他人に勧めたいWeb技術まとめ
RAGの実装戦略まとめ - Qiita
プロンプト設計戦略 | Google AI for Developers
慶應義塾大学 機械学習基礎02 コーディング
元toB系プログラマが医療情報技師の勉強をして面白かった部分 - Kengo's blog
RAGの性能を改善するための8つの戦略 | Fintan
【調査報道】イスラエル軍の「殺害リスト」は人工知能が生成したものだった | すべてを変えた「人工知能による自動化」
Google、Gmailスパム対策で一括送信者に購読解除ボタン設置を義務付けへ
ChatGPT入門 (社内勉強会の資料を公開) - LayerX エンジニアブログ
データエンジニアが事業成長をリードする。『SUUMO』のレコメンドAPIはこうして進化した - はてなニュース
ベイズ統計学を勉強する参考書のフロー - Qiita