大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab
はじめに 本記事では無料で公開されている企業のエンジニア向け研修資料をまとめました。 近年では、多くの企業が新人向けの研修資料を公開しています。これらの資料は内容が充実しており、初心者から中級者まで幅広いレベルの学びを得ることができます。さらに、資料の作り方も参考になるため、勉強会で発表する人や企業の研修担当者にとっても貴重な情報源となっています。 本記事では様々な企業のエンジニア向け研修資料をまとめましたので、ぜひ参考にしてみてください！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 この記事の主な対象者 有名企業の研修資料を幅広く確認したい方 エンジニアとして初級から中級レベルの方 独学で学んでいる方 今後研修資料
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
CyberAgent AI事業本部新卒研修「MLOps」の資料を公開します | CyberAgent Developers Blog
はじめに 近年、様々な分野で機械学習の利用が進む中、モデルの品質を担保し、継続的な学習を行うための施策が重要視されています。そのため、機械学習のためのDevOpsであるMLOpsの必要性が高まっており、AI事業本部でも研修内容に取り入れています。 より良いMLOpsを構築するためには、アプリケーションやインフラの知識も必要です。そのため、今年は昨年までと異なり、MLエンジニアだけでなくソフトウェアエンジニアも講義に参加しました。また、新たに実践編が加わり、より業務を意識した講義が追加されました。 Container編 基礎編 応用編 実践編 そこで、今回は研修で行われた各講義の資料を公開したいと思います。 Container編 Container編では、コンテナにまつわる技術に対しインデックスを張ることと、イメージ作成や運用時のTipsを学び実業務に役立てることを目的としています。 そのた
Slackが、ユーザーのメッセージやデータ、ファイル、その他のコンテンツを機械学習モデルのトレーニングに利用していることが明らかになりました。プライバシーポリシーが変更されたのは2023年9月のことでしたが、ユーザーの多くはそのことに気付いておらず、ユーザーから明示的に許可を得ることなくデータをトレーニングに使っていた実情があると指摘されています。 Slack Trains Some of Its AI-Powered Features on User Messages, Files | PCMag https://www.pcmag.com/news/slack-trains-ai-powered-features-on-user-messages-files Slack has been using data from your chats to train its machine l
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
What We Learned from a Year of Building with LLMs (Part I)
Join the O'Reilly online learning platform. Get a free trial today and find answers on the fly, or master something new and useful. Learn more It’s an exciting time to build with large language models (LLMs). Over the past year, LLMs have become “good enough” for real-world applications. The pace of improvements in LLMs, coupled with a parade of demos on social media, will fuel an estimated $200B
はじめに おれの名前は樋口恭介。とにかく速いものが好きだ。そして今日は最近一番"速さ"を感じたものを紹介したい。そう、"Flash"のことです。 5月15日にGoogleの新しいモデル「Gemini 1.5 Flash」が発表され、ちょうどその日に名古屋イノベーターズガレージというところで生成AIのセミナーをすることになっていたので、その場で触ってみました。 そしたら……なんかプロンプト一発で1万字くらいが数分で出てきてしまい、あまりの衝撃で絶句してしまいました。LLMが出てきてから1年半くらい？ ほぼ毎日触っていますが、こいつらはまだおれを驚かせてくれる……。 以下は急に446行・約1万字が出てきて放心状態のぼくの様子。 まあこういうのは動きを見てもらうのが一番でしょうから、ぜひ見てみてください。以下、あらためて触ってみた様子を動画におさめたものです。 Flashのデモ動画 いやこれマジ
食べログiOSアプリで機械学習による画像分類を導入し、料理判定機能を実装した事例紹介と知見のまとめ - Tabelog Tech Blog
こんにちは。食べログでiOSアプリのサービス開発を担当している河崎です。 私の所属するプロダクトチームでは、ユーザーが継続的かつ手軽に行ったお店の記録ができるように、アプリの改善や新機能開発など様々な対応を行っています。 この記事では、iOSアプリで料理写真を判定するために画像分類を取り入れた開発事例の紹介と、開発で得られた知見についてまとめていきます。 目次 画像分類を取り入れた新機能について 画像分類の対応方針 方針１：公開されている画像分類用のモデルやフレームワークを使用する 方針２：独自の画像分類用のモデルを構築する コストが高いと判断した理由 アプリ特有の考慮すべき条件 オンデバイスであること モデルサイズが小さいこと 解析速度が速いこと Visionフレームワークでの実現 VNClassifyImageRequest とは VNClassifyImageRequest の使い方
AppleがアシスタントAI「Apple Intelligence」の性能を示すベンチマーク結果を公開、GPT-4-Turboとの性能差も明らかに
Appleが、Apple製デバイス向けのパーソナルAI「Apple Intelligence」のベンチマーク結果を公開しました。 Introducing Apple’s On-Device and Server Foundation Models - Apple Machine Learning Research https://machinelearning.apple.com/research/introducing-apple-foundation-models Apple Intelligenceは2024年6月11日2時からAppleが開催している年次開発者会議「WWDC24」の基調講演にて発表されました。基調講演のうち、Apple Intelligenceに関する内容は下記の記事で確認できます。 Appleが新たなパーソナルAIの「Apple Intelligence」を発表、
Double/Debiased Machine Learning による因果効果推定（1） - Qiita
はじめに 東北大学/株式会社Nospareの石原です．本記事では，機械学習を用いた平均処置効果 (average treatment effect; ATE) の推定方法を紹介します．以前の記事で紹介したように，条件付き独立の仮定の下では条件付き期待値関数と傾向スコアを推定することができれば ATE を推定することができます．Chernozhukov et al. (2017) は，条件付き期待値関数と傾向スコアを機械学習手法で推定することで ATE を推定するという方法を提案しています．彼らの提案した方法は "Double/Debiased Machine Learning" と呼ばれています．本記事では，通常のノンパラメトリック推定方法を用いた場合の既存の理論結果を紹介し，機械学習手法を用いる場合の理論的な問題点を解説します．そして，次回の記事で，Chernozhukov et al.
Blog - Private Cloud Compute: A new frontier for AI privacy in the cloud - Apple Security Research
Private Cloud Compute: A new frontier for AI privacy in the cloud Written by Apple Security Engineering and Architecture (SEAR), User Privacy, Core Operating Systems (Core OS), Services Engineering (ASE), and Machine Learning and AI (AIML) Apple Intelligence is the personal intelligence system that brings powerful generative models to iPhone, iPad, and Mac. For advanced features that need to reaso
Unlock a new era of innovation with Windows Copilot Runtime and Copilot+ PCs
I am excited to be back at Build with the developer community this year. Over the last year, we have worked on reimagining Windows PCs and yesterday, we introduced the world to a new category of Windows PCs called Copilot+ PCs. Copilot+ PCs are the fastest, most intelligent Windows PCs ever with AI infused at every layer, starting with the world’s most powerful PC Neural Processing Units (NPUs) c
はじめに 本記事では無料で公開されている企業のエンジニア向け研修資料をまとめました。 近年では、多くの企業が新人向けの研修資料を公開しています。これらの資料は内容が充実しており、初心者から中級者まで幅広いレベルの学びを得ることができます。さらに、資料の作り方も参考になるため、勉強会で発表する人や企業の研修担当者にとっても貴重な情報源となっています。 本記事では様々な企業のエンジニア向け研修資料をまとめましたので、ぜひ参考にしてみてください！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 この記事の主な対象者 有名企業の研修資料を幅広く確認したい方 エンジニアとして初級から中級レベルの方 独学で学んでいる方 今後研修資料
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 データ解析・機械学習でモデルを構築し始める際のサンプル数の目安について、もちろんモデルを構築する時には、可能な限り多くのサンプルを用いることが望ましいです。多くのサンプルを用いることで、サンプルの変化に強い (例えばサンプルが一つ追加されたり一つ削除されたりしても結果の変わりにくい) 頑健なモデルを構築できる可能性が高まります。頑健なモデルにより、より妥当な x の設計やモデルの解釈が可能になります。 ただし、サンプルを集め
「AWS Cloud Quest日本語版」に、機械学習を実践的に学べる「Machine Learning（機械学習）」が追加
Amazon Web Service（AWS）は、ゲームを通じてAWSを学べる「AWS Cloud Quest日本語版」に、新たに「Machine Learning（機械学習）」の教材が追加されたことを明らかにしました。 「AWS Cloud Quest」は、クラウド技術者となったプレイヤーがクエスト内の街の住人から出題される課題やクイズなどを、AWSを使って解決しつつ、クラウドの技術を学んでいくオンラインロールプレイングゲームです。 実際にAWSのサービスを組み合わせてソリューションを構築するため、非常に実践的な内容となっています。 2022年3月に英語版が登場し、その後に日本語版で、入門編としてプレイヤーがクラウドプラクティショナー（クラウドを実践する人）となってプレイする「クラウドプラクティショナー」ロールと、ソリューションアーキテクトとしてゲームをプレイする「ソリューションアーキテ
コンテンツ分析に関する FAQ
最終更新日 : Feb 19, 2024 11:33:34 AM GMT | 次にも適用 : Adobe Creative Cloud, Document Cloud 個人アカウントを持つユーザーとしてデジタルメディアアプリ（Creative Cloud、Document Cloud など）のコンテンツ分析に関する質問と回答をご覧いただけます。 Adobe は、当社の製品およびサービスの改善および開発を目的として、お客様の Creative Cloud または Document Cloud コンテンツを分析する場合があります。Creative Cloud および Document Cloud コンテンツには、画像、オーディオ、ビデオ、テキストまたはドキュメントファイル、および関連データが含まれますが、これらに限定されません。Adobe は、Adobe のサーバーで処理または保存されたコンテ
Binary logging optimizations in Amazon Aurora MySQL version 3 | Amazon Web Services
AWS Database Blog Binary logging optimizations in Amazon Aurora MySQL version 3 The binary log (binlog) in MySQL is used to capture database modifications on a MySQL server in a logical format known as “events”. These database modifications can include DCL statements (such as CREATE USER or GRANT), DDL statements (CREATE TABLE, ALTER TABLE) and DML statements (INSERT, UPDATE, DELETE). When such a
AI、わからない。｢マシンラーニング｣と｢ディープラーニング｣って何がちがうの？2024.05.30 08:0012,871 Lucas Ropek - Gizmodo US ［原文］ （ そうこ ） 初めてChatGPTを使ったときの驚きも今はむかし。すっかり慣れてきてしまった今日このごろ。 AIがいたるところに進出してはいるものの、AIが結局なんなのか、どんな技術なのかはいまひとつわかっていません。マルチモーダルとか、ディープラーニングとかマシンラーニングとか、よく耳にする言葉はあるんですけどね。 AI開発に欠かせないという｢マシンラーニング｣ってなんですか？ ｢ディープラーニング｣ってなんですか？ そもそもAIってなんですか？AI。Artificial Inteligenceの頭文字をとったもので、日本語では人工知能のこと。いつの日か、マシン自身が｢考える｣ことができるようになるのが
マイクロソフトが提案する「生成AI×Copilot」 有意義な時間を作り出すための、導入・拡張・構築ステップ Copilot 迷子に告ぐ！あなたにピッタリな Microsoft x 生成 AI のススメ 本セッションで話すこと 大森彩子氏：題して「Copilot迷子に告ぐ！ あなたにピッタリなMicrosoft x 生成AI活用のススメ」ということで、みなさん「Copilot」っていっぱい聞きますよね。実はマイクロソフトにはいっぱいCopilotがあります。 社員として私もよく聞かれるのですが、「Copilot、いったいどれを使えばいいんですか？」「私、どうすれば生成AIが使えるようになるんですか？」という質問が非常に多い（笑）。 なので、いつもは「『Azure AI』や『Azure AI Studio』をどうやって使うの？」とか、そういう話をすることが多いのですが、みなさんが「生成AI使
GenAI Handbook
William Brown @willccbb | willcb.com v0.1 (June 5, 2024) Introduction This document aims to serve as a handbook for learning the key concepts underlying modern artificial intelligence systems. Given the speed of recent development in AI, there really isn’t a good textbook-style source for getting up-to-speed on the latest-and-greatest innovations in LLMs or other generative models, yet there is an
目次 目次 はじめに 簡単な経歴 資格取得のスケジュール 取得した経緯 勉強方法 全冠達成の感想 おわりに お知らせ はじめに こんにちは、クラウド事業部の上村です。 AWSに携わって5年程度かけて、今年無事AWS全冠を達成することができました。 やっとの思いで全冠達成ができたので記事にすることにしました。 2024 Japan AWS All Certifications Engineers の応募クライテリアの条件を満たしたものになります。 簡単な経歴 クラウドエンジニアとして、AWSを5年程度経験 AWS環境をメインに、24/365 保守・運用や環境構築などに携わっていました 資格取得のスケジュール 短期間で取得しているものもあれば、期間が空いて取っているものもありますね。 基本的には実務で関連するものを優先して取得するようにしていました。(後半は未経験のものばかりですね…) 合格日
Understand errors and warnings better with Gemini | Chrome DevTools | Chrome for Developers
In the dialog window, learn what data will be sent to Google. To view the data in new tabs, you can click the corresponding links. To get an explanation, click Continue. After a few seconds, an explanation will appear below the console error. If you don't think the explanation is satisfactory, you can click Use search instead to open a new tab with search results for the error. We would greatly ap
Today we report a significant advance in understanding the inner workings of AI models. We have identified how millions of concepts are represented inside Claude Sonnet, one of our deployed large language models. This is the first ever detailed look inside a modern, production-grade large language model. This interpretability discovery could, in future, help us make AI models safer. We mostly trea
Slack has been using data from your chats to train its machine learning models
Slack trains machine-learning models on user messages, files and other content without explicit permission. The training is opt-out, meaning your private data will be leeched by default. Making matters worse, you’ll have to ask your organization’s Slack admin (human resources, IT, etc.) to email the company to ask it to stop. (You can’t do it yourself.) Welcome to the dark side of the new AI train
Integrate Amazon Aurora MySQL and Amazon Bedrock using SQL | Amazon Web Services
Amazon Web Services ブログ Integrate Amazon Aurora MySQL and Amazon Bedrock using SQL 本記事は、Integrate Amazon Aurora MySQL and Amazon Bedrock using SQLを翻訳したものです。翻訳はSr. Database Solutions Architectの杉山が担当しました。 組織は大量のデータをリレーショナルデータベースに保存しているため、エンドユーザーエクスペリエンスを向上させるために生成AIの基盤モデルを使ってこれらのデータセットを補強する明確な動機があります。この記事では、Amazon Aurora Machine Learningを使用して、Amazon Aurora MySQL互換エディションを生成AIモデルと統合する方法を探ります。Amazon Be
OpenAI's Rules for Model Behavior, Better Brain-Controlled Robots, and more
Dear friends, In the last couple of days, Google announced a doubling of Gemini Pro 1.5's input context window from 1 million to 2 million tokens, and OpenAI released GPT-4o, which generates tokens 2x faster and 50% cheaper than GPT-4 Turbo and natively accepts and generates multimodal tokens. I view these developments as the latest in an 18-month trend. Given the improvements we've seen, best pra
What We Learned from a Year of Building with LLMs (Part II)
To hear directly from the authors on this topic, sign up for the upcoming virtual event on June 20th, and learn more from the Generative AI Success Stories Superstream on June 12th. Part I of this series can be found here and part III can be found here. A possibly apocryphal quote attributed to many leaders reads: “Amateurs talk strategy and tactics. Professionals talk operations.” Where the tacti
Since the emergence of generative AI products like Chat GPT and GPT4 last year, there has been a silent, collective sense of dread amongst workers across most industries. At first, it was fun, we were asking Chat GPT numerous useless questions like how to rule the world and so forth, making funny tweets and memes about it and even using it to do our assignments and projects. But after a while, it
How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps | Amazon Web Services
AWS Machine Learning Blog How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps This post is co-written with HyeKyung Yang, Jieun Lim, and SeungBum Shim from LotteON. LotteON aims to be a platform that not only sells products, but also provides a personalized recommendation experience tailored to your preferred lifestyle. LotteON operates various specialty stores,
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2024年度】エンジニア向け研修資料まとめ - Qiita
Slackがユーザーの明示的な許可なくメッセージなどをAIトレーニングに利用していることが判明
Doing RAG? Vector search is *not* enough
速度・出力量・コスト効率最強の、Gemini 1.5 Flash！
【2024年度】エンジニア向け研修資料まとめ - Qiita
データ解析・機械学習を始める際のサンプル数の目安(あくまで目安！)
AI、わからない。｢マシンラーニング｣と｢ディープラーニング｣って何がちがうの？
マイクロソフトが提案する「生成AI×Copilot」 有意義な時間を作り出すための、導入・拡張・構築ステップ
AWS認定資格12冠達成できました。 - APC 技術ブログ
Mapping the Mind of a Large Language Model
Why AI wont take your job just yet