Caches are present everywhere: from the lowest to highest levels: There are hardware caches inside your processor cores (L1, L2, L3), Page/Disk cache that our Operating Systems Caches for databases such as using MemCached, Redis or DAX for DynamoDB API caches Layer-7 (Application layer) HTTP caches like Edge level caching in CDNs DNS caching Cache in your browser Microservices can have internal ca
Azure OpenAIのサンプルまとめ
はじめに Azure OpenAI Serviceを活用したサンプルが数多く登場しているため、ここにまとめていきます。 エンタープライズサーチ① Azure OpenAIとAzure Cognitive Searchを中心とした文章検索シナリオのサンプル LangChainのAgentを利用し、Cognitive searchのセマンティック検索とベクトル検索をツールとして定義 Azure AI Document Intelligence (旧称Form Recognizer)を使った文章の読み取りに対応 自動で文章を分割、重複含めた形でチャンキング (chunking)を行ってベクトル化 Cosmos DBにインジェスト。ベクトル化された文章 (embedding)もCosmosに保存 MSUSAzureAccelerators/Knowledge-Mining-with-OpenAI:
AWS全冠(≒All Certifications Engineer)になりました。 - APC 技術ブログ
はじめに こんにちは、あるいはこんばんは、クラウド事業部の原田です。 今回はAWSほぼ未経験の状態から、無事AWS全冠を達成できましたので、 全冠に至るまでの振り返り、達成して思ったこと、感じたことを共有させていただこうと思います。 ※タイトルにAll Certifications Engineersと記載していますが、 記事公開時点では2024 Japan AWS All Certifications Engineers の応募クライテリアを満たしただけで、 来年 2024 All Certifications Engineer に選出される予定です。 自身の経歴(パブクラ歴) 30代からエンジニア。元々はネットワークエンジニア(5年程)、IDaaSのサポート(3年)を経て現在はAzureをメインに扱ってます。 期間 概要 2020/01~2020/09 Azure設計構築(Web3層+
みなさんこんにちは。今日もChatGPTさんを講師にお迎えして、「ChatGPTとPythonで学ぶ k近傍法」というテーマで雑談したいと思います。それではChatGPTさん、よろしくお願いします。 assistant: こんにちは、みなさん。今日はk近傍法について学びましょう。 k近傍法（k-Nearest Neighbors、k-NN）は、分類や回帰の問題を解くためのシンプルな機械学習アルゴリズムの一つです。このアルゴリズムは、新しいデータポイントを分類するために、そのデータポイントの近くにある他のデータポイントを見て、それらの最も一般的なクラスを新しいデータポイントのクラスとして選択します。 Pythonの機械学習ライブラリであるscikit-learnを使ってk近傍法を実装することができます。以下に、基本的なコードを示します。 from sklearn.neighbors impo
Googleの生成AI、PaLM 2をSlack連携して社内ツールとして導入してみた - G-gen Tech Blog
G-gen のタナです。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Slackと連携した簡易的なチャットボットの PoC を行いました。 はじめに 前提知識と事前準備 PaLM 2 Slack App Python Slack SDK Google App Engine APIの有効化 権限周りの設定 検証 概要と構成図 App Engine へのデプロイ 必要なファイル 1. requirements.txt 2. app.yaml 3. app.py 実行結果 Slack を介して PaLM 2 を活用するユーザー体験 BigQuery によるプロンプト履歴の分析 デプロイの手順 1. Slackのシークレット取得 2. シークレットをSecret Managerで保持 3. Cloud Loggingの設定
The Arcade focuses on generative AI in October 23 | Google Cloud Blog
Generative AI for developers: New no-cost labs in Google Cloud Looking to up your generative AI game? Now you can build your technical gen AI skills for Google Cloud environment in The Arcade, a no-cost, gamified learning experience that features new games each month. Every month, you’ll play games based on labs from Google Cloud Skills Boost to get hands-on experience with Google Cloud’s powerful
As organizations rapidly deploy generative AI tools, survey respondents expect significant effects on their industries and workforces. The latest annual McKinsey Global Survey on the current state of AI confirms the explosive growth of generative AI (gen AI) tools. Less than a year after many of these tools debuted, one-third of our survey respondents say their organizations are using gen AI regul
Looker StudioでGA4データを可視化したらBigQuery課金がスパイクした件 - G-gen Tech Blog
G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様 原因 2. Looker Studio のキャッシュが効かなかった 症状 仕様 原因 (推測) 解決方法 シャーディング分割テーブルをパーティション分割テーブルへ統合 データマートテーブルを利用 その他の工夫 クエリ課金の原因となっているレポートの調査 オンデマンド課金に上限を設ける その他のコスト削減手法 やりたかった
Security Best Practices for GenAI Applications (OpenAI) in Azure
Introduction GenAI applications are those that use large language models (LLMs) to generate natural language texts or perform natural language understanding tasks. LLMs are powerful tools that can enable various scenarios such as content creation, summarization, translation, question answering, and conversational agents. However, LLMs also pose significant security challenges that need to be addre
Auto-GPTを使って2値分類タスクを解いてみた - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、自律型AIエージェントに実際人間が解くような比較的複雑なタスクを与えた場合にどのような挙動を示すのかを確認するため、「Auto-GPT」に2値分類タスクを与えてみたのでその挙動をご紹介します。 はじめに はじめまして。アナリティクスサービス部の後藤、AIソリューションサービス部の林です。 ChatGPTが2022年11月30日に公開されて以降、ChatGPTを利用したサービスが多く開発・公開され非常に盛り上がりのある領域となっています。 その中でChatGPT
Googleがコーディング補助やデータ解析が可能なAIサービス群「Duet AI」のプレビュー版をGoogle Cloudに導入
Googleが作業補助AIサービス群「Duet AI」のプレビュー版をGoogle Cloudに導入したことを発表しました。Duet AIにはコーディングやデータ解析などに役立つAIが含まれており、記事作成時点では無料でテスト可能です。 Duet AI | Google Cloud https://cloud.google.com/duet-ai Duet AI in Google Cloud Preview | Google Cloud Blog https://cloud.google.com/blog/products/ai-machine-learning/duet-ai-in-google-cloud-preview Googleは「Googleドキュメントでテキストを補完できるAI」や「Googleスプレッドシートでデータを分析するAI」などの作業補助系AIをまとめて「Du
Hugging Face raises $235M from investors, including Salesforce and Nvidia | TechCrunch
Hugging Face raises $235M from investors, including Salesforce and Nvidia AI startup Hugging Face has raised $235 million in a Series D funding round, as first reported by The Information, then seemingly verified by Salesforce CEO Marc Benioff on X (formerly known as Twitter). The tranche, which had participation from Google, Amazon, Nvidia, Intel, AMD, Qualcomm, IBM, Salesforce and Sound Ventures
▼ 更新情報 ・Azure Machine Learning 新機能サポート ・Managed Feature Store ・Registry etc... ・パイプラインジョブのデバッグ ・環境分離と計算リソース共有 ・LLMOps ▼ Prompt flowの動画 https://www.youtube.com/watch?v=DaIYrlMOj7I ▼こちらのMLOps資料のv1.2版となります。 https://speakerdeck.com/shisyu_gaku/step-by-step-mlops-and-microsoft-products 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。
Table 4: Developer growth by total developers in 2023, % increase from 2022. Notably, the growth in France follows its government push to attract more tech startups. We’re also seeing an uptick in growth in Spain and Italy, which speaks to efforts in these two regions to bolster their domestic technology markets. The explosive growth of generative AI in 2023 While generative AI made a splash in ne
Google Cloud Associate Cloud Engineerに合格して得られたもの - Pepabo Tech Portal
はじめに こんにちは、minne事業部 Webアプリケーションエンジニアの@inowayです。2023年12月にGoogle Cloud Associate Cloud Engineer（ACE）に合格しました。本記事では体験談を元に、WebアプリケーションエンジニアがGoogle Cloud 認定資格を受験するメリットについて書いていきます。 Google Cloud ACEとは Google Cloudの認定試験ガイドには以下のような記述があります。 Associate Cloud Engineer は、アプリケーションとインフラストラクチャのデプロイと保護、複数のプロジェクトで実行されるオペレーションのモニタリング、エンタープライズ ソリューションの保守を行い、ターゲットのパフォーマンス指標が達成されるようにします。また、パブリック クラウドとオンプレミス ソリューションの実務経験が
NeurIPS 2023 Tutorial: Reconsidering Overfitting in the Age of Overparameterized Models
NeurIPS 2023 Tutorial: Reconsidering Overfitting in the Age of Overparameterized Models ` Large, overparameterized models such as neural networks are now the workhorses of modern machine learning. These models are often trained to near-zero error on noisy datasets and simultaneously generalize well to unseen data, in contrast to the textbook intuition regarding the perils of overfitting. At the sa
NetflixがAI人材を募集中。年収は最大1億円オーバー
NetflixがAI人材を募集中。年収は最大1億円オーバー2023.07.30 08:0012,415 Kevin Hurler - Gizmodo US ［原文］ （ 中川真知子 ） ハリウッドで、俳優と脚本家がAIの使用をめぐってストライキを起こしている最中、Netflixが｢ AIマネージャー｣なるポジションに年収最低30万ドル（約4100万円）以上のオファーを出していることがわかりました。 年収は1億円を超える？公式なポジションの名前は、｢プロダクションマネージャー／機械学習プラットフォーム（Product Manager - Machine Learning Platform）｣。 職場はカリフォルニアで、報酬は30万〜90万ドル（約4100万円〜1億2500万円）です。 しかし、仕事に関する明確な記述はなく、主な目的のひとつに｢機械学習プラットフォームの戦略的なビジョンを定義｣
Googleがオープンソースの大規模言語モデル「Gemma」を2024年2月22日に公開しました。GemmaはマルチモーダルAIのGeminiよりも軽量であることが特徴で、商用利用も可能です。 Gemma - Google が提供する最先端の軽量オープンモデル ファミリー。 | Google AI for Developers https://ai.google.dev/gemma?hl=ja Gemma: Open Models Based on Gemini Research and Technology (PDFファイル)https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf Gemma が Google Cloud で利用可能に | Google Cloud 公式ブログ https://cloud
危機管理室 江口です。 昨今、各社からいろいろなAIサービスが出てきてますね。 業務での利用について、どのAIサービスを利用するか検討していくなかで、やはり利用規約周りの確認は重要です。特に、 入力したデータはサービス提供業者側で保存されるのか そのデータは学習に利用され、外部に露出する可能性があるのか という点は利用の判断のうえで重要ですよね。 以前筆者はOpenAIのデータ利用ポリシーについて、ブログで紹介しました。 ですがOpenAI以外にもいろいろなAIサービスがありますし、OpenAIも利用規約をたびたびアップデートしています。 そこで、このへんで一度いろいろなAIサービスの利用規約を読んでみようと思います。 ということで、まずは手始めにAmazon Bedrockの利用規約（正確にはサービス規約）およびユーザーガイドから、入出力データの利用まわりを中心に気になる点を確認してみま
Data masking and granular access control using Amazon Macie and AWS Lake Formation | Amazon Web Services
AWS Security Blog Data masking and granular access control using Amazon Macie and AWS Lake Formation Companies have been collecting user data to offer new products, recommend options more relevant to the user’s profile, or, in the case of financial institutions, to be able to facilitate access to higher credit lines or lower interest rates. However, personal data is sensitive as its use enables id
製品 製品グループ Microsoft Defender Microsoft Entra Microsoft Intune Microsoft Priva Microsoft Purview Microsoft Sentinel セキュリティ AI Microsoft Security Copilot ID (アイデンティティ) とアクセス Microsoft Entra ID (Azure Active Directory) Microsoft Entra 外部 ID Microsoft Entra ID ガバナンス Microsoft Entra ID 保護 Microsoft Entra Internet Access Microsoft Entra Private Access Microsoft Entra 権限管理 Microsoft Entra 確認済み ID Microso
Join us at Google Cloud NextComing to Las Vegas, April 9–11. Register *この投稿は米国時間 2024 年 2 月 22 日に Google Cloud blog に投稿されたものの抄訳です。 Google は本日、Gemini モデルの作成に使用したのと同じ研究とテクノロジーから構築した軽量で最先端のオープンモデル ファミリー Gemma を発表しました。Google Cloud のお客様は本日から、Vertex AI で Gemma モデルを使用してカスタマイズおよび構築を開始し、Google Kubernetes Engine (GKE) 上で実行できるようになります。Gemma のリリースとプラットフォーム機能のアップデートは、Google Cloud を活用する開発者にとって AI をよりオープンで利用しやすくす
The recent breakthrough successes in machine learning are mainly attributed to scale: namely large-scale attention-based architectures and datasets of unprecedented scale. This paper investigates the impact of training at scale for chess. Unlike traditional chess engines that rely on complex heuristics, explicit search, or a combination of both, we train a 270M parameter transformer model with sup
AIエンジニアを目指す方、機械学習やディープラーニングを学びたい方におすすめの本・書籍を紹介します。 機械学習やディープラーニングのおすすめ本を紹介するにあたって、私が勤務するITメガベンチャーで実際に機械学習・ディープラーニングなどのAI（人工知能）を業務でゴリゴリ活用しているサイエンティストやAIエンジニアにもヒアリングしてきました。初心者・未経験者の方はもちろん、実務で活用したいという人も読んでいただけると幸いです。 本記事の構成としては、①プログラミングもあまり経験が無い本当の初心者向け ②プログラミング経験はあるけど機械学習やディープラーニングをこれから学びたい人向け ③機械学習・AIの基礎知識はあり実践的なスキルを学びたい人向け ④その他AIの読み物や特に専門分野などの番外編 といった4部構成です。 単純に本を羅列するだけではなく、実際に本を読んだ人の感想や口コミも合わせて掲載
Frontier Model Forum
The following is a joint announcement and effort with Anthropic, Google, and Microsoft. Anthropic, Google, Microsoft, and OpenAI are launching the Frontier Model Forum, an industry body focused on ensuring safe and responsible development of frontier AI models. The Forum aims to help (i) advance AI safety research to promote responsible development of frontier models and minimize potential risks,
VectorDB
Description VectorDB is a lightweight Python package for storing and retrieving text using chunking, embedding, and vector search techniques. It provides an easy-to-use interface for saving, searching, and managing textual data with associated metadata and is designed for use cases where low latency is essential. Documentation and code VectorDB is open-source. Check VectorDB on GitHub for code and
GitHub - stas00/ml-engineering: Machine Learning Engineering Open Book
This is an open collection of methodologies, tools and step by step instructions to help with successful training of large language models and multi-modal models. This is a technical material suitable for LLM/VLM training engineers and operators. That is the content here contains lots of scripts and copy-n-paste commands to enable you to quickly address your needs. This repo is an ongoing brain du
公開論文から学ぶ Google のテクノロジー : パート 1：分散処理基盤（コンテナ技術）とデータセンター編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年に渡って構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google Cloud で提供されるマネージドサービスの多くは、これらのミドルウェアをマルチテナント化して提供しているものであり、いわば、Google Cloud を利用することで、Google 以外の企業でも「Google のサービスを支える技術」が活用できるのです。Google Cloud を活用する開発者の中には、このような Google の技術に興味を惹かれて、Google Cloud を使い始めたという方も少なくないかも知れません。
目次 目次 はじめに 簡単な経歴 資格取得のスケジュール 取得した経緯 勉強方法 全冠達成の感想 おわりに お知らせ はじめに こんにちは、クラウド事業部の上村です。 AWSに携わって5年程度かけて、今年無事AWS全冠を達成することができました。 やっとの思いで全冠達成ができたので記事にすることにしました。 2024 Japan AWS All Certifications Engineers の応募クライテリアの条件を満たしたものになります。 簡単な経歴 クラウドエンジニアとして、AWSを5年程度経験 AWS環境をメインに、24/365 保守・運用や環境構築などに携わっていました 資格取得のスケジュール 短期間で取得しているものもあれば、期間が空いて取っているものもありますね。 基本的には実務で関連するものを優先して取得するようにしていました。(後半は未経験のものばかりですね…) 合格日
※この投稿は米国時間 2023 年 7 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 生成 AI の開発は猛烈な勢いで続いており、この破壊的技術を活かせるようなエンタープライズ向け機能を利用できるかどうかがかつてなく重要となっています。 Google の数十年に及ぶ調査とイノベーション、そして AI への投資を活用することで、Google Cloud は常に、セキュリティとデータ ガバナンス、そして全体的なスケーラビリティが用意されている状態で生成 AI を利用できるようにしています。 この目的のため、先月 Google は Vertex AI での生成 AI サポートの一般提供を発表しました。これにより Google Research から優れた基盤モデルにアクセス可能となり、これらのモデルをカスタマイズして利用するためのツールも利用できるようになりま
Amazon Announces ‘AI Ready,’ a New Initiative Designed to Provide Free AI Skills Training to 2 Million People by 2025
Amazon Announces ‘AI Ready,’ a New Initiative Designed to Provide Free AI Skills Training to 2 Million People by 2025 New AWS study finds strong demand for AI talent and the potential for workers with AI skills to earn up to 47% more in salaries AWS releases 8 new, free AI and generative AI courses to support professionals looking to upskill Amazon launches AWS Generative AI Scholarship and collab
AWS Graviton4 is the most powerful and energy-efficient AWS processor to date for a broad range of cloud workloads AWS Trainium2 will power the highest performance compute on AWS for training foundation models faster and at a lower cost, while using less energy Anthropic, Databricks, Datadog, Epic, Honeycomb, and SAP among customers using new AWS-designed chips LAS VEGAS--(BUSINESS WIRE)-- At AWS
Cards
The Grayskull™ DevKit offers a range of capabilities, tailored to suit the needs of ML developers seeking alternatives to traditional GPUs. Our hardware supports a wide array of models, ensuring versatility in your AI projects. TT-Buda: run models right away Great for production customers who want to get models up and running with ease. They want flexibility, but don’t have time to program new ope
今年もMicrosoft IgniteとBook of Newsにようこそ。インフラ、Microsoft Copilot、データとAIの関係、開発者向けの新しいツール、セキュリティなど、幅広いトピックで100以上の発表が行われる盛りだくさんの内容となっています。 今年のMicrosoft Igniteは、IT開発者とビジネス意思決定者のためのフラッグシップイベントで、シアトルでの直接参加者は4,500人、デジタル参加者は175,000人以上を見込んでいます。このイベントでは、本日発表された新製品やアップデートについて学び、シニアリーダーや専門家から今後の展望について話を聞くことができます。 ブック・オブ・ニュース」は、私たちのすべての発表へのガイドとなるようデザインされており、最新情報を簡単にナビゲートし、最も関心のあるトピックに関する重要な詳細を提供します。画期的な新製品や、仕事や生活を
Since ChatGPT dropped in the fall of 2022, everyone and their donkey has tried their hand at prompt engineering—finding a clever way to phrase your query to a large language model (LLM) or AI art or video generator to get the best results or sidestep protections. The Internet is replete with prompt-engineering guides, cheat sheets, and advice threads to help you get the most out of an LLM. In the
University of the Peopleを卒業してコンピュータサイエンスの学士号を取りました(仮) - Journal
先日AY2024-Term3を終えて卒業要件単位数を満たすことができました。今はまだ卒業申請中なので「仮」としている。ディプロマを手にするまでは実感が湧かなそうだけれど日に日に記憶が薄れていくので振り返りを。 清々しい気分で見物した今年の牡丹 目次 CS 2204 Communications and Networking CS 2301 Operating Systems 1 CS 3307 Operating Systems 2 CS 4402 Comparative Programming Languages CS 4407 Data Mining and Machine Learning さいごに CS 2204 Communications and Networking OSI参照モデル、TCP/IPモデルの各レイヤーの役割とそこに使われているプロトコルやアルゴリズムを一通り学ん
© 2023 Mizuho Bank, Ltd. All Rights Reserved. みずほフィナンシャルグループ リサーチ＆コンサルティングユニット みずほ銀行 産業調査部 生成AIの動向と産業影響 【総合編】 ～生成AIは産業をどのように変えるか～ （2023年12月） アンケートに ご協力をお願いします QR *日本産業の競争力強化や社会課題の解決に寄与しうる技術・イノベーション領域をとり上げるレポート バーコード未取得 みずほ産業調査74号 革新的技術シリーズ* 1 総合編目次 はじめに P2 1. 生成AIの概要と社会動向 P6 （1） 生成AIの概要～生成AIとは何か？ P6 （2） 生成AIをめぐる社会・市場動向 P13 （3） 主要国・地域の生成AI関連動向 P24 2. 生成AIが産業に及ぼす影響 P32 （1） 仕事の在り方の変化とビジネスへの影響 P32 （2）
Maps JavaScript API のユーザー補助機能に関する 2023 年の最新情報
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
MLOps roadmap 2024
The MLOps engineer role is different from an ML engineer role. Even though the role varies from company to company, in general, ML engineers focus more on bringing individual projects to production, while MLOps engineers work more on building a platform that is used by machine learning engineers and data scientists. To build such platforms, lots of different skills are required. Here is a roadmap
As Elixir's Machine Learning (ML) ecosystem grows, many Elixir enthusiasts who wish to adopt the new machine learning libraries in their projects are stuck at a crossroads of wanting to move away from their existing ML stack (typically Python) while not having a clear path of how to do so. I would like to take some time to talk to WHY I believe now is a good time to start porting over Machine Lear
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Brief Overview of Caching and Cache Invalidation
ChatGPTとPythonで学ぶ k近傍法 - Qiita
The state of AI in 2023: Generative AI’s breakout year
Step-by-step MLOps v1.2
Octoverse: The state of open source and rise of AI in 2023
Googleがオープンかつ商用利用可能で軽量な大規模言語モデル「Gemma」を公開
Amazon Bedrockの規約周りの情報を読んでみる | DevelopersIO
Microsoft Copilot for Security | Microsoft Security
Gemma が Google Cloud で利用可能に | Google Cloud 公式ブログ
Grandmaster-Level Chess Without Search
機械学習・ディープラーニングのおすすめ本11冊+α！(初心者〜中級者向け)
AWS認定資格12冠達成できました。 - APC 技術ブログ
Google Cloud、エンタープライズ向け生成 AI の利用を拡大 | Google Cloud 公式ブログ
AWS Unveils Next Generation AWS-Designed Chips
マイクロソフト Ignite 2023 ニュースブック
AI Prompt Engineering Is Dead
生成AIの動向と産業影響【総合編】～生成AIは産業をどのように変えるか～（2023年12月）
From Python to Elixir Machine Learning