Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の
［速報］「Gemini for Google Cloud」発表。Google Cloudでの開発から運用、セキュリティなど利用シーン全体をAIが支援。Google Cloud Next '24
［速報］「Gemini for Google Cloud」発表。Google Cloudでの開発から運用、セキュリティなど利用シーン全体をAIが支援。Google Cloud Next '24 Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、最新のAIによるGoogle Cloudを用いたアプリケーションの開発から運用、セキュリティなどライフサイクル全体をAIが支援する「Gemini for Google Cloud」を発表しました。 「Gemini for Google Cloud」は、同社の最新AIモデルである「Gemini」を用いた複数のサービスの統合的なブランドです。コーディング支援のGemini Code AssistもGemini for Google Cloudの傘下と位置づけられています。 それぞれの機
こんにちは、SREの戸田です。本日は社内で開催したJVM勉強会（運用編）の一部を公開します。 JVM、使っていますか？弊社ではサーバサイドKotlinが活躍しているので、もちろん日常的にJVMが稼働しています。このためサービス運用の一貫で必要になる知識や関連ツールなどをSREないしプロダクトチームに共有することを目的として、この勉強会を開催しました。 図1 勉強会はGoogle Meetでオンライン開催しました パフォーマンス・チューニング サービスを開発していると、この処理をもっと高速化したい！ランニングコストを抑えてユーザ体験の向上に投資したい！というというシーンには多く遭遇しますよね。こうしたユーザが増えてサービスに負荷がかかるようになったことで生じた課題に対して迅速に打ち手が取れることは、とても重要です。 しかし焦ってはいけません。「このコードはめっちゃループしてるし遅そう！」「あ
登壇者の自己紹介とアジェンダの紹介 sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、（スライドを示して）こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ
Google Cloudに移行したSmartHRがその後、どういう形でサービスを活用しているかご紹介します
Google Cloud で生成 AI アプリケーションを作ろう！パート 0：Google Cloud の生成 AI ソリューション
本シリーズの執筆者 Google Cloud で生成 AI アプリケーションを作ろう！ シリーズの記事は、Google Cloud Japan の下記の有志メンバーが共同で執筆しています。 執筆者 下田倫大（Norihiro Shimoda, Google Cloud AI/ML Practice Lead） 中井悦司（Etsuji Nakai, Google Cloud Solutions Architect） 木村拓仁（Takuto Kimura, Google Cloud Customer Engineer） RyuSA レビュアー 牧 允皓（Yoshihiro Maki, Google Cloud AI/ML Specialist） 鈴木かの子（Kanoko Suzuki, Google Cloud Associate Customer Engineer） 吉田望（Nozomu Y
Vertex AIとBigQueryでつくる、簡単ベクトル検索&テキスト分析システム | DevelopersIO
Vertex AIパイプラインを使うことで、BigQueryおよびBigQueryから参照できるデータを対象にしつつも、Google Cloud Pipeline ComponentsやVertex AIメタデータなどVertex AIの機能の恩恵もできるだけ受けることができます。 データアナリティクス事業本部 機械学習チームの鈴木です。 BigQueryでは、Vertex AIと連携して格納したデータを生成AIで処理することが可能です。 例えばテーブルに格納済みのテキストをもとに埋め込みベクトルや別のテキストを生成することができます。 特に埋め込みベクトルがあれば興味があるテキストに類似したテキストをBigQuery内で検索し、類似レコードの特徴から関心のあるテキストを分析することもできます。また、RAGに使用することもできます。 今回はBigQueryとVertex AIを使って、テー
「Google Colab」でLINEの「japanese-large-lm」を試したので、まとめました。 1. japanese-large-lm「japanese-large-lm」は、「LINE」が開発した36億パラメータの日本語LLMです。 2. japanese-large-lmのモデル「japanese-large-lm」では、次の3種類のモデルが提供されています。 ・line-corporation/japanese-large-lm-3.6b : ベースモデル ・line-corporation/japanese-large-lm-3.6b-instruction-sft : 指示モデル ・line-corporation/japanese-large-lm-1.7b : ベースモデル 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabの
AWS 上で Google Cloud ワークロード向けのディザスタリカバリサイト構築 (Part 1) | Amazon Web Services
Amazon Web Services ブログ AWS 上で Google Cloud ワークロード向けのディザスタリカバリサイト構築 (Part 1) ディザスタリカバリ (DR) 戦略を有することはビジネスの継続性やお客様のワークロードのレジリエンスの面において重要な要素です。レジリエンスとは、お客様のアプリケーションとそれを支えるインフラストラクチャが一貫して意図された通りに正しく実行し続ける事を意味します。 プライマリワークロードをクラウドで稼働させているお客様が DR のために別のクラウドプロバイダーを使用する場合があります。その理由としては、コンプライアンスや規制要件、あるいはお客様の組織でマルチクラウド戦略の採用を義務付けているためかもしれません。 この2部構成のブログシリーズでは、1例としてGoogle Cloud Platform (GCP) でホストされているサンプルア
Vertex AIを活用したMLOps基盤の作成 | CyberAgent Developers Blog
みなさんどうもこんにちは、AI事業本部の「極予測TD」というプロダクトで2023年2月から2ヶ月間、機械学習エンジニアとしてインターンシップ「CA Tech JOB」に参加させていただいた、高橋駿一と申します。本記事では、インターンシップで行った、MLOps基盤の開発についてご紹介します。 極予測TDとは 極予測TDとは、レスポンシブ検索広告（RSA）を自動生成する「広告テキスト自動生成AI」と、広告配信効果を事前に予測する「効果予測AI」を掛け合わせることで、効果的なRSAを制作するプロダクトです。 本インターンシップでは、効果予測AIのMLOpsに取り組みました。 背景 チームに参加した際、以下のような状況にありました。 複数の予測モデルが運用されているうち、一部、MLパイプラインが未実装のものがあった 上記モデルはリリース当初からモデルが更新されていなかったが、時間が経過したことでデ
Google Cloud mitigated largest DDoS attack, peaking above 398 million rps | Google Cloud Blog
Over the last few years, Google's DDoS Response Team has observed the trend that distributed denial-of-service (DDoS) attacks are increasing exponentially in size. Last year, we blocked the largest DDoS attack recorded at the time. This August, we stopped an even larger DDoS attack — 7½ times larger — that also used new techniques to try to disrupt websites and Internet services. This new series o
はじめに こんにちは！！@Sicut_studyです！ クラウド破産しかけました！ギリギリ払えるくらいやばかったです！！ 普段サービスを Firbese でデプロイしているのですが、この度自分でサービスをリリースした時に破産しそうになった話を共有していきます。 自分が使うためのサービスとみんなに利用してもらうためのサービスではこの点が大きく違うんだなとしみじみ感じたので、自分以外が使うサービスをリリースする方には参考になるかと思います 0. アラートは突然に とあるメールが自分のもとに届きました !?!??!??!??!?!!!?? やばいまだ11月始まって6日なのに予算の半分を使ってしまっただと！？！ とくにリリースなどは行っていなかったのでなぜか今月になって請求額があがるようになっていました 仕事中にメールが来たのですが、気になりすぎてまったく集中できませんでした😅😅😅😅 1.
はじめに こんにちは、Google Cloud Partner Top Engineer 2024 を受賞いたしました、クラウドエース データソリューション部の松本です。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する方法についてご紹介します。 この記事はこんな人にオススメ BigQuery の SQL のみで LLM を使った問合せシステムを構築したい BigQue
はじめに 本記事では実践的な Cloud Run のデプロイパイプライン実装を通して Cloud Deploy の理解を試みます。Cloud Deploy は元々 Kubernetes 用のプロダクトとしてリリースされたこともあり、Cloud Run に限って利用するには学習コストが高すぎるところもあります。本記事では Cloud Run のデプロイの本番環境構築・運用に必要な部分のみをピックアップして次のようなことを説明します。 Cloud Deploy の仕組み Cloud Deploy を使ったデプロイパイプラインの設計・実装方法 Service Account、IAM 設計 おすすめの Infra as Code の方法 おすすめの skaffold.yaml の書き方 Automation、デプロイフック、カナリアデプロイなどの高度なパイプライン、監視などは上記のような基本をおさ
RAGs powered by Google Search technology, Part 1 | Google Cloud Blog
When a large language model (LLM) doesn’t have enough information or has no contextual knowledge of a topic, it is more likely to hallucinate and provide inaccurate or false responses. Developers are increasingly excited about generative AI and Retrieval Augmented Generation (RAG) — an architecture pattern that combines LLMs with backend information retrieval from other information sources. This a
はじめに この記事は、Google Cloud Champion Innovators Advent Calendar 2023 18日目の記事です。 機械学習エンジニアをしています、原です。Google Cloud Champion Innovators(AI/ML)として選出いただき、活動しています。Google Cloud Innovatorsは、Google Cloud開発者/技術者のためのメンバーシッププログラムです。誰でも参加可能ですので、Google Cloudユーザーの方はぜひ参加をおすすめします！ 先日、下記のような記事を公開し、Vertex AIにおけるGemini APIの概要と簡易的な実装例を紹介しました。 今回は少し実践寄りで、Vertex AIでのGemini APIとLangChainを組み合わせて、MultimodalなRAGを構築する一例を紹介します。実現
Google Cloud のログ管理サービスである Cloud Logging は JSON で出力されたログを構造化ログとして認識します。その際に特別な JSON フィールドを使うとログに特別な属性を与える事ができます。本記事ではそれらの特別な JSON フィールドを用途ごとにまとめて紹介します。 本記事の技術的な内容はほぼすべてこのドキュメント 1 ページに書いてありますが、「実際に UI でどう表示されるのか」と「その特別な JSON フィールドにどんな価値があるのか」はドキュメントにないので参考にしていただけると思います。 Cloud Logging へのログ書き込み Cloud Logging へログを書き込むには大きく 2 つの方法があります。API で LogEntry を直接書き込むか、それ以外かです。 API で直接書き込む方法の場合、メジャーな言語であれば各言語のライブ
デジタル庁: 官公庁のガバメントクラウド利用申請システムを Cloud Run、Firestore でフル サーバーレスに実現 | Google Cloud 公式ブログ
デジタル庁: 官公庁のガバメントクラウド利用申請システムを Cloud Run、Firestore でフル サーバーレスに実現 「デジタル社会の形成に関する内閣の事務を内閣官房と共に助け」、その「行政事務の迅速かつ重点的な遂行を図る」（デジタル庁設置法より）ことを任務として 2021 年 9 月に設立されたデジタル庁。行政のデジタル変革を推進する役割のほか、国の情報システムの一部を預かり、利便性を高めた形で国民に提供するという役割も担っています。そんなデジタル庁で 2022 年 12 月からスタートした Google Cloud を用いたガバメントクラウド利用申請システムのプロジェクトについて、同庁クラウドユニットの皆さんに伺いました。 利用しているサービス: Cloud Identity, Cloud Run, Firestore, Cloud Logging, Cloud Monito
Google Cloud、GPUに頼ることなくローカルのCPUとメモリ上でLLMの活用を可能にする「localllm」を公開
localllmは、コマンドラインユーティリティ経由でHuggingFaceから量子化モデルにアクセス可能なツールとライブラリのセットで、Google Cloud Workstation内にてCPUとメモリ上でLLMをローカル実行するための、包括的なフレームワークとツールを提供する。localllmの利用によって、GPUへの依存が排除されアプリケーション開発のニーズに合わせてLLMの可能性を最大限に引き出せる。 localllmでは、CPUとメモリ上でLLMを実行できるので、希少なGPUリソースが不要になり、パフォーマンスや生産性を損なうことなくLLMをアプリケーション開発ワークフローに統合することが可能になる。また、Google Cloudエコシステム内でLLMを直接使用できるため開発プロセスが合理化され、リモートサーバのセットアップや外部サービスへの依存にともなう煩雑さが軽減される。
※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud は、コンテナ化されたワークロードを実行するための最適な場所になるという使命を担ってきました。それは 2014 年に始まり、Google の内部クラスタ管理システムである Borg を元に、Google は Kubernetes を発明し、世界初のマネージド Kubernetes サービスである Google Kubernetes Engine（GKE）を導入しました。GKE は、現在利用できる最もスケーラブルな、業界をリードする Kubernetes サービスです1。2019 年には、当社はコンテナとサーバーレスの利点を組み合わせた初のサーバーレス プラットフォームである Cloud Run をリリースしました。現在 Cloud Run は、ク
Cloud Run に ko と skaffold を使ってデプロイまでやってみる | フューチャー技術ブログ
はじめにこんにちは！ TIG コアテクチームの川口です。本記事は、CNCF連載 の5回目の記事になります。 本記事では、CNCF の Knative を基盤として利用している Cloud Run と CNCF の各種ビルドツール ko, skaffold、Cloud Deploy を用いたうえで、アプリケーションのビルドからデプロイまでを行います。 扱う技術要素今回は、合計5つの技術要素を扱います。 全体感を掴むため、それぞれの技術とそれらの関連について図示します。 Cloud Run （Knative）Cloud Run は、Google Cloud におけるコンテナベースのサーバーレスコンピューティングサービスとしてよく知られているものかと思います。こちらは、基盤として Knative を採用しています。 この Knative は 2022年の3月に CNCF の Incupating
PostgreSQL を使用して生成 AI アプリケーションを構築するための AlloyDB AI を発表 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 生成 AI は数え切れないほどの方法で私たちの想像力を捉えてきました。それは、人間のような反応をする chatbot だけでなく、まったく新しいユーザー エクスペリエンスを引き出してくれます。さらに、追加の専門的なスキルを必要とする従来の AI ワークロードとは異なり、これらの新しい生成 AI ワークロードは、デベロッパー コミュニティのより多くの開発者が利用できます。アプリケーション デベロッパーが生成 AI アプリケーションの構築に本格的に取り組む際、イノベーションの鍵はモデルそのものだけでなく、その使用方法やモデルの基盤にあるデータにもあります。 このたび、Google は、Google Cloud Next において、運用データを使用したパフォーマンスとスケーラ
G-genの田中です。当記事では、Cloud Storage を利用する中で、意図していない高額の請求が発生してしまった事例について解説していきます。 はじめに 背景 Cloud Storage とは Cloud Storage の料金 Storage Transfer Service とは 事件のあらまし 背景 落とし穴 莫大な課金の発生 後日譚 はじめに 背景 今回、G-gen でサポートさせて頂いているお客様が Storage Transfer Service を利用して Cloud Storage へデータ移行を行ったところ、3日間で数十万円の課金が発生してしまったという事件があり、注意喚起のために記事化させて頂くことになりました。 本記事は、お客様名の許諾を得た上で、実際に起きた内容を少し改変して記事化しました。お客様の社内事情のため数値等を事実とは違うものにして記載していますが
BigQuery Studio を発表 - データから AI へのワークフローを加速するコラボレーション指向の分析ワークスペース | Google Cloud 公式ブログ
BigQuery Studio を発表 - データから AI へのワークフローを加速するコラボレーション指向の分析ワークスペース ※この投稿は米国時間 2023 年 8 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。 最近の調査によると、データと AI を効果的に活用している組織は、競合他社よりも収益性が高く、さまざまなビジネス指標においてパフォーマンスが向上していることが報告されています。過去 2 年間にデータと分析への投資を増やした組織は 81% にも上ります。しかし、多くの組織が依然としてデータのビジネス価値を最大限に引き出すことに苦慮しており、40% 以上の組織が、分析ツールやデータソースが異なることや、データ品質が低いことを最大の課題として挙げています。 統合された、インテリジェントでオープンな Google Cloud は、セキュアなデータおよ
事例から学ぶクラウドへのOpenTelemetry導入のハマりどころ - ヘンリー - 株式会社ヘンリー エンジニアブログ
ヘンリーでSRE / SDETをしているsumirenです。 この記事は株式会社ヘンリーAdvent Calendar 2023の9日目の記事です。昨日は id:nabeop の カジュアルな社内勉強会 : ギベンの紹介 という記事でした。 背景 ヘンリーでは分散トレーシングにOpenTelemetryを用いています。元々、ログはCloud Runの標準出力をCloud Loggingが拾ってくれるものを見ており、メトリクスもCloud Runがマネージドで取得してくれるものを見ていました。しかし、オブザーバビリティを高め、また民主化するためには、トレースを起点にメトリクスやログなど全てのシグナルを追えるべきだと考え、OpenTelemetryを導入しました。 ローカルでいくつかのマイクロサービスとOpenTelemetry Collectorを立ち上げ、Jaegerで分散トレースを追える
米GoogleのクラウドサービスGoogle Cloudは1月25日（現地時間）、オープンソースのAI開発プラットフォームを手掛ける米Hugging Faceと「生成AIおよびML開発を加速する戦略的パートナーシップ」を結んだと発表した。開発者はGoogle Cloud上でオープンモデルを迅速かつコスト効率よくトレーニング、調整、提供できるようになるとしている。 Hugging Faceを利用する開発者は、プラットフォームから数回クリックするだけでGoogle CloudのVertex AIを使ってモデルをトレーニングできるようになり、モデルのトレーニングと微調整を支援するGoogle Kubernetes Engine（GKE）も使えるようになる（2024年前半）。 Google Cloudでは、米NVIDIAのH100 TensorコアGPU搭載のA3 VMのサポートが追加される見込み
Googleの最新AIモデルGeminiとStack Overflowのナレッジが統合、Google CloudとStack Overflowが戦略的提携
Google CloudとStack Overflowは戦略提携を発表しました。両社は最新AIモデルのGeminiとStack Overflowのナレッジを統合したサービスをそれぞれのプラットフォームで提供する予定です。 StackOverflowは生成AIによる新サービスを提供 Stack OverflowはITエンジニアのQ&Aコミュニティの代表的な存在であり、プログラミングやITシステムの構築に関わる大量のナレッジが15年にわたり蓄積されてきました。昨年（2023年）時点で5800万件の質問と回答があるとされています。 一方で、ChatGPTのような高度な生成AIの登場によって、これまでQ&Aコミュニティで質問されてきた多くの内容が生成AIに質問されるようになったことで、Stack OverflowのようなQ＆Aコミュニティの必要性が薄れてきていると見られています。 Stack Ov
DevFest Tokyo 2023: Google Cloudでチームで安全にデプロイをする
DevFest Tokyo 2023: Google Cloudでチームで安全にデプロイをする https://gdg-tokyo.connpass.com/event/301690/ サンプル https://github.com/sakajunquality/devfest-2023
あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog
こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存されたデータをGCPのBigQueryにニアリアルタイムで同期するシステムや、BigQueryに保存されている大容量のデータを低レイテンシなAPIとして提供するシステムなど、モノタロウのビジネスを裏側で支えるシステムの管理を行っています。それらのシステムは全てのコンポーネントをコンテナ化しており、その実行環境としてGKEを採用しています。 また、それとは別に社内でGKE共通環境と呼んでいる、マルチテナント方式のクラスタによるアプリケーション実行基盤を
こんにちは！SRE 部門所属の小林由暁です！ 先日 Google Cloud 資格を転職一年以内にコンプリートすることを達成しました。 私自身、転職前は Google Cloud を含めたパブリッククラウドに関する業務が未経験だったため、今回の記事は、Google Cloud 未経験で資格取得に興味がある方やモチベーションを高めたい方に役立つ勉強方法や試験概要について幅広くお届けします。 皆さんの資格取得のモチベーション向上に繋がれば幸いです。 はじめに クラウドエース入社前は、別の会社に2020年にインフラエンジニアとして新卒入社し、3年間ほど在籍していました。 主な業務としては、アカウント管理システムの設計、構築業務を担当しており、その間にサーバの基礎やネットワークの基礎等を経験することが出来ました。 クラウドエース入社後には、以下の理由で資格取得を通じて自己研鑽することを決めていまし
Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
現地参加してきたGoogle Cloud Next '23で発表されたBigQuery data clean roomsを紹介します！ - TVer Tech Blog
こんにちは。データエンジニア 遠藤（TVerにJOINしてまだ3ヶ月）とアドテクエンジニア 鶴貝です。 2023年8月29日～31日にGoogle Cloudの技術カンファレンスGoogle Cloud Next '23がサンフランシスコで開催されました。（4年ぶりのオフライン開催） 弊社では、民放公式テレビ配信サービスTVer・TVer広告のデータ分析で用いるビッグデータ基盤にGCPを採用しています。そこで、先述したエンジニア2名がGoogle Cloud Next '23に現地参加させて頂きました。 Next '23ではGCPの新機能リリースや世界中での活用事例が多く紹介されました。本記事では、Next '23で発表された話題のうち、BigQuery data clean roomsを重点的に報告します。 さらに、サンフランシスコまではるばる出向きましたので、撮って出し写真と共にGoo
［速報］Google Cloudの開発や問題解決をAIが支援してくれる「Duet AI in Google Cloud」がVSCodeなどで利用可能に。Google Cloud Next '23
［速報］Google Cloudの開発や問題解決をAIが支援してくれる「Duet AI in Google Cloud」がVSCodeなどで利用可能に。Google Cloud Next '23 Googleは、8月29日（日本時間の30日未明）から米サンフランシスコで開催中のイベント「Google Cloud Next '23」で、Google Cloudでのシステム開発や問題解決に関してAIが支援してくれる「Duet AI in Google Cloud」がVSCodeなどさまざまなIDEに対応し、プレビュー版として提供されることを発表しました。 AIをGoogle Cloudに特化してトレーニング Duet AI in Google Cloudは、今年（2023年）5月に開催されたイベント「Google I/O 2023」で発表され、限定プレビューとなっていました（発表時の名称はDu
Google Cloud での Go アプリケーションの作成をシンプルに | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 Go はクラウドベースの開発のために世界的に採用されている主要なプログラミング言語です。クラウド アプリケーションやビジネス クリティカルなクラウド インフラストラクチャを構築、スケーリングする目的で何百万人もの開発者に利用されています。CLI、ウェブ アプリケーション、クラウド サービス、ネットワーク サービスなど、どのようなものを構築するにしても、Go は習得するのも保守も容易で、組み込みの同時実行性や堅牢な標準ライブラリをはじめとする便利な機能が満載です。 このたび、Go を Google Cloud で使い始める際のハードルを少し下げることが可能になります。Go は最近、事前定義されたテンプレートを使用して新しいプロジェクトを Go でインスタンス化できる、gon
【アップデート情報】 BigQueryで主キーと外部キーが正式にサポートされるようになりました | DevelopersIO
Google Cloudのデータエンジニアをしています、はんざわです。 先日のアップデートで主キーと外部キー正式にGAになりました。 BigQuery release notes とはいえ、大多数の人が想像するRDBの主キーや外部キーと挙動が違ったりする部分もあるので実際の検証も含めながら触っていきたいと思います。 できないこととできること できないこと 主キーと外部キーの制約は強制しない、つまりデフォルトでは重複もNULLも許容される。 （ユーザー側で制約に一致することを確認する必要がある）。 できること 結合のパフォーマンス大幅改善 さっそくテーブルを作ってみましょう。 主キーと外部キーの登録方法 例として、以下のようなテーブルで考えてみます。 color_table id color
Professional Machine Learning Engineer試験対策マニュアル - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習の対策 正則化 早期停止 トレーニングの改善 ハイパーパラメータの調整 トレーニング時間の改善 交差検証 モデルのモニタリングと改善 スキューとドリフト モデルの軽量化手法 Google Cloud
Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能＆人名クイズにも正答できる無料の高性能チャットAI「LLa
G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Direct VPC Egress 機能について解説します。 前提知識 Cloud Run とは サーバーレス VPC アクセスコネクタとは 概要 Direct VPC Egress とは 使用方法 サーバーレス VPC アクセスコネクタと Direct VPC Egress の比較 コスト パフォーマンス 構成図 比較表 ユースケース 制限事項 スケーリングの上限 サポートされているリージョン サブネットに十分な IP アドレスが必要 その他の制限事項 ロギング・モニタリングに関する制限事項 セキュリティに関する制限事項 Cloud Run jobs の実行時間に関する制限事項 Cloud Run 前提知識 Cloud Run とは Cloud
Magic Moment の @aqlwah です。 私たちが開発している Magic Moment Playbook では、インフラにGoogle Cloudを活用しています。 このたびGoogle Cloud Japan様よりご招待をいただき、特別トレーニングプログラム「Google Cloud Innovators Gym Japan」に参加してきましたので、そのレポートをお届けしたいと思います。 Google Cloud Innovators Gym Japan とは 「Google Cloud Innovators Gym Japan」（以下、G.I.G.）とは、Google Cloudが主催しているGoogle Cloud利用者向け技術スキル習得プログラムです。 3回のオンラインセッションと無料のCoursera講座を用いて学習を進め、Google Cloud認定資格の取得（な
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JVM勉強会（運用編）を開催しました - 株式会社ヘンリー エンジニアブログ
ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
Google Cloudへ大半を移行した SmartHRにおける活用事例紹介
Google Colab で LINE の japanese-large-lm を試す｜npaka
Next.jsをFirebaseにデプロイしたら高額請求がきて貯金がなくなりかけた話 - Qiita
BigQuery で Vertex AI の LLM を使用して SQL のみで RAG を構築する
Cloud Run のための実践 Cloud Deploy
Vertex AI Gemini ProとLangChainで実現するMultimodal RAG
Cloud Logging 構造化ログの特別な JSON フィールドまとめ
コンテナ プラットフォームの新たな進化について | Google Cloud 公式ブログ
MicrosoftやAmazonに続き、Googleも生成AI向け独自CPU投入
Cloud Storageへのデータ転送で課金爆死してしまった件 - G-gen Tech Blog
Google CloudとHugging Faceが提携 AI開発者にH100などのパワーを提供へ
Google Cloud 認定資格コンプリート！約1年間のロードマップと勉強方法を共有します！
画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
Cloud RunのDirect VPC Egressを解説 - G-gen Tech Blog
Google Cloud Innovators Gym Japanに参加してきました