Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
[書評] クラウド時代の負荷試験の基本が学べる一冊 – 「Amazon Web Services負荷試験入門」 | DevelopersIO
AWSなどクラウド上のシステム負荷試験について解説した書籍「Amazon Web Services負荷試験入門」のレビュー記事です。負荷試験の基本知識、ツール、PDCAサイクルを使った具体的な進め方が詳細に解説されています。 こんにちは、ゲームソリューション部の入井です。 今回は、AWS等のクラウド上に構築したシステムへの負荷試験について、具体的な手順や試験中に発生しがちな課題とその解決方法等について解説した書籍「Amazon Web Services負荷試験入門」を読んだ感想を書いていきます。 感想 Chapter 1 間違いだらけの負荷試験とWebシステムの失敗事例 タイトルの通り、負荷試験の進め方のよくあるアンチパターンが架空の事例を使って紹介されています。 打ち合わせ、試験準備、試験実施、試験レポートといった段階毎に登場人物同士の対話形式で進んでいくのですが、「お客様の意向で今回は
![[書評] クラウド時代の負荷試験の基本が学べる一冊 – 「Amazon Web Services負荷試験入門」 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b5997c5ab7fbf7036f0ffc815c02cb36935bfa1b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F05%2F9784774192628.jpg)
Google I/O で、昨年の I/O での発表以降、ベースラインがどのように進化しているかについてニュースを共有しました。ウェブ プラットフォーム ダッシュボード、RUM Archive との統合、RUMvision との今後の統合についても発表しました。この投稿では、講演で取り上げたすべてのリソースを 1 か所にまとめます。 ウェブ プラットフォーム ダッシュボードは、ウェブ プラットフォーム全体と個々の機能の相互運用性の過程を確認するための新しい方法です。これにより、ベースラインに含まれるようになります。詳細については、ウェブ プラットフォーム ダッシュボードの発表をご覧ください。 Baseline を日常的に使用するツールと統合することは、このプロジェクトのビジョンの一つでした。Google は、ユーザーがブラウザの互換性への対応について、あまり時間をかけて考える必要がないように
こんにちは、LINEヤフー株式会社でデータベース部門に所属している、今野です。現在は、先日LINEヤフー社内にて提供を開始したFractalDBの開発と運用を担当するチームに所属しています。 FractalDBは、LINEヤフーのオンプレミス環境に向け開発された、データベースプラットフォームです。この記事では、FractalDBの概要として、開発に至った背景や設計目標から、その特徴およびアーキテクチャの概要について紹介します。 また、LINEヤフーでは今夏のインターンシップを募集しています。FractalDBチームも募集してますので、ページの最後の紹介をぜひ確認してみてください。 FractalDBとは FractalDBは、LINEヤフーのオンプレミス環境に最適化されたデータベースプラットフォームとして開発されています。リレーショナルデータベースとNoSQLデータベースの利点を融合させた
メッセージ受信時に「アッオー！」という甲高い声で通知することで知られる往年のインスタントメッセンジャー「ICQ」が2024年6月26日をもって終了すると、運営会社のVKが発表しました。ピーク時には900万人のユーザーを擁し、デイリーアクティブユーザー数は250万人という人気ツールでしたが、28年の歴史に幕を下ろすこととなります。 ICQ https://icq.com/desktop/en 90s instant messaging service shuts down after 28 years — ICQ will stop working from June 26 | Tom's Hardware https://www.tomshardware.com/software/applications/90s-instant-messaging-service-shuts-down-a
Ubuntu 24.10 “Oracular Oriole” Ubuntu 24.04 LTSがリリースされ、次の開発サイクルが起動されつつあります。Ubuntuはリポジトリ名や開発上のタグなどにコードネームを多用する関係から、コードネームが確定しないと開発を本格的に開始できないという制約があり、開発の最初に「コードネームの確定」というステップを踏むことになります。 ……ということで、24.10の開発コードネームが正式にアナウンスされました。Ubuntu 24.10は「N」の次のアルファベットである「O」を用いた、“Oracular Oriole”、『神託のオリオール』[1]となります。リポジトリ名やタグ、あるいは短い略称としてはとしては「oracular」が用いられることになります[2]。また「たぶん金色が基調になるのだろう」[3]といった言葉遊び的な予測もできそうです。 最近の
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 佐藤卓 吉武稔夫 （ガリレオ） 2024-05-14 09:50 大規模言語モデル（LLM）のオープンソース化は、容易なことではない。Open Source Initiative（OSI）に聞いてみればいい。同団体は、人工知能（AI）に対応したオープンソースの定義に2年近く取り組んでいる。また、Meta Platformsなど一部の企業は、自社のLLMをオープンソース化したと主張しているが、実際にはそうではない。だが、IBMはついに、このオープンソース化をやってのけた。 IBMは、GitHubで一般公開されているデータセット（「GitHub Code Clean」「Starcoder」、公開コードリポジトリ、イシューなど）で事前にトレーニングされたデータを利用して、コードLLM「G
陸軍航空隊大佐の引き継ぎを行うチャールズ英国王とウィリアム皇太子。英イングランド・ミドルワロップで（2024年5月13日撮影）。(c)Kin Cheung / POOL / AFP 【5月14日 AFP】英国のウィリアム皇太子（Prince William、41）が13日、チャールズ国王（King Charles III、75）から陸軍航空隊大佐の称号を引き継ぎ、新たな役職に就任した。 チャールズ国王とウィリアム皇太子は、イングランド南部ミドルワロップ（Middle Wallop）の陸軍航空隊基地で引き継ぎを行った。公務で二人がそろうのはまれ。 同航空隊にはかつて、ヘンリー王子（Prince Harry、39）が所属していたこともあり、王子が役職に就任するとの見方が強かった。しかし、チャールズ国王は昨年、自身が30年以上担ってきた役職をウィリアム皇太子に引き継ぐと発表。これについては王室を
Amazon AppStream 2.0のユーザー認証をAmazon Cognitoで実装し、WAFでIP制限も追加してみた | DevelopersIO
Amazon AppStream 2.0のユーザー認証をAmazon Cognitoで実装し、WAFでIP制限も追加してみた はじめに Amazon AppStream 2.0でのユーザー認証は、いくつか選択肢があります。 Amazon AppStream 2.0のユーザープールを利用 SAML 2.0 によるサードパーティーの ID プロバイダーと連携 SAML 2.0 ＋ Active Directory 連携 独自 ID サービスを構築することによるカスタム ID 認証 今回は、AWSが提供するワークショップを参考に、Amazon Cognito のユーザープールを利用した Amazon AppStream 2.0 の認証構成を構築する方法を紹介します。 今回構築する構成は、以下の図に示す通りです。（ユーザー登録時のメール送信のためAmazon SESも利用されます） ワークショップ
Googleの内部ドキュメントがGitHubに公開、Apacheライセンスが恒久的に付与 ー 過去の説明との矛盾にSEO専門家たちが激怒
Googleは内部ドキュメントを誤ってGitHubに公開し、Apacheライセンスが恒久的に付与された ー そんな珍事が、SEO業界を中心としたWebの世界を大きく揺るがせている。 特に、過去の説明との矛盾がSEO専門家たちの怒りを大きく買っているようだ。 Googleは内部の技術文書をGitHubに誤って公開し、その文書には検索エンジンがウェブページをランク付けする方法の一部が詳細に記載されている。 （そのコードを元に公開されたWebサイト） この情報はSEOコミュニティにとって驚きであり、過去にGoogleが提供した情報と矛盾する部分も含まれている。 公開されたドキュメントの内容 技術文書の詳細: 公開されたドキュメントには、Googleの「ContentWarehouse」に関するAPIドキュメントが含まれている。これには2,596のモジュールと14,014の属性が記載されており、検
プラットフォーム診断について学んでみた
こんにちは、GMO NIKKO インフラエヴァンジェリスト(メンバーに命名してもらいました！)のhakumaiです。 前回の記事「弊社初！SLOモニタリングを導入してみた話」を読んでいただいた方々、ありがとうございます。 GMOアドパートナーズ TECH BLOG byGMO弊社初！SLOモニタリングを導入してみた話こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアから見たGCP(データ分析編)」を読んでいただいた方々、ありがとうございます。 最近、弊社のプロダクトにSLOモニタリングを導入し運用し始めたこともあり、今回はその導入までの道のりを個人的に思ったことも含めてお話いたします。きっかけSLI/SLO文化を導入しようと思ったきっかけは、「プロダクトをより成長させていきたい」という思いが自身としてもインフラチームとしてもあったからで
No Boot Device Found. Press any key to reboot the machine - くろねこ自由気ままな日記
こんばんは くろねこです。 先日、想定外の事態に巻き込まれてしまいました。 ずっと動いているものを止める めったに動かさないものを動かす こんなときに起こるのです。 今回はそんなお話です。 全館停電 ビンゴ！ Hyper-Vって何なのさ？ 問題のサーバは ディスクの状態は？ BCDファイルの復旧 ブート それでも Hyper-V は復旧せず おわりに 全館停電 我が家で実施した電気工事の関係で、ブレーカーを落としました。工事そのものは問題なく終了し、通電のため、ブレーカーを上げます。 電気工事のため 全館停電に 今回の工事は分電盤まわりであったため、各ブレーカーの先の通電状態を確認します。 問題が無いことを確認し、次は常時動作している我が家のネットワークやサーバの状態の確認です。 ドメインコントローラを起動、インターネットの接続も問題ないので、一応、確認終了ですが、何か嫌な予感を感じたくろ
Mobile-indexing-vLast-final-final.doc | Google Search Central Blog | Google for Developers
Send feedback Mobile-indexing-vLast-final-final.doc Stay organized with collections Save and categorize content based on your preferences. Monday, June 3, 2024 We're embarking on our final last step (that's the plan!) of our migration to a mobile-first index for Google Search: the small set of sites we've still been crawling with desktop Googlebot will be crawled with mobile Googlebot after July 5
【CloudFormation】CloudWatch Logsが有効なAuto Scaling＆マルチAZのWordPress環境を構築 - APC 技術ブログ
目次 目次 はじめに 構成図 テンプレート トラブルシューティング まとめ はじめに こんにちは。クラウド事業部の西川です。 今回はAuto Scaling＆マルチAZ構成かつCloudWatch Logsによるログ収集が有効なWordPress環境を構築できるテンプレートをご紹介します。 CloudFormationを初めて触る方は前回の記事にスタックの作成方法も記載してありますので是非ご覧ください。 ↓前回の記事はこちら techblog.ap-com.co.jp また、私が構築していた際にAuto Scalingを設定したEC2がヘルスチェック失敗→ターミネート→新規起動→ヘルスチェック失敗という無限ループに陥った事象とその原因もご紹介します。 構成図 EC2 Auto Scalingは希望する台数2、最小台数2、最大サイズ4、CPU平均使用率70%を保つ設定ののターゲット追跡スケー
Orange Tsai tweeted a few hours ago about “One of [his] PHP vulnerabilities, which affects XAMPP by default”, and we were curious to say the least. XAMPP is a very popular way for administrators and developers to rapidly deploy Apache, PHP, and a bunch of other tools, and any bug that could give us RCE in its default installation sounds pretty tantalizing. Fortunately, for defenders, the bug has o
","eos_token":"","pad_token":null,"unk_token":"","use_default_system_prompt":true}},"createdAt":"2024-05-09T07:16:24.000Z","discussionsDisabled":false,"downloads":1134,"downloadsAllTime":1134,"id":"DataPilot/ArrowPro-7B-KUJIRA","isLikedByUser":false,"isWatchedByUser":false,"inference":"Yes","lastModified":"2024-05-13T14:08:14.000Z","likes":50,"pipeline_tag":"text-generation","library_name":"transf
最近 ollama の名前をよく聞くようになったので、自分でも試してみることにしました。 結論として、とてもお手軽に CPU 環境でローカル LLM を動かすことができたので、今後は ollama も積極的に使っていきたいなと思います。 ollama とは？ ローカル LLM を動かすためのライブラリです。 LLM-jp-13B とは？ NII主催の団体 LLM-jp が開発している、日本語に特化したローカル LLM です。 日本では、まだ数の少ない、フルスクラッチで学習された日本語LLM[1]で、寛容な Apache-2.0 で提供されています。 ollama で LLM-jp-13B v2.0 を動かす ではさっそく始めていきましょう。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも
「Hadoop」の普及によって一時期“守勢”に立たされたはずの「DWH」が、「クラウドDWH」へと形を変えて再び関心を集めるようになった。背景には何があるのか。 生まれ続ける膨大なデータを蓄積し、確実かつ迅速に処理したい――。こうしたニーズに応える手段として、分散処理ソフトウェア「Apache Hadoop」は今や自然な選択肢となった。実はHadoopの普及でやや影を潜めていた技術が、あらためて脚光を浴びている。「DWH」（データウェアハウス）がそれだ。 従来型のデータ蓄積手段であるDWHは、Hadoopの盛り上がりとともに“守勢”に立たされた。それが「クラウドDWH」へと形を変え、あらためて関心を集めているという。クラウドDWH市場では、Amazon Web ServicesやMicrosoftなどの大手ベンダーに加え、Snowflakeなどの新興ベンダーも台頭しつつある。 “枯れた”技
イーロン・マスク氏率いる米AI企業xAIは5月26日（現地時間）、シリーズBラウンドで60億ドル（約9400億円）調達したと発表した。Andreessen HorowitzやSequoia Capital、アル＝ワリード・ビン・タラール王子などの投資家が支援する。 xAIは、この資金を「xAIの最初の製品を市場に投入し、高度なインフラを構築し、将来の技術の研究開発を加速するために」使うとしている。 xAIは生成AIチャットbot「grok」をXで提供している他、このAIの基本モデルの重みとアーキテクチャをオープンソースで公開している。 米NVIDIAは3月にAI向けプラットフォーム「Blackwell」を発表した際、このプラットフォームを採用する企業として、米OpenAIや米GoogleとともにxAIを紹介している。 マスク氏は公式ブログのリンクに「今後数週間でさらに発表する予定だ」と添え
脆弱性対応の課題に挑む次の手とは
企業がセキュリティ対策をすべきITシステムやサービスは多岐にわたり、対応に苦慮するところは多い。サイバー攻撃による被害を減らすために、資産の把握や脆弱性の管理は不可欠だ。人材不足で手が回らない企業もある中、どのように対応するのが良いのだろうか。 日本企業が直面するセキュリティ対策の課題 コロナ禍を経て、多くの企業がテレワークに対応した。多様な環境からITシステムやサービスを利用するようになった結果、企業が対応すべきセキュリティ対策のスコープは拡大している。企業は、エンドポイントセキュリティやゼロトラストネットワークなどでセキュリティを強化し、こうした状況に対処している。 一方、サイバー攻撃は増加し続けている。例えば、ランサムウェアにおいては“攻撃の分業化”が進んでおり、その危険性は増すばかりだ。SBテクノロジーの金澤謙悟氏（執行役員サービス統括 セキュリティ&テクノロジー本部 本部長 兼
ますます多機能となりAWSにおけるデータ分析を支えてくれているAWS Glueの2024年時点の機能について、入門におすすめのものをご紹介します。 当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の42日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマ
【初心者向け】AWS CloudFormationでWeb3層構造のWordPress環境を構築（Session Manager接続可） - APC 技術ブログ
目次 目次 はじめに 構成図 テンプレート スタック作成 動作確認 スタック削除 まとめ お知らせ はじめに こんにちは。クラウド事業部の西川です。 タイトルの通り、AWS CloudFormationでSession Managerによる接続が可能なWeb3層構造のWordPress環境を構築しようと思います。 構成図 テンプレート AWSTemplateFormatVersion: '2010-09-09' Description: Single-AZ WordPress Blog Site Parameters: DatabaseMasterName: Description: Database Master User Name Type : String Default: admin DatabaseMasterPassword: Description: Database Mas
IBM、生成AIモデル「Granite」ファミリーをオープンソース化 116のプログラミング言語に対応するモデルを公開
IBMは2024年5月7日（米国時間）、同社が開発した生成AI（人工知能）モデル「Granite」ファミリーにおいてコーディングタスクに特化した「Granite Codeモデル」と、指示学習（インストラクションチューニング）済みの「Granite Code Instructモデル」をオープンソース化したと発表した。これらのモデルはApache License 2.0でリリースされている。 IBMは、これらのモデルをオープンソースで公開した背景を、次のように述べている。 「生成AIの人気が急上昇する一方、企業での採用は遅れている。その理由の一つは、コストが高いことだ。多くのモデルは数百億のパラメーターを持っており、汎用（はんよう）的なチャットbotを構築するには有用だが、推論と実行に多くの計算リソースが必要となる。コスト以外にも、大規模言語モデル（LLM）のライセンスが不明確であることや、モ
はじめに SREグループ・ヒロチカです。GO株式会社では、サービスのクラウドインフラの設計から構築・運用までを担当しています。 今回、高トラフィックが予想されるアプリケーションに対して負荷試験を実施するにあたり、軽量に負荷をかけられるツールを試してみた中で、Golangベースでかつお手軽に負荷をかけられるツール「vegeta」が便利だったため、こちらの記事で紹介したいと思います。 負荷試験ツール vegeta 今回利用した「vegeta」は、Golangで書かれているCLIで実行可能なシンプルな負荷試験ツールです。 公式リポジトリ: vegeta 説明文を読むとHTTPサービスに対して一定のリクエストレートで負荷リクエストを投げることを目的として開発され、CLIでの利用だけでなくライブラリとしても利用できるとのことでした。 他にも数多ある負荷試験ツールの中で、自分がvegetaを採用したの
こんにちは、データプラットフォームチームの鳥山（@to_lz1）です。 Classiでは、2019年ごろからデータ基盤に「ソクラテス」の愛称をつけて運用を続けています。初期の構成は2021年に書かれたエントリ*1にも詳しいですが、数年の間に進化したことも増えてきました。 大きな変化の一例として、最近、私たちのチームではdbt*2を導入してジョブ間の依存管理やメタデータの管理を改善しました。 本記事ではこの取り組みをピックアップして紹介します。また、進化したソクラテスの構成図をアップデートするとともに、Classiデータプラットフォームチームの最新版の雰囲気もお伝えできればと思います。 dbt移行前の構成 ジョブ間の依存管理がつらい メタデータの管理がつらい 過去との差分と、移行への機運 周辺ツールのエコシステムが整った エンジニア以外のメンバーがPull Requestを出すことが減った
RubyKaigi 2024でコード懇親会を開催したよ！ #rubykaigi #codeparty - 2024-05-22 - ククログ
RubyKaigi 2024の2日目の夜に開催されたコード懇親会のお手伝いをした須藤です。 コード懇親会がどういうものかなどはコード懇親会の告知でまとめたので、ここでは今回の運営がどうだったかとかやってみてどうだったかをまとめます。 開催準備 アンドパッドの広瀬さんと一緒に準備を進めていました。イベントページを作ったりリポジトリーを作ったりいろいろ調整したりとか。広瀬さんとはOSS Gateを立ち上げてからは一緒になにかやる機会がなかったのですが、久しぶりに一緒にやれてよかったです。広瀬さんとやるのはすごく楽ですね！ さくらインターネットさんが共催して会場を提供してくれたので、すぐに会場が決まりました。これは非常に助かったことです。RubyKaigiはいろいろな場所で開催されるので毎回その土地にある適切な会場を探す必要があります。しかし、何十人もノートパソコンを広げられて、WiFiも電源も
How to build a plugin system in RustMay 29, 2024Software used by businesses often needs to be extensible. For Arroyo, a real-time SQL engine, that means supporting user-defined functions (UDFs). But how can we support dynamic, user-written code in a static language like Rust? This post dives deep into the technical details of building a dynamically-linked, FFI-based plugin system in Rust. Arroyo i
AWS announces the general availability of Amazon EC2 C7i-flex instances that deliver up to 19% better price performance compared to C6i instances. C7i-flex instances expand the EC2 Flex instances portfolio to provide the easiest way for you to get price performance benefits for a majority of compute intensive workloads. The new instances are powered by the 4th generation Intel Xeon Scalable custom
How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps | Amazon Web Services
AWS Machine Learning Blog How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps This post is co-written with HyeKyung Yang, Jieun Lim, and SeungBum Shim from LotteON. LotteON aims to be a platform that not only sells products, but also provides a personalized recommendation experience tailored to your preferred lifestyle. LotteON operates various specialty stores,
はじめに チームリーダーの畠山です。開発が終盤に差し掛かってきたので、備忘録として開発の振り返りメモを書いていきます。 前回の記事では、限られたリソースで高性能なモデルを作るために、3つの点に注目しました。 モデルアーキテクチャの最適化 事前学習用データセットの準備 ファインチューニング用データセットの準備 今回は、それぞれのアプローチを試した結果について説明します。タイトルにもあるように、Scaling lawの壁は高く、簡単にはうまくいきませんでした。むしろ、うまくいかない条件がわかったという知見が多く得られました[1]。 モデルアーキテクチャの工夫: Branch-Train-Merge (BTM)もどきを試す BRTもどき戦略はうまくいったのか? チームでは、事前学習の際にランダムにシャッフルしたデータを使う代わりに、以下のようなカリキュラムを設定しました。 各ステージの内容: S
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ウェブの最新情報 | Blog | web.dev
FractalDB: LINEヤフーのオンプレミス・マルチテナンシー型データベースシステムの紹介
「アッオー！」でおなじみのインスタントメッセンジャー「ICQ」が2024年6月26日に終了し28年の歴史に幕を下ろす
Ubuntu 24.10の開発コードネーム “Oracular Oriole” | gihyo.jp
IBM、AIモデル「Granite」をオープンソース化--商用利用も可能に
英国のウィリアム皇太子、陸軍航空隊大佐に チャールズ国王から引継ぎ
No Way, PHP Strikes Again! (CVE-2024-4577)
DataPilot/ArrowPro-7B-KUJIRA · Hugging Face
ollamaで LLM-jp-13B v2.0 を動かす
枯れたはずのDWHが「クラウドDWH」で再び盛り上がる訳
イーロン・マスク氏のAI企業xAI、60億ドル調達 「最初の製品を投入する」
AWS入門ブログリレー2024〜AWS Glue編〜 | DevelopersIO
負荷試験ツールvegetaを使ってみた - GO Tech Blog
dbtを導入した話、そしてClassiのデータ基盤「ソクラテス」の現在地 - Classi開発者ブログ
How to build a plugin system in Rust
Introducing Amazon EC2 C7i-flex instances
Team「たぬき」開発振り返りメモ2: Scaling lawの壁は高かったという話