AWS Lambdaによるサーバーレスな機械学習APIの作り方 - Qiita
この記事は、Python Advent Calendar 2016の14日目の記事です。 概要 NewsDigestでは、配信するニュース記事のカテゴリを機械学習アルゴリズムによって分類しています。具体的には、１日約1000件の記事を「エンタメ」「政治」「スポーツ」といった10種類のカテゴリに分類しています。 NewsDigestでは、そのようなカテゴリ分類をサーバーモジュールに密結合で行うのではなく、社内に分類のための汎用APIを設けています。 この汎用 API を実現するにあたって、よりスケーラブルにするために、サーバーレス(AWS Lambda)な機械学習 API を検討したので、その紹介というか、サーバーレス API を作るためのチュートリアルになります。 実際に動く API は https://3lxb3g0cx5.execute-api.us-east-1.amazonaws.
“サーバレス活用のリアル” Datadogがグローバル調査で解明 (2/2)
AWSのコンテンツデリバリネットワーク（CDN）である「Amazon CloudFront」は、エッジロケーションからコンテンツを配信することで高速化をはかるサービスだが、エッジロケーションでLambda関数を実行できる「Lambda@Edge」を使うことで、エンドユーザのデバイスに適した画像変換を行ったり、A/Bテスト用にHTTPヘッダを制御するなど、エッジロケーションに近い場所のユーザに対してパーソナライズされたエクスペリエンスの提供が容易になる。調査によればCloudFrontユーザの4人に1人がLambda@Edgeを使っており、さらにLambda@Edgeで使われている関数の67％が「20ミリ秒以下」で実行されている。守屋氏は「レイテンシが重要なアプリケーションにおいても最小限のオーバーヘッドでサポートできていることのあらわれであり、エンドユーザのエクスペリエンスを向上させるため
AWSでサーバーレス設計を考える時の手引き書 - Qiita
はじめに サーバーレスに触れて数年が立ちました。 そろそろ人にある程度説明ができるレベルの知識と経験が備わったような気もするので、年末なのでまとめてみました。 サーバーレス気になっているけれども、という人に少しでもためになればいいなーと思います。 サーバーレス基礎 皆さん、サーバーレス設計という話を聞いたことはあるでしょうか？ まずサーバーレスについて説明しますが、世の中にはたくさん解説記事があるのでそちらも適宜参照ください。 サーバーレスでも実際にはサーバーは存在する サーバーレスとは開発者がサーバーのことを意識しなくてもよい、ということ Function as a serviceに代表されるように、あるプログラムの実行環境を提供するが、プログラムの動作環境は開発者は意識する必要はない、というイメージ 恐らく、AWS Lambdaが一番理解しやすいと思います。 AWS Lambdaではプ
サーバーレス LAMP スタックとは何か
はじめに 「サーバーレス LAMP スタック」という聞き慣れない単語をたまたま見かけて気になったので調べてみました。 サンプルとして下記のリポジトリに一通り作ったもの置いてますので、もし気になった方はそちらをご覧ください。 サーバーレス LAMP スタックの起源 従来の LAMP スタック まずは、サーバーレス LAMP スタックを理解するために、サクッと従来の LAMP スタックをおさらいします。「そんなのいらならから、早く結論だけ教えて！」という方は サーバーレス LAMP スタックの構成 までスキップいただいて構いません。 従来の LAMP スタックとは、動的な Web アプリケーションを構築するためのソフトウェアスタックです。Linux、Apache、MySQL(MariaDB)、PHP(Perl、Python) の頭文字を取ってできた造語です。それらはどれもオープンソースとして提
PlanetScaleというサーバレスDBが凄く勢いのあるサービスらしいのでQuick Startやってみた - Qiita
PlanetScaleというサーバレスDBが凄く勢いのあるサービスと聞いて、公式にクイックスタートがあったのでやってみました。 環境 PC: MacBook Pro (Intel Core 2016) OS: macOS Montery12.2.1 では概要から確認していきます。 サーバーレスDBとは サーバがない、のではなく、サーバ管理や検討が不要 AWS Lambda(NoSQL)など PlanetScaleとは PlanetScale年表 2010年頃 YouTubeが急激に成長し、データベースが爆発しそうになっていたので、Sugu氏ともう一人のYouTubeのエンジニアがオープンソースプロジェクト「Vitess.io」（ヴィテス）を立ち上げる 2016年頃 MySQLでバイナリプロトコルを扱えるようにしたことで、VitessはYouTube以外の企業にとっても魅力的なシステムになり
プレゼンテーション：AWS APIGateway + Python Lambda + NEologdで作るサーバレス日本語形態素解析API | PyCon JP 2017 in TOKYO
PythonとMeCab+NEologdを使用した日本語形態素解析環境は様々な場面で広く利用されていますが，容量などサイズも比較的大きくなりがちで，サーバレス環境のような気軽な環境で動作させることは容易ではありません．本トークではAWSのサーバレスサービスであるLambdaを使用して日本語形態素解析環境をPython + MeCab/NEologd + AWS Lambdaで作成する際に有効なTipsを中心に紹介します． PythonとMeCab+NEologdを使用した日本語形態素解析環境は自然言語処理やテキストマイニングなど様々な場面で広く利用されています．一方でこれらの環境を開発環境と合わせて使用するためにはOSや文字コードなどの依存関係でセットアップやデプロイが面倒なことも多く，Docker化しても辞書のサイズが大きくコンテナが肥大化していくなど，簡単な日本語解析を行えれば良いよう
自然言語処理のサービスのAWS上での構成を考えてみる - Qiita
目標 AWSサービスを効率的に使って、自然言語処理に関するサービスを構築する。 可能な限りローコストを目指す（特にアクセスしていない時の料金を減らす）。 もちろん高可用性構成。 マルチテナント構成を取る BERTを使って類似文章検索を行う。 転置インデックスを使用した全文検索を行いたい（単語での検索など）。ElasticSearchは値段高いのでパス。 前提 今回は、構成の考察。検証済みの部分もあり、未検証部分もあり。 実際の製品がこの構成を取っている事を示すものでは無いです（まだ検証段階です）。 その為、この構成を取った事によって何か問題が発生するかもしれない事はご了承下さい。 技術要件整理 データ 学習済み基本モデル 最近流行りの転移学習向けに、公開されている学習済みデータを使用する。サイズ的には1~数GBを想定。 ファインチューニング用コーパスデータ 転移学習でのファインチューニング
Serverless Frameworkのハマりポイント色々 - Qiita
先日自分が所属しているサンノゼのスタートアップでバックエンドにServerless Framework(AWS上でNode.js)を使ったサービスをリリースしたので、ハマりポイントをまとめておこうと思います。 AWSのサービス自体のハマりポイントだったりしますが気にせず行きます。 コールドスタートが遅い この辺にある通りですが、LambdaFunctionは初回呼び出し時やしばらく呼ばれなかった後に呼ばれたときはresponse timeが数秒になったりします。さらにVPC内で動かす場合は10秒以上になることもあります。なので、(ユーザ数いっぱいのアプリで常にアクセスある場合等を除いて)keepalive的なスクリプトが必要になります。間隔は不明ですが、今の所5分起きくらいに呼んでて特に問題になったことはないです。 ちなみに遅い理由はLambdaFunctionはコンテナ上で動くのでコール
MeCab(+IPADIC) + Python3.8 を AWS Lambda 上で利用する - Qiita
2020年10月13日 Python3.8 に対応しました はじめに 形態素解析を行うライブラリ MeCab を用いたアプリケーションをサーバーレスな環境に乗せる機会があり、今後も増えてきそうなので自分用のメモの意味も含めその手順を記載しました。 MeCabをLambda上で実行するためには、Lambdaの実行環境と全く同じ環境でMeCabをビルドし、関数パッケージに含めてデプロイする必要があります。 今回は、DockerとLambdaビルド用のイメージを使って、簡単にMeCabをビルドする方法を紹介します。 ※下記のリポジトリよりクローンし、READMEの手順を実行すれば簡単に利用できます。 [GitHub] noyoikw/mecab-python3-lambda 各ファイルの解説 手順の前に、最終的なディレクトリの構成と各ファイルの役割について説明します。 ディレクトリ構成 このサン
AWS Lambda with Container Image で MeCab (NEologd) を動かしてみたCCT-recruit | CCT-recruit
ちなみにLambda with Container Imageによるメリットにはサイズ制限以外もりますが、今回は主にサイズ制限に着目しています。 LambdaでMeCabを利用する場合の課題 LambdaでMaCabを利用しようとした場合にファイルサイズ制限の影響を受けるのが辞書ファイルです。 MeCab本体のサイズはそこまで大きくないのですが、辞書にNEologdを利用するとビルド済みのバイナリデータのサイズが1GBを超えてきます。 ビルド時のオプションで登録単語数を減らしても700MB程度のバイナリデータになります。 1GBのバイナリデータとなるとLambda Layersのサイズ制限である250MBを軽く超えるため、今まではEFSを利用して解決するしかありませんでした。 といってもLambdaにEFSがマウント可能になったのが2020年6月なので「そんな処理はLambdaでやることじ
サーバーレスの現状
2023年8月更新 この調査は、2022年 6月に公開された本記事の前回版を基にしています。各実証に関するグラフはこちらからダウンロードでき、レポート本体はこちらをクリックしてダウンロードできます。 サーバーレスは現代のコンピューティングの主流となっています。今日、企業は増え続けるサーバーレスサービスを利用し、新しい革新的な方法でアプリケーションの構築と管理を行っています。チームはコンテナ化された関数やフルマネージド型のコンテナベースアプリケーションを利用することで、従来の FaaS (Function-as-a-Service) ソリューションを超えてシステムを拡張できるようになっています。AWS、Google Cloud、Azure などの主要なクラウドプロバイダーや、Vercel、Cloudflare などの新興プラットフォームは、開発者の期待するワークロードに対応するように設計され
サーバーレスアプリケーションの最も危険なリスク12選 - Qiita
2020/3/14 追記 昨年、PureSec も加盟している Cloud Security Alliance の Israel Chapter から、The 12 Most Critical Risks for Serverless Applications 2019 が公開されました。 ※本記事の公開時点で既に TOP12 が最新でした・・・ 本記事で記載している既存の TOP 10 の内容に大きな変更はなさそうですが（SAS-9 は Serverless Business Logic Manipulation に改題）、新たに追加された SAS-11、SAS-12 について本文に追記します。 既存の文章にも差分があるようですので、正確な内容は原文をご参照ください。 追記はここまで イスラエルのセキュリティスタートアップ PureSec による The Ten Most Critica
サーバーレスパターン
やりたいこと（ユースケース）から利用パターンへ到達できるように、ユースケース主導で紹介。利用するサービスのすべての機能をを覚えなくてもやりたいこと/部分からスタートできます。実際、類似するアーキテクチャの実例が多くあることがわかります。 パターン別のテンプレートから始めてみよう! チュートリアルで体感しよう! - いくつかのパターンはテンプレート/雛形から始めることができます。それぞれのパターンの「Template」「Sample」「Solution」のリンク先を参照ください。 - 実際に作って動かせるチュートリアルに「Tutorial」「Workshop」リンクからアクセスできます。ちょっとしたトライに費用が気にならないのもサーバーレスの良いところ。 - 各パターンの特性に合わせたエラーハンドリングの記事を拡充中。それぞれのパターンの「エラーハンドリング」リンクからご確認ください。 -
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MeCabのAPIをLambdaにデプロイする
Serverless Docker on AWS Lambda with Zappa
GitHub - localstack/localstack: 💻 A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline