LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Nyle Engineering Blog
OpenAIのWhisper文字起こし25MB制限を解決するPHP, Laravel, ffmpegを使ったファイル分割の例 OpenAIのAPIを使った音声の文字起こしは、今や多くのアプリケーションで利用されています。この記事では、特にWhisper文字起こしの25MB制限に焦点を当て、PHP, Laravel, ffmpeg, PHP-FFMpegなどの技術を使用したファイル分割について詳しく解説します。 OpenAI APIについて OpenAI API We're releasing an API for accessing new AI models developed by OpenAI.openai.com OpenAI APIは、AIを活用した多岐にわたるサービスを提 …
redirect
リダイレクト 本サイトは移転しました。5秒後にジャンプします。 ジャンプしない場合は、以下のURLをクリックしてください。 移転先のページ
分散システムについて語らせてくれ
NTT Tech Conference #2 にて話した資料 時間が足りなかったので全部は話せなかった。Read less
Adobe makes industry standard design programs. But it also offers high-quality software and apps that are free. Here are the top five Adobe tools that are all free. Adobe is one of the oldest and biggest names in computer software. The company is synonymous with web technologies and design programs. You usually have to pay a pretty penny for them, but you'll be surprised to know you can get some f
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
Spark project
ログイン ログインを記憶する ログイン パスワードを忘れた場合 ご利用のお申込み
アマゾンジャパンが電子書籍定額読み放題サービス「Ｋｉｎｄｌｅ Ｕｎｌｉｍｉｔｅｄ（キンドル・アンリミテッド）」を、８月にも日本で開始することが、複数出版社への取材で明らかになった。日本では電子雑誌の読み放題サービスが市場を拡大しているが、国内最大規模の電子書籍配信事業者による、書籍、雑誌、コミックスを含めたサービスの影響が注目される。 利用者が月額９８０円の料金を支払うと、同サービスに参加するＫｉｎｄｌｅ版の電子書籍・雑誌・コミックスなどが読み放題になる。 アメリカでは２０１４年に同様のサービスを開始しており、月額９?99?で、サービス開始当初は約60万タイトルの電子書籍が読み放題となった。 日本の出版社関係者によると、アマゾンは出版社に対して、８月初めのサービス開始に向けて、６月中に契約を締結するよう求めているという。 コンテンツは出版社が選んで提供する。アマゾンが開設する専用のウェブか
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
Flash制作を簡単にする ActionScriptライブラリとは？ 特集：Flasherに便利なオープンソース「Spark project」 Spark project コミッタ 新藤 愛大 2008/12/10 「ActionScriptライブラリ」って何？ 読者の方は、Flashを使った複雑なアニメーションの制作をどのように行っているのでしょうか。ActionScriptコードを勉強して一から制作していますか？ そんな人にこそ知っておいてほしいことがあります。実は、オープンソースの「ActionScriptライブラリ」を使うと、無料で簡単に複雑な機能・動きが実現できるのです。 ActionScriptライブラリとは、一言でいうと、「みんなが使えるように公開されているActionScriptコード」のことです。 イマイチピンと来ませんか？ そんな人でも、「Tweener」「Paperv
ターミナルにリッチなモニターを表示させる
B! 511 0 0 0 以前、 sparkという シェルスクリプトで棒グラフを表示するコマンドを紹介しましたが、 さらに複雑なグラフや地図などもターミナルに表示してしまおうと言う プロジェクトの紹介。 blessed-contrib termui wopr ブラウザに表示させる blessed-contrib nodeがインストールされている必要がありますが、 nodeが入っているなら取り敢えず $ git clone https://github.com/yaronn/blessed-contrib.git $ cd blessed-contrib $ npm install $ node ./examples/dashboard.js を実行してみてください。 ターミナル上に こんな感じのものが表示されると思います。 追記: 2015/11/30 上のgifはGNU screenを立
Windows Xbox Series X 『鋼の錬金術師』インスパイアの『FADE』クラウドファンディング開始―国家を生贄にせんとするカルト教団を阻止するソウルライクACT Steamではデモ版の配信ならびに早期アクセスを実施中です。Read more » 2024.3.19 Tue 0:00 Windows インディーゲーム 特集 群れに紛れるか「一匹鹿」となって行動するか…？鹿とハンターの非対称戦かくれんぼが早期アクセス開始―採れたて！本日のSteam注目ゲーム5選【2024年3月18日】 ハンターはガジェットを駆使してプレイヤー鹿を探し、鹿はあの手この手でハンターから隠れます。Read more » 2024.3.18 Mon 23:30
機械学習、どこから手を付ける？ ～初期コストゼロで試せるBigInsightsで、Hadoop＆Sparkのエコシステムをフル活用～ - はてなニュース
「大規模データ分析や機械学習を始めてみたい」と考えているチームは多いはずだ。情報システムや業務の現場が生み出すビッグデータを最新手法で分析することで、データに潜んでいた価値を発掘でき、それを新たなビジネス価値に結び付けられるとの期待が高まっているからだ。そこで出てくる問いは「いったいどこから始めたらいいのだろうか？」。 （※この記事は、日本アイ・ビー・エム株式会社提供によるPR記事です） 大量データ分析で名前が挙がるソフトウェアといえば、Apache HadoopとApache Sparkだ。そのエコシステムは高度で充実している。だからこそ「どこから手を付けるのか」に悩む人も多い。「Hadoop/Sparkのディストリビューションを利用できるIBM BigInsights試用版や、クラウドサービスBluemixを使えば、明日からでもHadoop/Sparkによるデータ分析や機械学習に取り組
ビッグデータのリアルタイム処理技術勉強会 http://futureofdata.connpass.com/event/40077/ 発表資料
この記事は、JavaとScalaの例外分析・パフォーマンス監視のツール Takapi の blog に投稿されたものです。 Javaのマイクロフレームワークとは何か、推奨される理由とは？ どんなプログラミング言語にも、長所と短所はあるものです。例えばJavaは、安全性の高さや、厳しいテストを経ていること、後方互換性などの利点を持つ言語です。しかし、その代償として、アジリティ（俊敏性）や合理性といった面が少なからず犠牲になっています。冗長で、Java自体が肥大化しているという事実も否定できません。とはいえ、新規開発や大規模な開発を行いたい場合、JVM（Java仮想マシン）はバックエンドとして非常に魅力的です。JVMはパワフルな上に、非常に厳しい環境でテストされています。このような利点があるため、結果的にJavaは広く使用され、積極的にデプロイされているのです。 しかし、このJavaの現状を皆
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
Centralize your team’s knowledge, sync with your codebase, and create beautiful documentation your customers and teams will love
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。
マイクロソフトの de:code の DevOps トラックが奇跡の展開になっている件 - メソッド屋のブログ
私のメインマシンは未だに Mac で現在も docker を中心としたオープンソース系の DevOps 技術が大好きだ。そんな私でも正直、今年の de:code というマイクロソフトのイベントはありえない展開になっていると思う。本当にこうなったのは私の力ではなく、日米のマイクロソフトの仲間と、一緒に仕事をさせてもらっているクリエーションラインさんのおかげで、少なくとも DevOps トラックは奇跡の展開になっていると言っていい。これがマイクロソフトだからという理由で世の中にあまり知られていないのはもったいなすぎる。 OSSを愛する一人として言っておきたい。 はっきり言って、DevOps やマイクロサービスに興味があるならマイクロソフトに全く興味がない人でも参加する価値がある。 その理由を簡単にお話ししたいと思う。この先を読んでいただいたらその理由がわかってもらえると思う。 理由その１. 超
BeInteractive! [ActionScript 3 用便利ライブラリ集に Spark project をミックス]
トラックバックはありません。TrackBack URL：http://www.be-interactive.org/trackback.php?id=404
spark: シェルスクリプトで棒グラフ表示
B! 251 0 0 0 GitHubで面白そうなシェルスクリプトを探してる時に見つけた Spark by holman について。 数値を棒グラフ上に表示してくれるスクリプトです。 Spark 使用例 Spark Spark は数値群を引数に与えるか標準入力で与えてあげると その数値群を棒グラフに変換してくれるシェルスクリプトです。 インストールはGitHubのレポジトリ から直接sparkというスクリプトファイルを取ってきてPATHの通った所に入れるか、 MacであればHomebrewで $ brew install spark でsparkコマンドが使えるようになります。 使い方は非常にシンプルで $ spark 0 20 40 60 80 100 ▁▂▃▅▆█ こんな感じで数値を与えるとそれを棒グラフにしてくれます。 インプットに使える数字は少数も使えますが、 実際に使われる際には
Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース
日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応できるライセンス体系を備えている。 構成はITジャーナリストの星 暁雄です。記事の最後にはプレゼントのお知らせもあります。 （※この記事は、日本アイ・ビー・エム株式会社提供によるPR記事です） ▽ IBM dashDB Local - ハイブリッド・データウェアハウスを実現する Software-Defined DWH - Japan プライベートクラウド上でソフトウェアで定義されたスケーラブルなデ
The start of a new season is always a good time to revisit past predictions and look for new topics to track. Today, dry powder and university spinouts.
2015-03-21 #TokyoWebmining 44th の発表資料です。
「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apache Spark」をデータブリックスが発表
「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apache Spark」をデータブリックスが発表 Apache Sparkなどの開発で知られるデータブリックス社は、同社が主催したイベント「DATA+AI Summit 2023 by Databricks」で、英語をApache Sparkの問い合わせ言語にできるSDK「English SDK for Apache Spark」を発表しました。 英語は新しいプログラミング言語である Databricks共同創業者兼チーフアーキテクト Reynold Xin氏。 英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラであり、Pythonは新しいバイトコードだ。 これが何を意味するのか。多くの方々がChatGPTを使ってSparkの問い合わせコードを
今までPRMLを読んで実装を続けてきましたが、10章からは難しくて歯が立たなくなってきたのでここらで少し具体的な応用に目を向けてみようと思います。機械学習の応用先としては画像の方が結果を見ていて面白いんですが、当面は自然言語処理を取り上げます。そんなわけで一番始めの応用は機械学習と自然言語処理の接点として非常に重要なテキスト分類（Text Classification, Text Categorization）の技法たちを試していきたいと思います。テキスト分類は文書分類（Document Classification）という呼び方もあります。テキストと文書は同じ意味です。最初なので自分の知識の整理と入門者への紹介のためにちょっと丁寧にまとめてみました。 テキスト分類とは テキスト分類とは、与えられた文書（Webページとか）をあらかじめ与えられたいくつかのカテゴリ（クラス）に自動分類するタス
Amazon Web Services ブログ AWS Glue – 一般提供開始 本日、AWS Glue の一般提供開始がアナウンスされました。Glue はフルマネージドでサーバレス、そして、クラウド最適化された ETL(extract, transform, load) サービスです。Glue は他の ETL サービスやプラットフォームと、いくつかのとても重要な点で違いがあります。第1に、Glue はサーバレスです — リソースのプロビジョニングや管理を行う必要はありません。ジョブ、もしくは、クローリングを実行している間に Glue が使用したリソースに対する支払いのみで利用可能です(分単位課金) 。第2に、Glue のクローラです。 Glue のクローラは、複数のデータソース、データタイプ、そして、様々な種類のパーティションを跨いで、スキーマを自動的に検出・推測することができます。ク
Takanori SuzukiSenior Technical Consultant at Acroquest Technology Co., Ltd.
Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
A Brief Introduction in English JSplash is a conversion tool, that converts SWF movies to javascript. Converted script renders shapes with SVG and rewrites ActionScript dynamically to run on browser's JS Engine. You can see a demonstration at http://www.libspark.org/svn/ruby/jsplash/trunk/client2/demo_20081001.xml Left one is a screenshot of the movie running on JSplash. And right one is running o
（翻訳）2017年の展望: pandas, Arrow, Feather, Parquet, Spark, Ibis - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文：http://wesmckinney.com/blog/outlook-for-2017/ ） 2016/12/27 Python dataの開発に関して、2017はエキサイティングな年になりそうです。このポストでは、私から提供できそうなものについて書いていきます。それぞれのピースを全体としてどうまとめていくつもりなのか、詳しくは今後のポストで書いていきます。2016年は開発とPython for Data Analysisの第2版の作業で完全に手一杯でblogはあまり書けませんでした。2017
キーマンズネット-IT特集
基幹系システム ERP 会計システム 電子帳票システム ワークフロー 勤怠管理システム もっと見る 情報共有システム・コミュニケーションツール グループウェア Web会議 テレビ会議/ビデオ会議 ファイル共有 文書管理 もっと見る 情報システム SFA CRM コールセンター/CTI BPM PLM もっと見る メール 電子メール メールセキュリティ メールアーカイブ その他メール関連 もっと見る エンドポイントセキュリティ アンチウイルス 暗号化 認証 ID管理 メールセキュリティ もっと見る ネットワークセキュリティ ファイアウォール WAF IPS UTM セキュリティ診断 もっと見る 運用管理 統合運用管理 IT資産管理 サーバー管理 ネットワーク管理 統合ログ管理 もっと見る バックアップ バックアップツール バックアップサービス テープバックアップ その他バックアップ関連 もっ
decode17
分散並列処理の基本に関する解説と，分散並列処理のオープンソース界隈で最近起こっていることをまとめた資料です．
自分は一応暫くMySQLの開発者だったので、MySQLでできることできないことはすぐわかる訳です。現実的な問題と対峙すること１年間、MySQLは使えることにしか使わないわけで、そうすると構築してしまうと、アラートメールが全く来ないので、水や空気のように存在を忘れてしまいます。でも、使えないことには全く使う気がしないわけで…。というわけでMySQLは結局逆にあまり触れていません。限られた範囲では完成を見ているというわけでしょうか。 データを処理して何か貯めて利用できるものをデータベースとするならば、MySQLを適用する気も起きないような領域があって、近年はそのような領域に挑む別の道具が出てきています。 今回は趣向を変えて、いろいろ現状MySQLでは扱えない問題の解決法を模索したことについて少し触れます。MySQLを離れた話題ですが、いつか遠い未来にMySQLの世界に持って帰る事柄かも知れませ
さくらインターネットが構築した、データセンターの要素すべてを対象とした精緻な原価計算システムの仕組みとその背景
さくらインターネットが構築した、データセンターの要素すべてを対象とした精緻な原価計算システムの仕組みとその背景 さくらインターネットは、Apache SparkとAsakusa Frameworkを用いた原価計算システムを導入しています。 データセンターの土地代から電気代、トラフィック量などサービスに関わる膨大な要素とそのコストを細かく計算し、同社が提供しているサービスやユーザーごとに儲かっているのかどうかまで把握できるという興味深いシステムです。 その原価計算システムの概要が、11月27日にOSSコンソーシアム主催で行われたイベント「2015 Asakusa Framework Day」で行われたさくらインターネットのセッションで紹介されました。内容を紹介しましょう。 さくらインターネットにおける原価計算とそのシステム構築について さくらインターネット 須藤武文氏。 まず弊社の概要からご
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan 2016」において、現在運用中のビッグデータ処理基盤の規模、そして同社が抱えている課題と、それをどう解決していくのかを基調講演の中で示しました。 同社が示した解決方法は、Hadoopなどのビッグデータ処理基盤を使い倒す側から、作る側へ向かうという大胆なものです。同社の貢献はオープンソースとなり、今後さらに多くの課題解決に役立つことになりそうです。 同社データインフラ本部 遠藤禎士（えんどうただし）氏
Kenshin YamadaGeneral Manager, Analytics Infra Department at DeNA
Spark Framework tutorials - Spark Java tutorials
SparkTutorials has moved to the official Spark webpage at http://sparkjava.com/tutorials/ I have stopped writing tutorials for Spark though, focusing on my new Java/Kotlin web framework Javalin
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
5 Awesome Adobe Apps That Are Completely Free
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
アマゾンジャパン、読み放題サービス８月開始へ - 文化通信デジタル
Flash制作を簡単にするActionScriptライブラリとは？（1/3） - ＠IT
Game*Spark - 国内・海外ゲーム情報サイト by GDEX
ストリーム処理を支えるキューイングシステムの選び方
Javaのマイクロフレームワーク ― この新トレンドは見逃せない | POSTD
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
How to ZFS · GitBook (Legacy)
TechCrunch | Startup and Technology News
Apache Spark による推薦システム案件例
ナイーブベイズを用いたテキスト分類 - 人工知能に関する断想録
AWS Glue – 一般提供開始 | Amazon Web Services
IoT時代におけるストリームデータ処理と急成長の Apache Flink
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
Spark勉強会 JSplashの資料を公開＋α - 最速チュパカブラ研究会
MySQLではできないことができるデータベース(広義)達
DeNAの分析を支える分析基盤