ログパイプラインの4つの問題にLINEはどう立ち向かうか シンプルかつ拡張性のあるアーキテクチャを叶える、Icebergという選択肢
自己紹介と後半のアジェンダ 尾野健氏：ここからはスピーカーが代わります。尾野健と言います。Data Engineering1 teamに所属していて、LINEには2019年に入社しました。現在はインジェスチョンパイプラインを開発中です。 後半のアジェンダです。現在のログパイプラインの概要、そのログパイプラインが抱える問題、その問題がIceberg導入によってどのように解決されるか。そしてFlink Iceberg applicationの詳細、最後にプロジェクトの今後の進め方を説明します。 ログパイプラインの概要 それでは現在のログパイプラインの概要です。（スライドを指して）この図は、現在のログパイプラインの最初の段階を示しています。もともとはシンプルなアーキテクチャでした。Kafka、Flink、HDFS上のHive tableという構成で、テーブルはAppend Onlyです。 ユーザ
CPU使用率90%を超える高負荷がLNEのHive Metastoreで発生 Hive table formatの課題はApache Icebergで解消
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理とデータのインジェスチョンパイプラインについて紹介しました。まずはLINEで実施しているデータ処理について。 自己紹介と発表前半のアジェンダ 齋藤智之氏：LINE Data Platform室の齋藤智之です。現在私は、データプラットフォーム開発組織のシニアソフトウェアエンジニアとして、研究開発や開発プロジェクトのリードをしています。今日の発表では、データプラットフォームを開発運用する中で直面してきた課題と、その解決に向けた取り組みの一部を紹介しようと思います。 発表は前半と後半の2部に分かれて
LINEでOCRできるって知ってた？
情報管理LOGの@yoshinonです。 ここ最近では、日本語OCRが割と簡単にできるようになってきましたよね。 しかし、皆さんが日々使っているLINEでOCRできるようになったというのを知っている人は、まだ少ないのではないでしょうか？ というわけで今回は、LINEでもOCRできるようになったことについてレポートします。 実は、あまり知られていないような気がするのですが、LINEのトーク画面にアップした画像をテキスト化することができるようになりました。 では、やってみます。 トーク画面で画像をアップしましょう。 ※他の人が、アップした画像でも可能です。 それをタップすると、このようになりますね？ 右上の「T」とみたいなアイコンをタップ。 そうすると、このように文字の部分が認識されているのが分かります。 上の方に「日本語を検出」とあるのでタップすると、５カ国語から選べます。 テキストを抽出し
LINEに画像を送ると、AIが3秒で文字起こし 「企業や役所の働き方変える」 長崎のベンチャーが開発
紙の書類をスマホで撮影して「LINE」で送ると、約3秒でテキスト化して返信するAIアプリが登場。開発元は、長崎県西海市のベンチャー企業「西海クリエイティブカンパニー」。ユーザーがOCRソフトなどを用意しなくても、書類や帳票を簡単にデータ化できる点が特徴だ。 紙の書類をスマートフォンのカメラで撮影し、「LINE」で画像を送ると、約3秒でテキスト化して返信する――。こんなAIアプリを、長崎県西海市のベンチャー企業「西海クリエイティブカンパニー」が7月3日からLINE上で公開している。ユーザーがOCR（光学文字認識）ソフトなどを用意しなくても、書類や帳票を簡単にデータ化できる点が特徴だ。 記者が試しに名刺を撮影して公式アカウントに送ったところ、すぐに氏名や企業名、所属部署、オフィスの住所、電話番号、メールアドレスなどを正確にテキスト化して返信してくれた。 このアプリの名前は「文字起こし ばりぐっ
【重要】LINE@サービス統合のお知らせ : LINE@公式ブログ | ラインアットの最新情報や成功事例をご紹介 | LINEの法人・ビジネスアカウントを使った集客のコツ
いつもLINE@をご利用いただきありがとうございます。 2019年春、「LINE@」は「LINE公式アカウント」「LINE ビジネスコネクト」「LINE カスタマーコネクト」とサービス統合し、名称を「LINE公式アカウント」として生まれ変わります。 このサービス統合により、管理画面・既存機能の改善、新機能の追加を実施してまいりますので、今後もお引き立ての程よろしくお願いいたします。 今回のご案内では、サービス統合による主な変更点をお知らせいたします。 まず、現在提供している各プランについては、以下のように名称及び提供内容の見直しをさせていただきます。 ※メッセージ配信1通＝ターゲットリーチ1人へ1回のメッセージ送信。1回あたり最大3吹き出しまでメッセージ送信可能 主な変更点は以下の通りです。 ・現在のプロプラン/プロ(API)プラン相当のプラン料金を値下げ ・プレミアムIDの初年度料金を値
【Botブームに乗り遅れた人たち用】Chat Bot（チャットボット）についてまとめてみたよ。 - Qiita
0. これはなんですか？ Chat Bot界隈に乗り遅れた私のような人達のためのまとめ記事です。 主にLINE Chat BOTに焦点を当てて説明。このページと参考文献のURLだけで、 Botの背景、仕組み、アルゴリズムの全てを把握できるように心がけてます。（足りなかったらサーセン） 1.はじめに そもそもボットって何？ 「ロボット」の略称で、人間がコンピュータを操作して行っていた処理を、人間に代わって自動的に実行するプログラムのこと。検索エンジンなどが利用するボットは「検索ロボット」「クローラ」などとも呼ばれる。 対話型ボット（チャットボット）の始まりについて 初期の対話型ボットで有名なのは「ELIZA（イライザ）」(1966)。 「DOCTOR」という来談者診断会話シミュレーションが有名。 Emacsにはじめからdoctorは入っていますので、すぐに試してみることが出来ます！ Emac
「LINEはエンジニアにとってめっちゃ面白いから知ってほしい！」新設された Developer Relations Team の活動を紹介します - LINE ENGINEERING
! This post is also available in the following languages. 英語, 韓国語 「LINEはエンジニアにとってめっちゃ面白いから知ってほしい！」新設された Developer Relations Team の活動を紹介します By Yusuke Kushii | 2018.01.18 2021.01.13Developer RelationsチームでCulture Evangelistをしています。LINE Engineering Blogや技術イベントなどを担当。 こんにちは！LINEでTech PRをしている櫛井です。 このLINE Engineering Blogも私が担当しているのですが、今回は新設された Developer Relations Team についてご紹介したいと思います。 何を目的としたチームなのか 端的に表現しま
Line Messaging APIからのURL投稿をデフォルトブラウザで開く - Qiita
通常LINE内のリンクはスマホではLINE内ブラウザで開いてしまいます。 これは投稿者側が意図的にデフォルトブラウザで開かせたいときの方法です。ブラウザ違いによるセッション共有ができない場合や、遷移解析を取得したいなどに有効かと思います。 ポイント リンクにGETパラメータopenExternalBrowserで1を渡すだけ 記述例 https://www.yahoo.co.jp/ → LINE内ブラウザで開く https://www.yahoo.co.jp/?openExternalBrowser=1 → デフォルトブラウザで開く 実装について 単にURL直書きでも機能しますが、URLにopenExternal…の記述が見えてしまい微妙な場合は画像リンク形式のメッセージで対応すればよいかと思います。 Register as a new user and use Qiita more co
Yahoo!ニュース
「ばばも死ぬから、死んで」７８歳の女性は苦悩の末、孫の首に手を掛けた 発達障害、不登校、暴言と暴力、すべての責任を背負い込み…
LINEを名乗る怪しいメールが届いたら…？「フィッシング詐欺」にご注意ください | LINE公式ブログ
フィッシング詐欺の手口 企業や団体になりすまして本物っぽいメールやSMS、検索結果などを用い、本物っぽいサイトに誘導してユーザーを信じ込ませ、最終的に個人情報やクレジットカード番号などを盗み取る詐欺です。 犯人は、「本物っぽい」と信じさせるために様々な工夫をこらしています。 例えば、本物っぽい雰囲気のデザイン、メールの送信元を本物っぽく偽装する、「緊急」「安全認証」など慌てさせて判断力を鈍らせる…など、など。そのため見た目だけでフィッシング詐欺かを完全に見極めることは難しいです。 怪しいメールが届いたらまず疑う！ LINEから大事なアナウンスや重要な情報をお伝えする時は、公式サイトでも発信を行っている場合がほとんどです。突然、身に覚えがないメールが届いたときは、URLは開かないで、落ち着いて公式情報をチェックしましょう。 もしURLを開いてしまっても、あなたがメールアドレスやパスワードを入
LINE乗っ取られたのでその鮮やかなる手口を恥を忍んで公開しましょう - はてなブログを毎日書いていたら10Kg痩せました！
どうも、情弱です。 いやー、やられました。 先程見事にLINEを乗っ取られてしまいました。 今まではLINEで「今ひま？ちょっと手伝ってもらっていい？」というプリカをねだるメッセージが来る度に「情ｗｗｗ弱ｗｗｗ乙ｗｗｗ」と笑っていたのですが、今日からぼくもそちら側です、よろしくお願いいたします。 今回の件で、やはり一番怖いのは機械的なハッキングでなくて心の隙を突かれるソーシャル・エンジニアリングだなと実感しました。 騙されちゃったらもう説得力ありませんが、僕は昔からネットのエロサイトで鍛えた眼力があって、そうそうネットのフィッシングなどには引っかかったことが無いのですが、それでもちょっと気が緩めばネットでは死んでしまうというよい事例です。 めっちょ恥ずかしいですが、自分の恥が誰かを助けるかもということでここは一発状況を共有しておきましょう。 LINE詐欺はLINE以外のメッセージで来た 僕
WordPressにCSSをコピペし「LINEぽい吹き出し」を作って会話を入力する方法
主な手順 主な作成手順は、こんな感じです。 CSSをstyle.cssなどに貼り付ける CSSのclassを用いて文章を書く CSSさえ貼り付けてしまえば、あとは「吹き出しクラスを適用したpタグ」などで、書き込むだけです。それほど手間もかからないと思います。 作成方法 作成方法は以下です。 style.cssに貼り付ける 以下のCSSをstyle.cssにコピペします。 /******************************* * 左からの吹き出し ********************************/ .left_balloon { position: relative; background: #fff; border: 1px solid #777; margin: 10px; padding: 10px; border-radius: 15px; margin-
PHP版の公式SDKを使ってLINE Messaging APIベースのBotを作ってみた - Qiita
はじめに LINEのMessaging APIが発表されましたね。 LINEが以前リリースしていたBotAPIはトライアル的な扱いであったのに対して、Messaging APIは正式にリリースされて仕様が安定したバージョン。 https://devdocs.line.me/ja/#messaging-api によると、今回使うPHP以外にもJavaやGoなどの言語向けに公式のSDKが提供されていて、APIのコアな仕様がわかっていなくてもSDKを使えば簡単にLINE上でサービスを提供できるようになってます。 今回は、Togetterというサービスで運用していたLINE@のアカウントをBot化させる目的でMessaging APIを触ってみたので、ハマったポイントを考慮してコード付きで解説したいと思います。 つくるもの 公式LINE@アカウントに話しかけると人気記事を5つカルーセル型で表示して
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
QRコードログイン機能を悪用したLINEアカウント乗っ取りの危険性とその成功可能性・ユーザー像について
LINE PC版には「QRコードログイン」という機能があります。この機能を悪用すると、「簡単に」LINEアカウントを乗っ取ることができてしまいます。「簡単に」とは言うものの、疑い深い人であれば防ぐことができるものです。しかし、どうやら実際に、自分のLINEアカウントへのログインを、知らない人に許可してしまうケースが現在増えている模様です。 騙される対象としては、LINEへの依存度が高い中高生を想像してみてください。 今後、このパターンのアカウント乗っ取りが増えていく可能性があるので、ここで注意喚起及び、仕組みの解説をしたいと思います。 目次 1. 前提：QRコードログインの仕組み1.1. PC版LINEでのログイン用機能1.2. 手順2. QRコードログインの仕組み3. 悪用される危険性に注意3.1. 実際はさらに危険4. 「ログイン」を押さなければ安全5. でも「ログイン」を押してしまう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews
Googleカレンダーの予定を毎朝LINEに通知しよう
http://www.ogura.blog/entry/2017/02/28/190245
ＬＩＮＥ：関東財務局が立ち入り検査 | 毎日新聞
任天堂、「スプラトゥーン」のLINEスタンプを期間限定で無料配信
