自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録
はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり
デザインする上で知っておきたい「近接」「整列」「反復」「対比」の4原則 - NxWorld
webサイト・アプリ・雑誌・チラシなど媒体は問わず、見やすくて内容が伝わりやすいデザインする上で知っておきたい「近接」「整列」「反復」「対比」の4原則を紹介します。 近接 - PROXIMITY 関係性の近い各要素の距離を近づけて配置することで位置的にそれらが関係があるものと認識され、見ている人に理解されやすいデザイン・レイアウトを作ることができます。 その際、近接を上手く活用したいときに気を付けたいポイントは余白で、何となくでつけるのではなく関係性があるものとそうでないものでそれぞれ異なる余白にすることです。 上のイメージは様々なスポーツのボールイメージと競技名を並べたものですが、近接が考慮されていないためにそれぞれどのボールがどの競技なのかがわかりづらい印象があります。 これを近接を意識して配置し直したのが下のイメージで、関係性がわかりやすくなり上のイメージに比べてどのボールがどの競技
AWS、何から勉強したらいい？に対する俺の答え - Qiita
このツイートがわりと好評だったので解説。 「AWS、何から勉強したらいい？」に対する俺が考えた回答がこれ。 pic.twitter.com/ouuP3P27Bu — 伊藤 祐策(パソコンの大先生) (@ito_yusaku) 2018年4月17日 これは誰向け？ メンテナー以上の領域を目指す人向け。 オペレータ ... システムの運用、監視、障害調査＆対応をする人 メンテナー ... システムの拡張、改善をする人 アーキテクト ... システムを１から設計、構築する人 解説 各科目の選定基準 必修科目 ... AWSを本番運用するにあたって絶対に避けては通れないサービス。 重要科目 ... 間違った設計をすると、あとから取り返しがつかないサービス。 選択科目 ... 学習量を削るために仕方なく必修から外したが、Webサービスを構築するにあたりほぼ必須となるサービス。 必修科目で押さえておく
世界最大の音楽データベース「Discogs」、時代にもブレない音楽コミュニティの2017年を振り返る
Wikipedia以外では、世界最大の音楽情報データベースである「Discogs」が2017年の活動レポートを公開しました。 http://discogs.com/ Discogsを説明すると、ユーザー参加型の音楽データベース・コミュニティサイトです。世界中のあらゆるリリース情報、アーティスト情報がフォーマット別に執筆・編集・更新され続けている巨大なサイトとして2000年から運営されています。 音楽のリリースに関する情報や、アーティストのクレジットを探す場合は、Discogsに行く回数が圧倒的に多いという人も多いはず。特に、日本語の音楽・エンタメ情報がアップデートされず貧弱なままのWikipediaに比べれば、多少英語に抵抗がない人にとって、音楽に限れば必要な情報を探すのにDiscogsほど便利なツールはありません。 Discogsのデータベースに新しく追加されたリリース情報は1,360,
捨てアドの作り方でGmailやYahoo!メールのおすすめ裏ワザ
最近はインターネット上で何をするにも、メールアドレスとパスワードによる登録が必須。とはいえ、普段使っているメールアドレスを、スパムや迷惑メールが心配でいかがわしいサイトに登録したくないというのは誰でも同じでしょう。そんな迷惑メール対策に活用したいのが無料の捨てメールアドレス（ステアド）、いわゆる「捨てアド」です。捨てアドの作り方でGmailとYahoo!メールのおすすめ裏ワザを紹介しましょう。 捨てアドの作り方はGmailステアドがおすすめ 「捨てアド」とは、いかがわしいサイトなどの登録にメールアドレスが必要な時などに、迷惑メール対策として普段使いのメアドを使用しないための、使い捨てメールアドレス（ステアド）のことです。 捨てアドの作り方として、もっとも一般的でおすすめなのがGmailやYahoo!メール、Outlookなどのフリーメールサービスのステアド利用です。フリーメールサービスによ
2017年 Azure 最新サービスはこう使え
This is the material for Microsoft Azure onsite seminar on Jan 18, 2018 at Shinagawa in Tokyo. This session covers sharing knowledge of high attention new services, Cognitive Services, Azure Cosmos DB, and Azure Database for MySQL / PostgreSQL which have been released in 2017, with best practices and architectures. 1 another session is held to introduce the services of Cognitive Services, Azure Co
モダンPHPアンチパターン - Qiita
アンチパターンなので、見出しの内容はすべてバッドノウハウです。 前に書いたやつ PHPのモダンな開発環境を紹介する - Qiita PHP - Functoolsを作った - Qiita PHPのlist()はタプル展開のための機能 - Qiita 関係ないけどこれも: シェル、ターミナル、コンソール、コマンドライン 追記: 本文中でとりあげた「怖い話」について、ちゃんと説明しました PHP - namespaceとBOMに何の関係があるのさ - Qiita ファイルの最後に?>を書く PHPコードは<?phpで始まり?>で締める。それがPHPの常識(ｷﾘｯ ……そんなことはもう綺麗さっぱり忘れよう。PHPはテンプレートエンジンではあるが、Webアプリケーションを書く上では、もはやテンプレートエンジンとしての機能は求められなくなりつつある。 不要な?>を書いてはいけない理由は明確で、<?p
僕らは2016年のことをどんな風に思い出すだろうか？ 楽観的シンギュラリティ、貧者のVR、魔法の世紀へ | FUZE
MAIL MAGAZINE下記からメールアドレスを登録すると、FUZEが配信する最新情報が載ったメールマガジンを受け取ることができます。 利用規約、プライバシーポリシーに同意します。 登録する Top image: Smithsonian American Art Museum この記事はギズモード・ジャパンが2016年3月に行なった、メディアアーティストで筑波大学助教の落合陽一さんをゲスト編集長に迎えてテクノロジーの未来を考えるコンテンツ・ジャック企画に掲載されました。 人間中心主義を超えて：デジタルネイチャーへ 早いもので、2016年も1/4が過ぎ去ろうとしている。 テクノロジーの時代だと思う。Atlasは雪原を歩行し、イ・セドルはアルファ碁に敗れた。AAAS（アメリカ科学振興協会）年次総会の基調講演はCRISPR-Cas9のジェニファー・ダウドナ博士で、市販品のVRキットは市場に出荷
WordPressの無料テンプレート5選【2024年版テーマ】
WordPressテーマのテンプレートを無料で配布しているサイトを紹介します。 無料でWordPressテーマを配布しているサイトは多数存在するので、 日本の優良なサイトのみに厳選しています。 あなたのブログのテンプレートを選ぶ際に参考にして下さい。 この記事で紹介している無料テンプレートを活用して、あなたもブログを無料で始めてみましょう。 更に、無料テンプレートと無料レンタルサーバーを組み合わせれば、お金は一切かかりません。 WPテーマやレンタルサーバーにお金をかけられない学生などの方は活用しましょう。 この記事は定期的に情報を更新しています。 役に立つ無料テンプレートを発見したら、随時更新する予定です。
最新！ Wordpress 高品質な無料テーマ 2016 - TetraThemesブログ
季節ごとにお送りしている、Wordpressの新着テーマ情報。今回は無料テーマです。 Wordpressテーマも初期のころはいかにも無料っぽいデザインが多かったんですが、最近の無料テーマはかなりハイレベル。デザインはもちろんのこと、充実した機能を実装しているものもあり、実用的なテーマも多くなってます。 今回はそんな高品質なテーマの中から2016年初頭の新着無料Wordpressテーマを厳選して紹介したいと思います。 新着Wordpress無料テーマまとめ 2016 Simply Pure YahooのPureCSSで作成されたシンプルなブログ向けテーマ。２カラムのレスポンシブレイアウトになってます。tumblr風のデザインがGood。 Biography 個人の情報発信ブログにぴったりなWordpressの無料テーマ。デザインもシンプルで使いやすいですが、カスタマイザーに対応しており機能も
そろそろDockerを始めないとやばいと思い始めたあなたへ | 東北ギーク
なるほど、先ほどのエラーはrootのパスワードを設定するか、空のパスワードでもいいのか、ランダムパスワードでいいのかを指定してくれ、というものだったようです。 # docker run --name app-db -e MYSQL_ROOT_PASSWORD=root -e MYSQL_DATABASE=app mysql:latest ということで環境変数を設定してコンテナを起動します。環境変数の設定は-eオプションです。 ついでにDB作成用の環境変数も設定してみました。 Error response from daemon: Conflict. The name "app-db" is already in use by container bd44a80999fb. You have to delete (or rename) that container to be able to
コンピュータサイエンスアンプラグド
コンピュータサイエンスアンプラグドは、コンピュータを使わずに情報科学を教えるための学習法です。 カードなどを用いたゲームやグループ活動を通して、コンピュータの基本的なしくみを楽しく学ぶことができます。 （日本語版の紹介） このサイトではニュージーランドで開発された Computer Science Unplugged を翻訳した内容を紹介しています。今後は、日本での実践例や日本で開発したアンプラグド教材についても紹介していく予定です。 データ：情報を表す素材 点を数える（２進数） 色を数で表す （画像表現） それ、さっきも言った!（テキスト圧縮） カード交換の手品（エラー検出とエラー訂正） 20の扉（情報理論） ジョニーを探せ（情報理論） コンピュータを働かせる：アルゴリズム 戦艦（探索アルゴリズム） いちばん軽いといちばん重い（整列アルゴリズム） 時間内に仕事を終えろ（並び替えネットワー
レゴブロック製の巨大装置でボールを次々と運ぶ「Great Ball Contraption」のムービー
日本最大というレゴブロック作品の展示イベント「Japan Brickfest 2016」が2016年6月4日・5日に開催され、レゴブロックを使った作品展示や、コンペティション、フリーマーケットなどが行われました。展示会場にはレゴブロック製の巨大装置でボールを運んでいく「Great Ball Contraption(GBC)」が前年に引き続き登場し、装置の各モジュールを詳しく見られるムービーが公開されています。 Great Ball Contraption(GBC) at Japan Brickfest 2016 - YouTube Japan Brickfest 2015で好評を博したGBCの製作者はAkiyukiさんで、同氏をはじめとする4名が共同で作成したのが今回のムービーで映されているGBC。 レゴブロックのライトの反射板のパーツを、ボール運搬用のカップとして使い、ボールを次々と受け
特殊エンジニア向け数学ガイドツアー本『グッド・マス』の話
6月25日、つまり今週末、『グッド・マス ギークのための数・論理・計算機科学』という本が発売されます。 話せば長い事情があって、発売前だけど訳者の次くらいに書籍の内容を熟知しているので、私的な紹介を書いてみました。 計算機のプロが書いた現代数学ガイドツアー 世に数学系の読み物はたくさん出版されています。純粋数学のプロが書いたものもあれば、そうでない人が書いたものもあります。 『グッド・マス』は、後者です。著者のマークさんは計算機科学のプロであり、数学のプロではありません。そのため、本書でいう「数学」も、コンピュータエンジニア的な目線で描かれます。 たとえば、連分数の話をするときはScalaで実装し始めるし、論理学の話をすれば「Prologはいいぞ」って始まるし、計算といったらチューリングマシンとBrainfuckでありλ計算です。 本書を一言で表すと、「コンピュータエンジニア、とくにプログ
私はいかにして怠惰な寝正月を過ごしたか – 介護ベッドと壁掛TVを使ったプログラミング環境の構築｜広報ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
私はいかにして怠惰な寝正月を過ごしたか – 介護ベッドと壁掛TVを使ったプログラミング環境の構築 あけましておめでとうございます。代表のmatsuiです。 本年もインフィニットループをどうぞよろしくお願いいたします。 さて、私はたまに技術とはあまり関係ない記事を書きます。まだ読んだことがない方はこの機会にぜひどうぞ。 → 【大掃除にまだ間に合う】 プログラマがやるとこうなる！自宅をルンバフリー環境にする方法を大公開！ → あなたも今日から布団人！！3万円で始める介護ベッドでプログラミング生活 今回は、下の介護ベッドの記事の続きです。 単純な介護ベッド運用では飽き足らなくなった私が、いかにして次の拡張を行っていったか、というお話になります。 前回までのおさらい 私は布団人ですから、家にいるときは常に布団にいたいわけです。 そんなわけで布団の中でも快適にPCをいじれる環境を作り上げました。 そ
テスラ、自動運転機能の開発舞台裏を明らかに
米Tesla Motorsがドライバーの走行データを収集していることはよく知られている。同社は高速道路上での自動運転機能の開発にTesla車のドライバーが過去18カ月間に走行した合計7億8000万マイルの走行データを利用したという。 これは2016年5月23、24日に米サンフランシスコで開催された「MIT EmTech Digital 2016」というカンファレンスで、Teslaのオートパイロット・プログラム・ディレクターのSterling Anderson氏が明らかにした（写真1）。 Teslaは2015年10月、高速道路上でほぼ自走状態に近いオートパイロット機能を実現するソフトウエアアップデートをリリースした。ただしオートパイロットに使用するカメラやレーダー、超音波センサーなどのハードウエアを搭載したモデルは、それに先立つ2014年10月から販売していた。実は、ドライバーがどういった運
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apple、プログラミング学習の「Everyone Can Code」を障害者でも利用可能に
無料のホームページ作成なら株式会社MICATA
❤️ Best adult photos at senseicode.club
長文日記
