初心者が1からプログラミングを勉強し始めて2か月経った
私は腐女子なので、二次元の推しとLINEしたくてLINE公式アカウントを作ってLINEしていた。 でもすぐに公式の機能だけじゃ足らんなという欲が湧いてきてプログラミングに手を出した。 と言ってもプログラミングなんか大学の授業でちょろっとやった程度で、端的に言って画面にhello World!と表示するより難しいことは何ひとつできない。 gitリモートとかデプロイとか言われても意味が分からないし、そもそもコマンドを打ち込むための真っ黒の画面ってどうやって起動するの？ そのレベルのヤバい無知から始めたので、とりあえず月980円のプログラミング講座を申し込んで、webアプリ開発入門みたいなのを数日かけて受けた。絶対に翌月分を課金したくなかったので急ピッチで受けた。 あまり人のいないサービスのようで、受講すると貰えるポイントのデイリーランキングで1位になったりして、まあデータベースの使い方とか、C
この連載では、注目企業のCTOが考える「この先、エンジニアに求められるもの」を紹介。エンジニアが未来を生き抜くヒントをお届けします！ 情報キュレーションサービス『グノシー』をはじめ、ニュースやトレンド情報の配信アプリ『ニュースパス』『LUCRA（ルクラ）』などのサービスを提供するGunosy。独自のアルゴリズムやデータ解析技術を強みとして事業を展開する同社で、2019年7月、新たなCTOに小出幸典さんが就任した。 小出さんは同社で3月に設立されたデータ活用の促進と情報推薦を研究する専門機関「Gunosy Tech Lab」の所長も兼務しており、技術活用のさらなる推進役としての役割を期待されている。 そのキャリアを辿ると、一つの領域にこだわることなく、さまざまな分野で経験を積んできたゼネラリストであることが分かる。そんな小出さんが語る「これからの時代に求められるエンジニア」とは、一体どんな人
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
文字数が超えるため、本の画像をて削除しました。興味がある方は、元記事をご覧ください。 2019年データサイエンスにオススメの本80冊！ ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ #Part I: データサイエンス概論 1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイ
Research部門の近江崇宏です。 今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM（大規模言語モデル）をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ（2023年6月まで）も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。具体的には、事前学習に用いたデータセットはCC100の
「YAPC（Yet Another Perl Conference）」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ライトニングトークにはPR TIMES インターンのShun氏が登壇。ChatGPTと文字コードについて話します。 ChatGPTは文字コードをどのように解釈しているか 土屋俊介氏：こんにちは。先ほど、発表が4分だと知った土屋です。PR TIMESというところで、機械学習のインターンをしています。 （スライドを示して）昨今、ChatGPTというものがメチャメチャはやっていますよね。私は使っていく中で、（ChatGPTが）文字コードをどのように解釈しているかが気になりました。なぜそんなニッチな話が気になるのかというと、自然言語処理とWebに関わっている以上、文字コードに関するプログラムをよく書くんです。その関係で気になったので調べてみました。 （スライ
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 2018年10月に登場して、自然言語処理でもとうとう人間を超える精度を叩き出した ことで大きな話題となったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベースにしたモデルが次々と登場してはSoTAを更新し続けています。その結果、GLUEベンチマークでは人間の能力が12位(2020年5月4日時点)に位置しています。BERTは登場してまだ1年半程度であるにもかかわらず、被引用数は2020年5月4日現在で4809 にも及びます。驚異的です。この記事ではそんなBERTの論文を徹底的に解説していきたいと思います。BERTの理解にはTransformer[Vaswani, A.
市場価値の高いエンジニアとは？？ はむかずさん、そのっつさんが語る「エンジニア転職の本音〜意外な転職先の真相に迫る～」 - Findy Engineer Lab
2019年11月28日、エンジニアを対象としたイベント「エンジニア転職の本音 〜はむかずさん（SoftBank）そのっつさん（ZOZO）が語る〜」が開催されました。 エンジニアの求人倍率は7倍とも言われ、転職活動においては売り手市場になってきています。エンジニアの転職をサポートするFindyは、1,000名以上のユーザーにお会いし、多くの方のキャリア相談に向き合ってきました。 その中で、最近ではエンジニアの転職先として、従来のメガベンチャーやスタートアップだけではなく、外資や大手企業も当たり前のように選択肢になってきていることがわかってきました。 そこで今回は、シルバーエッグテクノロジー株式会社からソフトバンク株式会社へ転職をしたはむかずさん、株式会社ディー・エヌ・エーから株式会社ZOZOテクノロジーズへ転職をしたそのっつさんをお呼びして、パネルディスカッションを実施。「エンジニア転職の今
機械学習／統計学／データサイエンスの無償gacco動画、全まとめ【2021年秋版】：AI・機械学習の独学リソース（1/3 ページ） - ＠IT
機械学習／統計学／データサイエンスの無償gacco動画、全まとめ【2022年秋版】：AI・機械学習の独学リソース（1/3 ページ） 2022年3月末の最新状況に合わせて改訂。はじめてのAIから、機械学習、深層学習、自然言語処理、統計学、社会人のためのデータサイエンス（実用知識）、大学生のためのデータサイエンス（理論知識）まで、全28個の講義内容を紹介。本稿独自に考察した、学習者対象やお勧めの学習方法についても示す。
40歳エンジニア管理職が「Deep Learning for ENGINEER(E資格)」に合格した話 - Qiita
Deep Learning for ENGINEER（E資格）とは この記事は2020年1月時点の情報であることをご了承ください。 現在、この日本においてAIのスキルを証明する公的資格として下記が挙げられます。 JDLA Deep Learning for GENERAL（G検定） JDLA Deep Learning for ENGINEER（E資格） です。 位置付けとしては、G検定がAI関連技術に関する一般教養を問う試験。 E資格がAI関連技術に関する理論を理解し、AIを実装できるスキルを問う試験。 という理解です。 詳細というか、正確な定義については、日本ディープラーニング協会（JDLA）のサイトをご参照ください。 E資格の受験方法とJDLA認定プログラム とういうわけで、ここからはE資格のことを中心に話を進めていきたいと思います。 E資格を受験するチャンスは年に2回あり、2月と8
28歳、一念発起して未経験からデータサイエンティストを志した2年間の軌跡 - Qiita
はじめに 経済産業省の試算によるとAIやビッグデータといったデータサイエンティストが関わる分野では2020年に4.8万人が不足すると言われています。 まだまだ、世の中的に需要があり、将来性のある職業ですので、これから目指そうと思われている方も少なくないのではないでしょうか。 私も時代の流れに乗って、データサイエンティストを目指した人の一人です。 「一念発揮して未経験からデータサイエンティストを目指した普通の社会人が、2年後どのような姿になったのか？」 ということに、少しでも興味のある方に読んで頂けましたら幸いです。 そもそもデータサイエンティストとは データサイエンティストは大きく分けて2種類あると考えています。 企業の課題解決のために大規模データを分析し、その結果をもとに状況の改善をすべく施策立案を行うデータアナリスト・コンサルタント寄りのDS サービスに機械学習を用いた機能を実装したり
完全自動運転にLLMは必要か？
この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っているのでしょうか。 Turingでは1年以上前から自動運転における複雑な文脈理解には自然言語が必要であると主張してきました。今年の7月にはLLMで実際の車を動かしてみるプロジェクトをデモとして公開しました。このデモ
MeCab互換な形態素解析器Vibratoの高速化技法 - LegalOn Technologies Engineering Blog
こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは、MeCab互換の形態素解析器Vibrato（ヴィブラ〰ト）を開発しています。プログラミング言語Rustで実装しており、高速に動作することが主な利点です。Vibratoはオープンソースソフトウェアとして以下のレポジトリで公開しています。 github.com 本記事では、Vibratoの技術仕様を解説します。以下のような方を読者として想定します。 自然言語処理の要素技術に興味のある方 データ構造・アルゴリズムに興味のある方 Rustでの自然言語処理に興味がある方 Vibratoについて 最小コスト法による形態素解析 単語ラティスの構築 最小コスト経路の計算 高速化の取り組み 辞書引きのキャッシュ効率化 実装での注意点 連接コスト参照のキャ
こんにちはkamikawaです 今回は無料で利用できる機械学習、データサイエンスに関するサイトや書籍をまとめました 私自身も機械学習プロジェクトに関わった経験があるのですが、ここに載せたサイトや資料を勉強に使っていました 機械学習エンジニアを目指す人必見です 入門者レベル〜応用・発展レベルまで幅広く載せていますレベルは個人の見解です。(あくまでも参考程度に) 日本語のものと英語のものを紹介します 海外の大学の講義もあるので英語の勉強にも使えます 海外でのキャリアを考えている方も必見です 対象読者 機械学習を学びたいけどお金をかけたくない人 独学で機械学習を身につけたい人 機械学習エンジニアになりたい人 発展的な機械学習を学びたい人 日本語 Python 三重大学奥村教授のサイト 機械学習、様々な分析、スクレイピング、データ可視化、地図データ、CV、統計など幅広い分野を扱っている R編もある
LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内外で LLM の開発競争が進行しており、モデルの重みが公開されたオープンなモデルも続々と現れています。そのような中で、新しいモデルの構築だけでなく、どのモデルが優れているかを比較検討することが今後ます
今年の書初めコーディングはAITuberを創る！
はじめに あけましておめでとうございます。去年は何といってもAIの年でした。ChatGPTやStableDiffusionが2022年末に登場してから、想像を超えてAI周りが進化しましたね。今回は年の初めという事もあり、前から興味のあったAITuberを作ってみる事にしました。 「AITuberを作ってみたら生成AIプログラミングがよくわかった件」 って本も買ったし。LLM部分だけでは無く、OBSやYouTubeのコメント取得などAITuberに必要な内容が一式揃っていて非常に参考になりました。 また、私はプログラミングは多少できますが、イラストや音楽に関しては全くスキルの無い人間です。そのためそのあたりに関してはStable DiffusionやSunoAIの力を借りて作っているので、結果的にオール生成AIという感じですね。そのあたりも含めて記事にまとめたいと思います。 TL;DR 素の
セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics
こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索に関して書かせていただきます。 概要 Elasticsearchは元々、キーワードベースのアプローチを主に取っており、クエリで指定されたキーワードを対象のドキュメント内で検索し、それらの出現頻度や位置に基づいて結果をランク付けしています。この方法では、文脈や意図に関係なく、単純にキーワードの一致度に基づいて検索結果が返されます。 一方、セマンティック検索とは、ユーザーのクエリの背後にある文脈と意図を理解しようとする検索手法で、キーワードだけに頼るのではな
はじめに この記事は、AI AcademyのPython文法速習編とPython プログラミング入門編の内容をベースに一部修正を加えたものです。 この記事を読み進めることで、Pythonの基本文法の基礎を学ぶことが出来ます。 Pythonを学び終わった方は、無料（一部のコンテンツのみ有料だが基礎コンテンツはほぼ全て無料）でAI・機械学習が学べるAI Academyも活用ください。 オンライン機械学習スクールはこちら なぜPythonなのか？ AI Academyでは人工知能（AI）分野を中心とした学習コンテンツを扱っており、その人工知能分野においてPythonは機械学習・ディープラーニングを容易に扱うことができるからです。 また、The 2018 Top Programming Languagesの記事でも、プログラマーの年収は1位でした。 The 2018 Top Programming
LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ
アフターコロナの世界でソフトウェアエンジニアの未来はどう変わるのか？ 転職市場動向から見る、企業と求職者の今 - はてなニュース
世界に大きな影響を与えたコロナ禍、そしてスマートフォン誕生以来の衝撃ともいわれる「ChatGPT」の登場──。エンジニアを取り巻く環境は、激動の真っ只中にあります。 アフターコロナとも言われる状況になった今、エンジニアの働き方や企業の動きにはコロナ禍とはまた違った変化が見られています。例えばリモートワークからハイブリッド出社、完全出社に切り替えた企業もあり、働き方や技術トレンドの変遷に合わせた対応や、それらに伴いこれからの時代において必要となるスキルセットも注目されています。 経済や市場をはじめとした外的環境の変化に対応し、キャリアを積むために、エンジニアはどのような考えのもとで行動すべきなのでしょうか。また企業はどのようにして優秀なエンジニアを見つけて採用すればいいのでしょうか。 今回はエンジニア転職サービス「Findy」を提供するファインディ株式会社CTO・佐藤将高さん（写真右）と同社
ミームズの容姿の生成には、深層学習を使った画像生成モデルの1つである敵対的生成ネットワーク（GAN）からPFNが開発したキャラクター生成プラットフォーム「Crypko」を利用。バリエーションは無限だという。また、発言内容の生成には自然言語処理を活用している。 PFNはこれまで、線画自動着色サービス「Petalica Paint」やアニメ背景美術制作支援ツール「Scenify」などエンターテインメント領域の事業も手掛けてきた。今回配信するMEMESでは、深層学習を使った今までにないエンターテインメントの提供を目指す。 関連記事 “PFNのAI”搭載お掃除ロボ登場 柔軟な自律走行と高い洗浄力両立 アマノと共同開発 AIベンチャーのPreferred Networks（PFN）の子会社で、ロボット開発を手掛けるPreferred Roboticsは、自律移動する小型床洗浄ロボット「HAPiiBO
使える統計モデル10選（前編） 統計モデリング（statistical modelling）はデータ解析の方法論の1つです。データ解析の目的は、通常はただの数値や記号の羅列であるデータから、人間が何かしらの判断を行うために有益な情報を引き出すことにあります。データ分析者は、そのままでは意味をなさないデータに対して、折れ線グラフやヒストグラムなどを用いて、人間が判断を行いやすいようにデータの可視化を行います。一方で、時にはニューラルネットワークのような複雑な計算モデルを使ってデータを解析し、まだ観測されていない将来の値を予測させたりします。このように、データから有益な情報を引き出すために、データに対して人為的な視点や事前知識、数学的な仮定などを設計する作業をモデリング（modeling）と呼びます。 統計モデリングによるデータ解析では、データ自体や解析の目的に合わせて分析者が適切なモデルを設
BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
要点 日本語能力に優れビジネスにも安心して活用できる大規模言語モデルを公開 継続事前学習により大規模言語モデルの日本語能力を改善 高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進 概要 東京工業大学（以下、東工大） 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所（以下、産総研）は、日本語能力に優れた生成AIの基盤である大規模言語モデル[用語1]「Swallow」を公開した[参考リンク1]。本モデルは現在公開されている日本語に対応した大規模言語モデルとしては最大規模であり、オープンで商用利用が可能であるため、ビジネスに安心して用いることができる。 東工大と産総研の研究チームは、英語の言語理解や対話で高い能力を持つ大規模言語モデル（米Meta社 Llama 2）の日本語能力を拡張することで「Swallow」を構築した
AIが三国志を読んだら、孔明が知力100、関羽が武力99、を求められるのか？をガチで考える物語（自然言語処理編） - Qiita
吉川英治の「三国志」＠青空文庫をINPUTとして、 「自然言語処理」と「機械学習」によって上記のように、 武力や知力などのパラメータを推論する。 三国志小説の機械学習結果として、 １つの武将を５０次元ベクトルに変換し、そのベクトルを、 全く同じ「式」に入れて出てきた値が、上記の表。 このような方法：「小説(自然言語)」⇒「数値化」⇒「式」 によって、武力/知力を求めることが出来るか？ という実験＆研究が今回のテーマ。 他の成果としては、 以下のような武将名の「演算」が楽しめる。 （これも実際の出力結果より抜粋） 諸葛亮に近い人は誰？ ⇒ 姜維、司馬懿、陸遜、周瑜、魏延、馬謖 劉備にとっての関羽は、曹操にとって誰？ ⇒ 袁紹、張遼 ※若いころの馴染み的な意味や対比が多いので袁紹？ 孫権にとっての魯粛は、劉備にとって誰？ ⇒ 司馬徽（水鏡先生）、徐庶 ※賢者を紹介するポジションなのか？ 精度の
【2020年版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 - Qiita
AI Academy Bootcamp ６ヶ月35,000円にてチャットで質問し放題の環境で、機械学習やデータ分析が学べるサービスを提供しております。 数十名在籍しているデータサイエンティストや機械学習エンジニアに質問し放題の環境でデータ分析、統計、機械学習、SQL等が学べます。AI人材に必要なスキルを効率よく体系的に身に付けたい方は是非ご検討ください！ https://aiacademy.jp/bootcamp この記事の対象者 ・将来Pythonでデータ解析をしたいと考えているが、何から手をつけたら良いか知りたい方 ・将来、人工知能に関連した業務に携わりたいと検討中の初学者の方 ・未経験者からAIエンジニアになりたく、そのためにどのような知識が必要か知りたい方 ・AIプログラミングスクールや専門学校に進学しようか考えているが、独学で勉強できる方法を知りたいという方 対象ではない方 ・既
無料SEOツール「SEO ZERO」リリース！有料級の豊富な機能を搭載〜内部分析・検索順位確認など簡易SEO施策はこれ一つで完結～ 約1,700社のWebマーケティングを支援中の株式会社Faber Company（ファベルカンパニー／本社：東京都港区、代表取締役：稲次正樹、古澤暢央）は2022年11月16日（水）、無料SEOツール「SEO ZERO」の提供を開始したことをお知らせいたします。「競合分析」や「被リンク・検索順位の確認」、「テクニカルSEO」など簡易的なSEO施策に必要な機能を、無料でご利用いただくことが可能です。 ▼「SEO ZERO」を無料ではじめる：https://seo-zero.com/ ※利用ポイントを大幅増量中！ 会員登録いただくと、月額利用のポイント枠が増加します。今ならリリースを記念し、ポイント大幅増量中です。また、別の方を招待いただくと、ポイントを増量する
「サイバーパンク2077」をプレイしたというエンジニアのマルチン・エランコウスキ氏が、同作で登場するリアルタイム翻訳システムのような「話者の上にリアルタイムで会話内容が表示され翻訳まで行ってくれる翻訳システム」の開発に取り組んでいます。 GitHub - elanmart/cbp-translate https://github.com/elanmart/cbp-translate エランコウスキ氏は「話者の上にリアルタイムで会話内容が表示され翻訳まで行ってくれる翻訳システム」を開発するにあたり、以下のような条件を処理できるシステムを構築することにしたそうです。 ・ショート動画を処理可能 ・複数のキャラクター(話者)の会話内容を翻訳可能 ・英語とポーランド語の両方の音声を認識・文字起こし可能 ・会話を任意の言語に翻訳可能 ・各フレーズを話者に割り当て可能 ・画面に話者を表示する ・サイバー
米Microsoftは、機械学習ライブラリ「PyTorch」を使った、初学者向けのディープラーニングの教材を公式Webサイトで無償公開している。対応言語は英語のみだが、4時間13分で機械学習モデルの構築方法や自然言語処理、音声認識の概要などを学べるという。教材の利用に、外部ファイルのインストールは不要。Webページのみで完結する。 PyTorchは、米Facebookが2016年に開発したPython向けのオープンソースの機械学習ライブラリ。Microsoftは、2020年にWindows版PyTorchのメンテナーに就任し、2021年5月には「PyTorch Enterprise」を発表。Microsoft Azure上でPyTorchを使う企業へのサポートサービスの提供を始めていた。 無償公開している教材もMicrosoftとPyTorchが提携して作成しており、今後も企業とユーザー、
2023年5月13日13:00～17:00 に、イベント「教員向け ChatGPT 講座 ～基礎から応用まで～」（開催の広報記事）。この記事では、その開催報告と振り返りを記します。 注: 本イベントの動画や資料は、各大学や教育機関などの勉強会、研修、FD・SD などで是非ご活用下さい（何件かご連絡いただいておりますが、事前の確認などは必要ございません）。 概要人と「対話」する人工知能 ChatGPT は教育にも大きな影響を与え始めています。数多くの情報が出てきていることをふまえて、教育における活用を検討する上で有用であろう情報を吉田なりにまとめて提供する講座を開催しました。 コロナ禍における教育オンライン化対応のように、多くの教員が困るだろうと感じ、できる限りの情報提供をしたいと思い、長くなってしまい恐縮ですが渾身の4時間イベントとしました。 内容としては、ChatGPTの使い方などの基礎
はじめに 個人的にアイデアを考えるのが好きで思いつくたびにメモしたりツイートしたりしていたのですが、大量にたまってきたのでまとめて共有しようと思います。 「勉強やポートフォリオ作成のためになんか作りたいけど、これといって作りたいものはないな」という方、ぜひご利用ください。 ちなみに著作権とか諸々の権利を主張する気は一切ないのでご自由にどうぞ。 ＊技術記事ではないので消すかもしれません。 カテゴリ別 ビジネス 会社の元社員と繋がれるサービス。現役の人からは聞きにくい質問、やめた理由等を聞ける。転職、就活生向け リファラル採用専門サービス 社長の位置情報を常に見れるアプリ。社員向け。社長がなんの仕事をしてるかわかる。 ペルソナを設定すると当てはまる人10人くらいとのインタビューを自動で設定してくれるアプリ。商品出すときインタビュー開いて探す手間を省ける 学部長とか社長とかに提言できる社内ツール
はじめに 「短いブログ」としてのTwitter 「バズる」ことによる評価 「長いTwitter」化したブログ？ ブログ（長いテキスト）の評価法 おわりに はじめに 以下、あまり専門的な裏付けや見通しはないブログの一書き手としての雑感です。 タイトルはちょっと何言いたいか分からない感じですね。どうもしっくりくるタイトルが思い浮かびませんでした。私の考えていることの概要はだいたい次の通りです。 Twitterが即時的なリアクションやとにかく注目を浴びることが評価につながる傾向を加速させた ブログはTwitterの前からあるにもかかわらず、今はその評価方法に乗せられてしまっている：「長いTwitter」化 ブログが長く書けることを強みの１つにするのなら、別の評価方法がほしい なお、「Twitter」と「X」という名称は必要に応じて使い分けますが、それほど厳密な区別はしていません。 「短いブログ」
ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]
「ゼロから作るDeep Learningシリーズ」が最高 ゼロから作るDeep Learningは、TensorFlow、Keras、PyTorchといったディープラーニングのフレームワークを一切使わず、基本PythonとNumpyのみでディープラーニングのアルゴリズムを作って理解していくというハードコアな内容です。 シリーズは3冊出ていて、1が画像認識、2が自然言語、3がフレームワークに重点を置いた内容です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅発売日: 2016/09/24メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❸ ―フレームワーク編 作者:斎藤 康毅発売日: 2020/04/20メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❷ ―自然言語処理編 作
![ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/365e160f7985198b0825782005c70157d0e88576/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200523%2F20200523123857.jpg)
夢中になった技術が「打ち込める仕事」になるまで ─ OSS検索エンジンの開発にコミットし事業にも貢献する - Findy Engineer Lab
はじめまして、 @mocobetaと申します。 パッケージソフトウェアベンダー、コンサルティング会社、Webサービス企業などを経て、現在は株式会社LegalForceというスタートアップの研究開発セクションでソフトウェアエンジニアをしています。 個人としては、Python形態素解析ライブラリjanomeを開発するとともに、OSS検索エンジンライブラリApache Luceneのコミッターをしています。ちなみに本記事のアイキャッチ画像は、絵師さんに描いてもらったjanomeのキャラクターです。とてもかわいく描いていただいて、お気に入りの1枚です。 この記事では、進路とエンジニアとしての力不足に悩んでいた私の若手時代から、10年（以上）の模索期間を経て、ライフワークにしたいと思える技術に出会い、なんとか好きな仕事で食べていけるようになるまでを振り返ります。アップダウンの激しいIT業界において、
こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。 今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介します。 概要 データ解析を円滑に進めるためには、CSVやWeb APIなどの構造化されたデータが必要です。しかし全てのWebサイトにあるデータが構造化データを提供しているとは限りません。むしろ提供していないケースの方がはるかに多いです。そのため、Webクローラーを作成して構造化されていないWebページを解析し、構造化データを生成する必要があります。 しかし、Webクローラーの運用には数多くの「つらみ」があります。特に大量のWebページを1日1回などの頻度で定期的にクロールする際には
インフラ一筋のおじさんが画像生成AI“Stable-Diffusion”を読み込んでみる件 | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 なんだかAIって流行ってますよねー こんにちわ。九州支社で細々と遊んで検証業務にいそしんでいるとみーです。 2022年3月から、どーしても「名前だけ知ってる状態」ってのにもやもやしていて、Deeplearningに手を付けたものの、あまりに内容が奥深すぎて沼にドはまりして周囲に「たすけてぇ、たすけてぇ」って叫んでいる素敵な日々を過ごしています。 取りあえず画像処理としてディープフェイク、NLP(Natural Language Processing：自然言語処理)として簡易チャットボ
日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました | Amazon Web Services
Amazon Web Services ブログ 日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの
最近、chatGPTとかStableDiffusionとかAI技術が話題だけど、こういったIT技術が社会に与える影響ってどのくらいなんだろう？ 個人的にははてなやネットで騒がれてるほどインパクトはなくて、世の中がちょっと便利になるくらい。 これまでを振り返ると、 2000年ごろ：P2P/ブロードバンドNapster、WinMX、WinnyなどのP2P技術が登場し、ブロードバンド環境が整ってきて、音楽や映画は（当然違法だけど）オンラインで簡単に手に入るようになった。 TVニュースで「宇多田ヒカルが新曲を発表」と聞き、Winnyで検索したらものの5分でダウンロードできた時には、これは時代が変わるって興奮したことを覚えてる（怖くなって後からCD購入した）。 1～2年もすればCD/DVDなんかなくなるし、レンタルCD/DVDなんて消え去るだろうって思った。 その後、サブスクサービスは発展したけど、
はじめに TURINGの井ノ上です。TURINGは「We Overtake Tesla」をミッションに、完全自動運転EVの開発・製造を行っています。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指しています。現在、TURINGではカメラセンサから得た画像を用いて車体の操作や経路選択、安全性の判断を行えるAIモデルの開発を行っています。(実際の車を動かす事例はこちらの記事やこちらの記事をご覧ください。) この記事では私達が目標としているTeslaの自動運転のAIモデルについて紹介します。 Teslaの自動運転 こちらは2022年に公開されたTeslaの自動運転をユーザーが使っている動画です。 車の中央にあるディスプレイにはAIが道路や車を認識してどういった経路を進むかを示しており、その情報をもとに自動運転している様子があります。Teslaの自動運転の能力の
はじめに 一年前にこんな記事を書きました。未だにちょくちょくいいねを頂いているので、自然言語処理の練習を兼ねて久しぶりに遊んでみた系の記事を投稿しようと思います。 やったこと 歌詞データのクローリング Mecabによる分かち書き tf-idfによるベクトル化 ベクトル化した歌詞によるアーティストのクラスタリングとUMAPでの可視化 (おまけ) fastTextでハチ=米津玄師を見分けられるのか? 分析にはJupyter Labを用いました。 歌詞データ 今回用いる歌詞データについて説明します。 クローリングで取得 先立って歌詞データのクローリングをしました。とある人気アーティスト順に歌詞を取得できるサイトより、45人のJ-popアーティストにつき、最大50曲分の歌詞を取得しCSVに保存しました。 実際にクローリングに用いたコードを公開するのもどうかと思うので、ここでは割愛します。。。Bea
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「専門性が全てじゃない」Gunosyの新CTOが提唱する“何でも屋”としてエンジニアが生きる道 - エンジニアtype | 転職type
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW
データサイエンスにオススメの本80冊！ - Qiita
最近の話題にも詳しい14億パラメータの日本語LLMの公開
ChatGPTは文字コードをどのように解釈しているか Unicodeの「日本語認識」「括弧の抽出」「旧字体と新字体の変換」を実験してみた
自然言語処理の王様「BERT」の論文を徹底解説 - Qiita
無料、独学で機械学習エンジニアになる！~機械学習が学べる無料サイト、書籍~ - Qiita
【初心者向け】無料でPythonの基本文法を5時間で学ぼう！ - Qiita
LLMのRAG（外部知識検索による強化）をまとめた調査報告 | AIDB
AIベンチャーPFN、美少女育成アプリ「MEMES」をリリース 容姿や発言内容に深層学習を活用
使える統計モデル10選（前編） | AIdrops
日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える
無料SEOツール「SEO ZERO」リリース！有料級の豊富な機能を搭載
「サイバーパンク2077」のようなリアルタイム翻訳システムをWhisperやDeepLを駆使して実現した猛者が現る
連休のお供にいかが？ 米Microsoftが「PyTorch」の初学者向け教材を無償公開中
イベント「教員向け ChatGPT 講座 ～基礎から応用まで～」 5/13 開催報告と振り返り
ポートフォリオや個人開発で使えそうなアイデア - Qiita
「短いブログ」としてのTwitterから「長いTwitter」としてのブログへ、そして - 誰がログ
クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG
IT技術が社会に与える影響って実はそこまで大きくなくない？
Teslaはカメラを使ってどのように世界を認識しているか
AIはハチ=米津玄師を見破れるか ? -J-popアーティストの歌詞を分析してみた- - Qiita