なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり

海外サイト「IT之家」は4月12日（現地時間）、Appleのエンジニアリング担当副社長Kate Bergeron氏とMac製品マーケティングチームのEvan Buyze氏の独占インタビューを公開しました。そのなかでEvan Buyze氏は、Macの実行メモリ容量について興味深い発言をしています。 Macでは2015年以降、全モデルが最低でも8GBの実行メモリを搭載してきました。2020年以降に登場したApple Silicon搭載モデルでは、CPU、GPU、実行メモリを1つのチップに収めたユニファイドメモリとすることで、各チップが分離していた従来モデル（Intel Mac）と比べ、全体的な処理能力も向上しています。 一方、複数のチップをまとめた結果、購入後に実行メモリの容量を増やすという、Intel MacのハイエンドモデルやWindowsマシンではお馴染みのテクニックは使えなくなりました

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して

3つの要点 ✔️ 拡散モデルは高い出力画質と高い多様性を持ち、GANを上回っているが、推論速度が非常に遅いため、リアルタイムでの使用が難しい ✔️ 先行研究のDiffusionGANはGANの仕組みと組み合わせることで、推定速度を大幅に向上できた ✔️ DiffusionGANをベースにして、低周波数成分と高周波数成分に変換することで、入力を４倍圧縮して、高画質維持しながら、拡散モデルの中で最高速を達成した Wavelet Diffusion Models are fast and scalable Image Generators written by Hao Phung, Quan Dao, Anh Tran (Submitted on 29 Nov 2022 (v1), last revised 22 Mar 2023 (this version, v2)) Comments: Ac

As we grow our operations internationally, we’re expanding into Asia with a new office in Tokyo, Japan. We are committed to collaborating with the Japanese government, local businesses, and research institutions to develop safe AI tools that serve Japan’s unique needs and to unlock new opportunities. We chose Tokyo as our first Asian office for its global leadership in technology, culture of servi

先月末に能登半島に行って感じた私の意見を書き残しておきます。私は東京から金沢に行き、そこでホテルを取り、2泊しました。場所は明かしませんが、フロントでのチェックインがたまたま同じだったのが有名な新聞記者でした。私は映画もドラマもドキュメンタリーも講演会も見ているので声だけでわかりました。 そのビジネスホテルは、非常に簡素なホテルでしたが、金沢駅周辺はその日もその次の日もどこのホテルも一杯で、ADR(平均宿泊単価)の3倍ほどの料金。OCC(客室稼働率)は9割越え。繁華街ある片町も同様でした。金沢の街に震災の雰囲気はいっさいなく、街には人が溢れていることに驚きました。訪日観光客だけでなく、若者や会社員多い。とにかく若いと感じました。 能登半島は地形の通り、必ず金沢や富山を経由しなければ行けません。もっというと半島の喉元であるこのあたりをベースにしなければ、ボランティアも能登半島に宿泊施設がない

2011年6月10日、Evernoteを使用開始。 2014年9月19日、有料プランに加入。 2024年3月23日、クソみたいなメールが届く。 プラン、廃止 いつも Evernote をご利用いただき、ありがとうございます。このたびは今後の Evernote 登録プランに関する変更についてご案内させていただきます。 お使いの Evernote アカウントは Plus から Personal に移行されました。Evernote Plus など、一般のお客様に数年間ご利用いただけなかった従来の登録プランが廃止となったためです。この変更により、Personal プランで利用可能な機能すべてをご利用いただけます。 今後はAnnualの登録プランが現在の Evernote Personal プランの料金 129.99 USD/Yearに合うように更新されます。この料金は次の更新日である2024/4/

無料版Geminiは「テンプレそのまま」 まずは、無料の「Gemini」と有料の「Gemini Advanced」でさまざまなプロンプトを入力し、結果を比較した。両者の精度の違いについて、見ていこう。 最初に、ゼロから新たな文章を生成する用途として、「入社式を想定した2分程度のスピーチ原稿」を作成してみた。無料版Geminiで出力されたものは、よくあるテンプレートをそのまま使ったという印象である。悪くはないが、この程度であれば生成AIを使うまでもなく自力で作れそうだ。 一方のGemini Advancedは、冒頭で自社の特徴を紹介したり、「大切なこと」に具体的な説明が盛り込まれたりと、より肉付けされた内容となった。ただし、全体的な完成度はもう一歩という印象もある。 たとえば、この原稿では「はなむけの言葉として、3つの大切なことを～」と出力されているが、「はなむけの言葉として」はあくまでもプ

1. はじめに Cohere社が最近リリースしたLLMのCommand R+がGPT4に迫る性能を発揮していたり、RAG利用での性能で話題となっています。 そのCommand R+でRAGを体験できるチャットアプリの実装がLightningAIにてチュートリアルが公開(CC-BY-4.0ライセンスとして)されています。 これを身近な環境で動かしてみたいと思います。 このチャットボットでCohere社の以下のモデルが使われています LLM: Command R+ Embed: embed-english-v3.0 / embed-multilingual-v3.0 Reranker: rerank-english-v3.0 / rerank-multilingual-v3.0 以下の動画のようにブラウザでPDFファイルをアップロードしてチャットで問い合わせができます。 2. 必要なもの 以下

はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。

イランの国営メディアは、イスラエルに向けて複数の無人機が発射されたほか、イスラエルが占領するゴラン高原に向けてミサイルが発射されたと伝えました。今月1日にシリアにあるイラン大使館が、イスラエルによるとみられる攻撃を受け、革命防衛隊の司令官らが殺害されたことへの報復としています。 イスラエルのメディアなどは、イランの複数の無人機は撃墜されたと伝えています。 イランの国営テレビはイスラエルが占領するゴラン高原に向けてミサイルが発射されたと伝えました。 今月1日にシリアにあるイラン大使館が、イスラエルによるとみられる攻撃を受け、軍事精鋭部隊の革命防衛隊の司令官らが殺害されたことへの報復としています。 これに先だって、イランの国営テレビは革命防衛隊が、イスラエルに向けて複数の無人機を発射したと伝えていました。 一方、イスラエル軍は、イランが自国の領土からイスラエルに向けて複数の無人機を発射したと現

Play video, "Key power plant in Ukraine hit by Russian strikes", 所要時間 0,28

今までで最もインパクトのあるGPTsが完成しました。 その名も、「GAS Interpreter」です。 このGPTは名前の通り、Code Interpreter のように Google Apps Script コードを生成し、その実行までを行います。 他者に使ってもらうものではなく、自分専用のプライベートGPTです。 人によっては、Code Interpreter よりも便利です。なぜかというと、インターネットアクセスができることに加えて、GAS の便利で豊富なライブラリやリソースが活用できるためです。 例を示します。 GAS Interpreter の可能性以下に示す、いくつかの業務フローの実例をGAS Interpreterで行い、業務活用への可能性を示します。 今日の予定を聞きます今日の予定を教えて下さい 正確に今日の予定を教えてくれました。 会議参加者の相手に連絡したいので、その

3月4日の公開以来、「Claudeやばくない？」「GPT-4を越えた」と、界隈で話題の「Claude 3」は、OpenAIの元メンバーによって設立されたAIベンチャー「Anthropic」が開発する最新の大規模言語モデル（LLM）だ。今回はChatGPTのライバルClaude 3の有料版を2週間ほどヘビーに使ってみて感じたことを、良い点と悪い点どちらも書いていきたいと思う。 Claude 3とは？ 既報の通り、Claude 3はAnthropicが開発する大規模言語モデルの名称だ。 パラメーターのサイズなどが異なる3つのモデルがラインアップされている。 「Claude 3 Opus」は最も知能が高く、複雑なタスクでも最高のパフォーマンスを発揮する強力なモデル。APIやデータベースを介した複雑なアクションの計画や実行、インタラクティブコーディングなどの高度な活用が想定されている。 「Clau

・みんながんばってるんだよ？ ・一番辛いのは本人だから ・死ぬ気でやろ？死なないから あと一つは！？！？！？

2024年4月11日、元横綱の曙太郎さんが、４月に心不全で亡くなったことが分かりました。 告別式は家族のみの密葬で行われるというこです。54歳でした。 曙太郎さんは7年前に北九州市で倒れて以来、闘病生活を続けていました。曙さんは、東京近郊の病院に入院していたということです。 全ての画像を見る アメリカ・ハワイ出身の曙さんは1993年に第64代横綱になり、人気を博しました。 ■元横綱　来歴 曙さんはアメリカ・ハワイ出身。 昭和63年3月場所で初土俵を踏み、203センチを超える長身から繰り出す突きと押しで人気を博しました。 平成2年9月場所で新入幕を果たし、平成4年7月場所で新大関 に。そして、平成5年3月場所で外国人として大相撲史上初の第64代横綱となりました。 若貴兄弟とライバル関係を築き、1990年代の空前の相撲ブームをけん引しました。 生涯戦歴は654勝232敗181休(78場所)。

OpenAI⁠⁠、GPT-4 Turbo with Visionの一般提供を開始 OpenAIは、最新の生成モデルGPT-4 Turbo with VisionをAPIで一般提供しはじめた。そしてChatGPTにも展開しはじめたことに言及した[1]。モデルgpt-4-turboには現在gpt-4-turbo-2024-04-09が使われている。 Majorly improved GPT-4 Turbo model available now in the API and rolling out in ChatGPT. https://t.co/HMihypFusV — OpenAI (@OpenAI) April 9, 2024 GPT-4 Turboは画像を理解できるマルチモーダルであり、そのことを指してGPT-4 Turbo with Visionと名付けられている。コンテキストウィン

講談社サイエンティフィク様より『転移学習』をご恵贈いただきました。一通り読み終えたので感想を書きます。 転移学習 (機械学習プロフェッショナルシリーズ) 作者:松井 孝太,熊谷 亘講談社Amazon 全 414 ページとかなりの重厚感。しかも決して引き伸ばした跡がなく、むしろ原液のような濃さを感じる中身です。原理に基づいて本質的な事項が解説されており、しっかり読むととても力のつく一冊だと思いました。 転移学習の難しさを直視する 本書の大きな特徴は転移学習の難しさを誤魔化さずに正面から取り扱っている点です。 転移学習とは、元ドメインのデータ と目標ドメインのデータ が与えられたときに、目標ドメインでの性能が高いモデルを獲得する技術です。鍵になるのは元ドメインのデータであり、これをうまく活用することで従来の学習よりも「ラクに」良いモデルを得ることを目指します。ここでいうラクとは、必要な目標ドメ

ℌ𝔞𝔯𝔱𝔪𝔞𝔫𝔫 @E_H_352 > ｢年功序列より成果主義の方がいい！｣ 2000年ぐらいに富士通が全社で成果主義を導入したら「評価に繋がらない仕事を誰もやらなくなった」「管理職の評価は相対評価ので馴れ合いだったので、優劣が付けられなくなった」その結果、組織全体の生産性が低下したと本社人事部の城繁幸が著書で書いてる。 x.com/fukuei_you_no_… 2024-04-07 19:16:36 福泳祐一@祝厩舎初勝利 @fukuei_you_No_1 年功序列から成果で評価するって ここ最近色んな会社が変わりつつあって ｢年功序列より成果主義の方がいい！｣ って思ってる人が多いんだなぁ みんなすごいなぁ 成果主義になったときに 自分が今より評価される側だと思っているのね 私はこのままでいいわ 2024-04-07 19:12:55

―教育現場でChatGPTを活用するに当たっては、一般的なAIの使用方法ではなく、独特のノウハウが必要だということですね。 その通りです。具体例を1つ挙げましょう。ChatGPTでは、トレーニング量が一番多い言語は英語です。よってChatGPTは英語に関する作業が得意で、英文の添削などは「お手の物」です。間違いのない英文の作成を目指すビジネスパーソンの場合、ただ単に自分が書いた文章をコピペして、スペルや文法のミスを修正して出力するようにChatGPTに指示すれば、目的は達成できるでしょう。あるいは、日本語の文章をそのまま英語に翻訳させれば、もっと簡単に仕事を終えられるかもしれません。 しかし、教育においては、完璧な英文の作成ではなく、子どもたちの学びにつなげることこそが目的となります。そこで、教師が次の（1）～（4）の条件を含んだプロンプトを書き、そのプロンプトを使って生徒が自分の英作文を