今回は、最新の Google Gemma モデルを Apple Silicon に最適化されたライブラリ MLX を使ってローカルで実行したり、ファインチューニングしてみましたのでその手順を紹介します。 MLX 関連の情報はドキュメンテーションが分かりづらいものも多かったので色々試した経緯も共有しながら少しでも何かの参考になれば幸いです。 実際に使った Jupyter Notebook を Gist にアップロードしていますので、そちらも参考にしてください。 →Google Gemma モデルを MLX を使ってローカルでファインチューニング 事前準備必要なライブラリをインストールします。 また Apple Silicon 搭載の Mac が必要です。今回は M3 Max 128GB 搭載の MacBook Pro で実行しました。 !pip install -U mlx mlx_lm t
今日は、ローカルにてRAG(Retrieval-Augmented Generation)を使って、あるPFDについて質問するチャットを作ろうと思う。 OpenAIを使うので、無料ではないので注意されたい。 今回のソースは LangChain 完全入門 という本を参考にしていて、とても勉強になるので購入をお勧めする。 行いたいこと ローカルでPDFを読み込ませて、内容を質問したり、要約させること。 大きな流れ 環境準備 チャットアプリの土台の作成 プロンプトを定義 アップロードされたPDFファイルを分割 内容をベクトル化し保存 入力された質問とPDFから抽出した適した文をOpenAIに送信 回答を得る。 詳細 環境準備 環境構築 Python : 3.11.6 pip ライブラリ chainlit==1.0.101 チャット画面を簡単に作るライブラリ chromadb==0.4.22 ベク
Causal ML BookVictor Chernozhukov, Christian Hansen, Nathan Kallus, Martin Spindler, Vasilis Syrgkanis An introduction to the emerging fusion of machine learning and causal inference. The book introduces ideas from classical structural equation models (SEMs) and their modern AI equivalent, directed acyclical graphs (DAGs) and structural causal models (SCMs), and presents Double/Debiased Machine Le
人と比べたことはないのですが、私は日本で利用できる(主にオンラインの)英語学習サービスをかなり色々と試した方だと思います。 この note では、以下の目次で私が利用したサービスの良かった点、向き・不向きなどを紹介していきます。 「体験レッスンだけ受けた」とか「有料で数回だけ利用した」というサービスは他にもいくつかあるのですが、この記事では、自分がユーザーとしてそれなりに使ったもので、かつ受講者のレベルや目的に合う場合におすすめできるものだけを紹介します。 本題に入る前に私自身について少し触れておきます。 私は、米国企業の日本法人で IT エンジニアとして働いています。もし職歴等にご興味あれば LinkedIn のプロフィールをご覧ください。 日本のお客様・日本法人の同僚とは当然日本語ですが、直属の上司や自分のチーム・部署のメンバーとは全て英語で仕事をしています。普段のコミュニケーションは
科学的根拠に基づく最高の勉強法 を読んだので要約と感想を書きました。 読んだきっかけ 読みたい技術書がたくさん溜まっているため、その前に勉強法についてアップデートしておきたいと考えて読みました。 目新しいことはないだろうと想定しつつ、今まで自分が身につけてきた勉強法とすり合わせて効率を上げることを期待していました。 以下、要約と感想です。 全体的な感想 科学的根拠を提示しつつ、筆者自身の体験ややり方も紹介している点で非常に好感が持てました。科学的根拠があると示されていることでより確信をもって効率の良い方法に取り組むことができそうです。 もともと知っていることが多かったものの、勉強法がまとまっているため自分の改善の余地が大きいところを俯瞰的に見ることができました。特に CHAPTER4 は僕自身の改善の余地が大きい部分で実践的に取り入れたいです。 勉強法を学ぼうとする多くの方におすすめできる
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級&中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる&僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
国民的ゲームソフト「桃太郎電鉄」、通称「桃鉄」。目的地の駅を目指して日本各地を巡りながら地域の特産や名物の「物件」を購入して収益を上げ、総資産が勝敗を決するボードゲームだ。88年の第1作発売からおよそ35年が経ち、2023年11月には最新作「桃太郎電鉄ワールド」が発売された。 コナミは23年、この桃鉄を学校教育機関向けに無償で提供する取り組み(「桃太郎電鉄 教育版Lite ~日本っておもしろい!~」)を開始した。この教育版桃鉄をいち早く導入した大阪・枚方市立小倉小学校の6年生が2月7日、桃鉄制作者らを迎えてプレゼン発表会を行った。 桃鉄制作者らの前でプレゼンを行う枚方市小倉小学校の6年生 プレゼンテーマは、「桃鉄に枚方を追加してもらおう」。枚方が桃鉄の駅として存在しないことに注目し、同校の6年生たちが枚方の魅力を全力でアピールした。 「ひらかたパークは明治45年に開園した日本最古の遊園地。
みなさんのまわりにも、継続的に成果を出し続けている、いわゆる「ハイパフォーマー」がひとりはいるのではないでしょうか。彼ら彼女らは、なぜ一発屋で終わらず、安定して高い成果を挙げ続けられるのでしょうか。 お話を聞いたのは、ハイパフォーマーがもつ要素を分析している増子裕介さんと、その分析対象となったこともあり、ビジネスパーソン向けにデッサンを教えその過程で新たな知覚と気づきを促し、脳力開発を行なうプログラムを提供する増村岳史さん。ふたりは、ハイパフォーマーが共通してもつ「7つの思考・行動様式」というものがあると言います。 構成/岩川悟 取材・文/清家茂樹 写真/玉井美世子 【プロフィール】 増子裕介(ますこ・ゆうすけ) 1965年6月5日生まれ、兵庫県出身。株式会社T&Dコンサルティング代表取締役。東京大学教養学部卒業後、株式会社電通に入社。約20年の営業生活を経て、2008年に発足した社長直轄
まとめ Danbooru タグをいい感じに生成・補完してくれる LLM を作ることができた データセットやトークナイザーの作成、事前学習、SFT、推論の最適化まで一通り体験できた 作成したもの: モデル (SFT): モデル (事前学習): デモ: 🤗 Space はじめに 最近いい感じの画像生成 AI が流行ってきていて、プロンプトを指定するといい感じの画像が生成できるようになってきました。 しかし、いい感じの画像生成モデルを使っていてもプロンプトがしっかりしていないといい感じになってくれません!困りました! DALL-E 3 では画像生成をお願いすると、ChatGPT が指定された情報にさらに詳細な情報を追加し、長いプロンプトにしてから画像を生成するようになっています。 少ない情報から情景を想像して詳しい情報を追加している (実際の生成では英語が使われる) DALL-E 3 の論文に
ソフトウェア開発において、アジャイルという考え方はかなり浸透しています。多く出版物やWebコンテンツ、さまざまなコミュニティやセミナーが存在し、アジャイルの情報には触れやすい状況になってきました。一方で企業においてアジャイルを導入しようとする際に開発チームのどこを変えるべきか、組織固有のルールとどう折り合いを付けるかなどに頭を悩ませる方も多いでしょう。 『SCRUM BOOT CAMP THE BOOK』などの著作で知られ、アジャイルコーチとして企業の組織づくりを支援する永瀬美穂(@miholovesq)さんは、これまで複数の大学で授業におけるアジャイル導入も支援し、その成果を発表する「Agile PBL祭り」を主催してきました。永瀬さんによると、学生は前提知識もないところからソフトウェア開発を学ぶため、社会人エンジニアより自然とアジャイルに取り組める面もあるそうです。 大学はなぜ教育にア
●Game Overview This app is an educational puzzle game that can be enjoyed by a wide range of people, from young children and elementary school students to adults who are learning Japanese Kanji. You can learn the readings of Kanji while enjoying a falling game where you combine fruits. Kanji from the 常用漢字 (jōyō kanji) list that elementary and junior high school students from first to nine grade le
今、自分が所属している会社では、いわゆるフルサイクルなアプリケーションエンジニアがほとんどで、SRE のような、システムを運用改善することを専門にするメンバーは居ません。一方でそれなりにプロダクトの数は多く、各種ミドルウェアの運用で困っているのを見かけることがあります。 色々な人が似た問題に悩むのはもったいないので、「MySQL を運用したことがある人からすると、こういう考え方をする」という風な目線で勉強会を行いました。せっかくなので社内の情報を抜いたうえで公開します(同じようなことを色々な場所で言っていて、その都度作り直しているから……というのもあります)。 speakerdeck.com ちなみに DB のどこで悩むかはだいぶ業界ドメインに左右されると思っています(それはそう)。ゲーム業界なんかは、激しくスパイクするワークロードな上にミスったときの機会損失が激しいので、シャーディングを
『科学的根拠に基づく最高の勉強法』という本はamazonで評価が高く、「星の評価が5つと半端ない」と絶賛しておられる方もいらっしゃいます。 しかし、それを言うなら、キャロル・デュエックさんの成長マインドセットの本だって、アメリカのamazonで2万1138人に評価されて☆4.6という半端ない高評価ですが、その科学的信憑性については、この記事に書いたとおりです。 『科学的根拠に基づく最高の勉強法』のすべての主張を逐一検証するのは時間がかかりすぎるので、この本の「CHAPTER1 科学的に効果が高くない勉強法」の最初のセクションである「科学的に効果が高くない勉強法1 繰り返し読む(再読)」の「繰り返し読む(再読)のは他の勉強法と比較すると効果が低い」という主張について見てみましょう。 この本がその根拠の一つとして挙げているRawsonらの2005年の論文の中には、以下の3つの条件で行った実験に
「書籍オンライン」「DIAMOND愛読者クラブ」を運営する編集部。経営、経済、ビジネススキル、自己啓発、 マネー、健康、女性実用、子育て、サイエンスなど多様なジャンルのオリジナルコンテンツを発信している。 定番読書 読まれる本には理由がある──。 情報が次から次へと溢れてくる時代、長く支持されている定番書の普遍的な価値が増しています。 そこで、この連載では、今こそ読みたいロングセラーのメッセージを紹介します。 バックナンバー一覧 ピーター・F・ドラッカーの著作の中でも、最も広く長く読み継がれてきた名著『経営者の条件』。タイトルには経営者とあるが、この本は「経営者にとって役立つ」だけの本ではない。それこそ普通のビジネスパーソンはもちろん、アーティスト、クリエイター、アスリート、学生、さらには家庭人としても多くの示唆をもらえる一冊なのだ。ドラッカーの入門編としても、ぴったりだ。さて、ドラッ
「二兎を追う者は一兎をも得ず」ということわざがありますが、現代社会を生きるビジネスパーソンにとって、この言葉は参考にならないでしょう。情報量が多く、変化がめまぐるしい現代においては、働きながら “学び続ける” ことが求められています。 では、仕事と勉強を両立するには?——この問題を解決するのは困難に思えますよね。ですが、インプットとアウトプットを頑張りすぎなければ、両立も不可能ではないのです。 今回の記事では、仕事と勉強を両立するための “努力しない勉強法” を、実践例とともに紹介しましょう。 【ライタープロフィール】 青野透子 大学では経営学を専攻。科学的に効果のあるメンタル管理方法への理解が深く、マインドセット・対人関係についての執筆が得意。科学(脳科学・心理学)に基づいた勉強法への関心も強く、執筆を通して得たノウハウをもとに、勉強の習慣化に成功している。 「スキマ時間に3分読むだけ」
本稿は,日頃英語で書く経験が乏しい日本語話者が,短期間で英語論文を執筆する方法について解説する。作業手順は,日本語による構想と原稿執筆→AIによる英語翻訳→AIによる文体改善→著者による最終校閲である。一貫している原則は,人間が,AIが不得意としている領域の作業に最善を尽くすことで,最終成果物の質を上げることである。作業の際の留意点は,ストーリー・文体・語法の3つの観点別に説明する。それぞれの強調点は,ストーリーでは戦略的な構想,文体では英語の発想に即した表現法,語法では日本語話者が不得意とする領域である。本稿は総じて,人間とAIが相互補完的に作業を進めることを推奨する。
米GitHubは、意図的に脆弱性が挿入されたコードを修正する、リポジトリ内学習エクスペリエンス「Secure Code Game」の、JavaScript、Python、Go、GitHub Actionsのチャレンジを含む第2シーズンを、2月15日(現地時間)にリリースした。 Secure Code Gameは、コードをレビューしてバグを修正し、テストを実行して次のレベルに進むという体験を通じて、安全なコーディングの考え方について学べるようになっている。GitHub Codespacesを経由して完全にクラウド上で構築されているにもかかわらず、2分もかからず起動が可能で、1か月あたり最大60時間、無料で利用できる。 Secure Code Gameの開発に先立って、開発チームは開発者コミュニティから、セキュアなコーディングを学ぶためのトレーニングにおいて苦労していることをヒアリングしたとこ
技術の素振りのために記事を書く 2024.02.20 技術の素振りを、ここではある特定の言語やフレームワークに対する理解を深めるために、その技術を使って何かしらの成果物を作成することと定義します。素振りの目的としては、ドキュメントからは読み取れない Pro/Con を得ること、その技術が実際のプロジェクトで使えるかどうか調査するといった事項があげられるでしょう。ただ素振りするだけではぼんやりと頭に知識が入っている状態になりがちですが、他者への説明というアウトプットを意識することで、コードを書くことによって得られた知見を整理できるようになります。 技術の素振りを、ここではある特定の言語やフレームワークに対する理解を深めるために、その技術を使って何かしらの成果物を作成することと定義します。素振りの目的としては、ドキュメントからは読み取れない Pro/Con を得ること、その技術が実際のプロジェ
前回の記事も、またまた思っていた以上の皆様に読んでいただけたようです。ありがとうございます! shouyutechou.hatenablog.com というわけで、第三回です。今回もあれです。 今回はなんというか、ツッコミどころが……という次元じゃない、のかな。うーん。 toyokeizai.net 日本酒「純米酒」「吟醸」の違い、正確に言えますか? という人が言えていない問題 2ページ目のツッコミどころ 特定名称酒は8種類ある 醸造アルコールの有無で分けよう 精米歩合で分けよう 吟醸造りについて 味について 高級なお酒が高いわけ 3ページ目のツッコミ どうやってお酒を選べばいいのか。 日本酒「純米酒」「吟醸」の違い、正確に言えますか? という人が言えていない問題 前々記事「日本酒『"添加物"で伝統的造り方が減少』は問題か」で「高級酒ブームが来ている」と述べましたが、大変失礼ながら、この2
最近読んでめっちゃ良かった本が下記の本だ。現在Amazonを見たら総合で35位で、星の評価が5つと半端ない。著者の方は以前から YouTube 動画などで勉強させていただいてたが、本が出たので速攻で買った。 勉強法とか大好物の自分としては読むしかないと思って買った。これは星5つは間違いない出来であった。さっそく自分も著者のメソッドを実施してみた。 実はこの本は、この本で紹介されている、そして私もそう思っている科学的に証明されたメソッドが効果の高い順から掲載されている。しかも、この本の面白いところは、この本のメソッドが本を読みながら各テクニックを体験できるところなので、ぜひ紙と書くものを用意して本を開いてほしい。 説明しないけど、多分こんな感じになる。わしは字が汚いので読めないだろう。 あんまし内容を書くとネタバレになったら申し訳ないので書かないけど、自分がめっちゃくちゃ嬉しかったことを書い
クマの出没や人身被害が全国で増える中、長野県は大量出没した際に新たに「警報」を発令する方針を示した。県は原則、人や農作物に被害を与えたクマ以外は、捕獲しても駆除せずに人の怖さなどを学ばせて山に返す「学習放獣」を行っているが、「警報」が出たときは捕獲・駆除を優先させるとしている。 【画像】捕獲されたクマを山に返す 全国で相次ぐクマの被害2023年度、全国で相次いだクマの目撃や人的被害。長野県内でも1月末までに前の年の倍近い1401件の目撃があった。 人身被害は11件12人に上り、2023年10月には飯山市でわなにかかったクマに襲われ、男性が死亡する事故も起きた。 こうした状況を受け、県は専門家などとクマ対策を検討している。 2月13日の会合で県が示したのが、大量出没した際、新たに「警報」を発令すること。発令した場合、捕獲・駆除を優先させる。 「学習放獣」長野県は全国最多県は原則として、人や農
「将来なりたい職業」として依然人気が高いエンジニア職。そんなエンジニア職ですが、生成AIなどの進歩もふまえ、10年後にどのような技術が主流になっているのか見通しを立てるのが難しく、将来に大きな不安を抱えている人が多いのも事実です。 そこで今回は、ログミーTechがブランドアンバサダー制度を開始することを記念して、さくらインターネット株式会社の執行役員 兼 CIO 兼 CISOの江草陽太氏と、後進のエンジニア育成に力を入れている株式会社リクルート データプロダクトユニット ユニット長の竹迫良範氏に、「10年後のエンジニアのキャリア」についてうかがいます。全5回。 登壇者の自己紹介 藤井創氏(以下、藤井):今日はログミーTechのライブ配信に参加いただきありがとうございます。今回もモデレーターを務める、ログミーTech編集部のリーダーの藤井です。よろしくお願いします。 ログミーTechで新たに
こんにちは、AIShift バックエンドエンジニアの石井(@sugar235711)です。 AIShiftでは去年の11月からAI Worker[1]という新しいサービスの開発が始まりました。(以下AI Worker) 本格的に開発が始まり3ヶ月弱経ったので、その間に試してきた技術やチームの取り組みについてまとめてみたいと思います。 はじめに この記事では、AI Workerのおおまかな概要・設計を説明し、それらのバックエンドを実現する上でどのような技術を試してきたのか、技術以外でのチームの取り組みについてまとめます。 少し分量が多いので、ライブラリについての情報を求めている方は、目次から気になる部分を読んでいただければと思います。 何を作っているのか ざっくりまとめると、Microsoft Teams/Web上で動くAIを活用した業務改善プラットフォームを作成しています。 GPTとRAG
本記事では、非線形の偏微分方程式の数値解法について、分かりやすい具体例とともに掘り下げていきます。Pythonを活用したアプローチ方法を学びます。 本記事を通して偏微分方程式の数値解法の1つを会得しましょう! 注) 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式(PDE: Partial Differential Equations)の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法(Finite Difference Method): 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。
最近は読書のやり方を変えてみたら知識の吸収速度・引き出し速度が上がった話 - $shibayu36->blog;に書いているやり方で読書をしている。こういう流れだ。 (1)学びたいと思った知識が書いてありそうな本を2~5冊選ぶ (2)1冊ずつざっくり読みながら、面白かった部分・気になった部分はKindleで黄色にハイライトしておく (3)全冊読み終わったら、ハイライトした部分だけ眺めて、やっぱりおもしろいと思ったところは赤のハイライトを付け直す (4)赤のハイライトを眺めて、読書ノートに転記する (5)とくにおもしろい部分については、自分の知見まとめノートにカテゴリごとに整理する しばらくこれを続けて感じたのは、結局のところ(4)〜(5)に至るまで書籍の内容が全然頭に入っていないということだ。(4)(5)の時に、はじめて「書いている内容が言いたかったのはこういうことだったのか」と頭が急に理
はじめに この記事では、学んでいくためのマイルストーンとして「知ったかぶりができること」を設定するのもアリなのでは? という提案をします。 初学者でなくても『どうやって学んでいこうかな~』は全エンジニアの関心事だと思うので誰かの行動のきっかけになれたらうれしいです。 目次 (エンジニア)人生は勉強や! 「知ったかぶり」を再定義する 「知ったかぶり」を可視化する 無知の知はすぐに自覚できる どうすれば人に説明できるようになるのか いったんここまでのまとめ 脳内イメージの解像度をどう上げていくか アウトプット先を意識したインプットをしよう " 知ったかbrilliant Journey of Engineers " さあ、なにを知ったかぶりしていこう? おわりに (エンジニア)人生は勉強や! 技術は高速かつ複雑に成長しているので、新たな分野を学ばなきゃいけない機会はどんどん増えていく。また、そ
生産性を爆上げしたい おのやんです。 みなさん、生産性を爆上げしたいと思ったことはありませんか?私は毎日の業務に取り組む上で、どうすれば生産性を上げられるか日々考えています。 そんな中出会ったのが、こちらの「世界一流エンジニアの思考法」です。 本書を読んだ際には、「なるほど、こういう取り組み方をすれば生産性を向上させられるのか」とものすごく腹落ちしました。 その後、本書に書かれている内容を私なりに解釈・適用して実践してみました。その結果、目に見えて生産性やアウトプットに変化が見られました。ということで、今回は実際にやってみた取り組みとその変化について、本記事で紹介したいと思います。 本書について 本書を書かれた牛尾さんは、アメリカのマイクロソフトで現役のソフトウェアエンジニアでいらっしゃいます。マイクロソフトで働く同僚の生産性の高さを観察し、彼らが実践していることなどを紹介する内容となって
株式会社はてな フロントエンドエキスパート mizdra 1997年生まれ。2020年3月に電気通信大学情報理工学域Ⅰ類を卒業、4月に株式会社はてなに入社。2022年2月にフロントエンドエキスパートに就任し、チームの開発をリードしながらはてな社全体でのフロントエンド啓蒙活動を担う。HNの読みは「みずどら」。 X(Twitter) SpeakerDeck mizdra’s blog 技術や業界など仕事についての情報収集の基盤として多くのエンジニアを支えていたTwitter(現X)が、以前とは異なる姿となってゆく今、必要な情報を過不足なく収集しインプットする方法に悩みを持つ人も少なくありません。 「アフターTwitter時代の情報収集」と題したこの連載では、業界をリードする方々に、Twitterの変化によって普段の情報収集の方法がどう変わったか、欲しい情報を効率よく集めるために何をしているのか
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く