複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
いちばんやさしいローカル LLM｜ぬこぬこ
概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたくさん増えました。有名な LLM を使ったチャットサービスとして、OpenAI の ChatGPT や Anthropic の Claude、Google の Gemini などがありますが、これらのサービスの中で利用されている大規模言語モデルは公開されていません。 現状、様々な評価指標により LLM の性能が測定されていますが、
アメリカでソフトウェアエンジニアの職を探した - pco2699’s blog
はじめに 前提 アメリカで働くためのビザ 業務経験 2023年のアメリカのテック業界の状況 具体的な就活のステップ ソフトウェアエンジニアのインタビューで求められることの抽象的な理解 レジュメ Job Descriptionから逆算してレジュメを作る 一枚におさめる 数字を用いてスケールとビジネスインパクトを示す なるべく隙間を埋める フォーマット添削ツールにかける レビューを受ける ネットワーキング・リファラル 応募する アメリカの就活はNumber Game 採用のトレンドを追う 時期を見計らう Linkedinで最新の求人を見つける方法 Promotedをすべて非表示にする "Most Recent"順にする 検索クエリを工夫する 設定をブックマークする 時間を決めて巡回する コーディングインタビュー対策 アルゴリズムの地図を脳内に作る 大学やCouseraでアルゴリズムの授業を取る
カナダ大使館でだけ名刺交換やしりとりが失敗する話｜南治 一徳
祖母の就寝と、システムの不具合が同期して起こる事件。IT業界にはこういった事件がまま見られる……。ITサスペンス物としてこういうネタ楽しいのができるかもしれない。いや、間口狭すぎるか？ 祖母が就寝するとDBインサートができなくなる https://t.co/q2PBRL3JzS — 寺島壽久/ゲームキャストの中の人 (@gamecast_blog) January 8, 2024 この手の話、自分も大好物なんで早速リンク先に飛んで読ませていただいたのですが、自分の経験でもちょうどこんな話に当てはまる出来事があったことを思い出したので、noteにまとめました。それが、タイトルにもある「カナダ大使館でだけ名刺交換やしりとりが失敗する話」です。 まず、前提としてこの話は「どこでもいっしょ」（以降、どこいつ）というゲーム開発中の話でになりまして、25年ほど昔の話になります。タイトル中の「名刺交換」
X（Twitter）にバッキバキに打ちのめされて始まった2023年が終わりそうなので今年をいろいろ総括する話｜Togetter（トゥギャッター ）
みなさん、こんにちは。Togetterを運営するトゥギャッター社の代表のyositosiです。2023年も年末で仕事納めということで、今年を振り返るコンテンツを残しておこうと思います。主にXとネットメディアを取り巻く話題を中心にお届けします。 1月：サードパーティー製Twitterクライアントの一斉締め出しTwitterが他のSNSに比べて、圧倒的に優れていた点に、機能の大部分をAPIという形で解放して、多くの開発者が優れた関連アプリを作れたことにあると思います。特に、その初期においては、ガラケーやスマホ向けのアプリはTwitterオリジナルではなく、第三者が作ったアプリで支えられていました。 その後、公式のアプリとして買収されたものもありましたが、引き続き多くの非公式アプリが、ユーザのTwitter体験をそれぞれに最適化していたのは間違いないと思います。 とはいえ、本体の機能追加とともに
GitHub - ByteByteGoHq/system-design-101: Explain complex systems using visuals and simple terms. Help you prepare for system design interviews.
Architecture styles define how different components of an application programming interface (API) interact with one another. As a result, they ensure efficiency, reliability, and ease of integration with other systems by providing a standard approach to designing and building APIs. Here are the most used styles: SOAP: Mature, comprehensive, XML-based Best for enterprise applications RESTful: Popul
警察が嫌がる苦情の入れ方（警察にとってダメージの大きい苦情の入れ方） | 元警察官による暴露ブログ
「警察官に暴言を吐かれた！」 「職質してきた警察官が横柄な態度をとってきた。こちらは協力してやったのに気に喰わない」 このような警察官の職務中の態度や問題行動について苦情を入れたくなるときってありませんか？ 警察官の立場としては、なるべく苦情を受け付けたくはないし、できれば知らないフリをして逃げたいところです。ですがあまりにも横柄な態度をとる警察官がいたり、権力を振りかざすような警察官がいるのも事実。 そこで今回は「警察官が嫌がる苦情の入れ方」「警察組織に対する効果的な苦情の入れ方」についてご紹介します。 この方法で苦情を入れれば効果てきめん！苦情が警察内部で゛なかったこと゛にされて悔しい思いをすることもなくあなたの意見がすんなりと受け入れられ、警察官の行動や態度は劇的に改善されるでしょう。 警察官が嫌がる苦情には、 公安委員会苦情 監察苦情 の2種類があります。 都道府県公安委員会に苦情
賃貸マンションに入れてはいけない客・外国人と老人編
賃貸マンションに入れてはいけない客 https://anond.hatelabo.jp/20230609174500 賃貸マンションに入れてはいけない客・Q and A編 https://anond.hatelabo.jp/20230610122156 ↑を書いた元増田です。 kappa_ycさんの「この文章をきっかけに読み手のステレオタイプが拡大され同様の行動に至ればそれは立派な差別の助長」という理性的な批判コメントは俺の琴線に触れた…。なるほど理解できる…。 それなら俺の書いた記事を公開したままにしておくのは良くないな。 ただ、前記事で外国人と老人について書いたところは俺の力が足りず、大きく誤解されていたように感じたので、補足を入れたい。その周知期間として2、3日とり、その後はこの記事も含め適当なタイミングで削除する。 ⚫︎外国人について まず俺が入居を断る外国人はビジネスレベルの日本
タバコと職質は学生のうちにやめといた方がいい｜めめいめい
・はじめにどうも、めいです。最近は日本に帰ってきて、ジビエを流通させたり、困窮した人間を京都に拉致して家と仕事をぶん投げたりしています。アニメ版銀魂か、ハヤテのごとく！ みたいな記事名で恐縮ですがよろしくお願いします。 早速ですが皆さん、されたことありますか？ もちろん、職務質問のことです。 僕は昨日、ひさしぶりに職務質問ーー通称、†職質†を食らいました。基本的に善良な小市民として陽の当たる道を生きているつもりですが、食らったものは仕方ない。きちんと応対するぞ！ そう思って臨んだ職質だったのですが、まあ肝が冷えました。 結論から言いますと、 職質で比較的ぬるい空気が流れるのは学生までだということです。 "沈黙が金なのだ。不在が神なのだ。神とは人間の孤独さだ。俺しかいなかったのだ。" 「悪魔と神」ジャン=ポール・サルトル ・経緯まず、突然思い立って、野外で焚き火をしつつ、鹿の頭を煮ることにし
第1回 LLM 勉強会
2023年5月15日（月）に国立情報学研究所にて初回となる LLM 勉強会を開催しました。 プログラム 勉強会の趣旨、国の動向など [資料] 黒橋禎夫（国立情報学研究所） 現状の LLM のサーベイ [資料] 河原大輔（早稲田大学） 菅原朔（国立情報学研究所） 栗田修平（理化学研究所） 各機関での試みの紹介 河原大輔（早稲田大学）[資料] 坂口慶祐（東北大学） 佐藤敏紀（LINE） 高村大也（産業技術総合研究所） 参加者 乾健太郎（東北大学・オンライン参加） 鈴木潤（東北大学・オンライン参加） 坂口慶祐（東北大学） 高村大也（産業技術総合研究所） 石垣達也（産業技術総合研究所・オンライン参加） 栗田修平（理化学研究所） 吉野幸一郎（理化学研究所・オンライン参加） 鶴岡慶雅（東京大学）（資料提供のみ） 宮尾祐介（東京大学） 谷中瞳（東京大学・オンライン参加） 吉永直樹（東京大学・オンライン参
令和05年最新版 日本の半導体産業の現状について
台風で仕事が休みになりそうなので暇つぶしに。 3年くらい前に日本の半導体産業の近況をまとめたのですが、ここ数年で政治家の先生たちが何かに目覚めたらしく状況が大きく変わりつつあるので各社の状況をアップデート。 前回の記事 https://anond.hatelabo.jp/20200813115920 先端ロジック半導体■ JASM (TSMC日本法人) 熊本工場：28nm, 22nm (工場稼働時) / 16nm, 12nm (将来計画) 日本政府の補助金とソニー・デンソーの出資という離れ業により、業界人が誰も信じていなかったTSMCの工場進出が実現した。現在は建屋の建設が進んでおり、順調にいけば2024年内には量産開始となる。生産が予定されているプロセスはいずれも世界最先端に比べると古いものだが日本では最先端であり、HKMG(ハイケーメタルゲート、トランジスタの性能を上げる技術)やFin
無職33歳男性が、三か月間eスポーツでオリンピックを目指してみた結果｜ちょもす
3月の頭に雑談配信をしていたとき、eスポーツオリンピックシリーズについて知らされたのがきっかけだった。 当時誰も注目してなかった『Tic-tac-bow』が熱いことを発見し、記事にしたのが3月3日。それから二か月近くあった「本当に開催されるのか怪しい疑念期」、「予選が行われることはわかったが予選のルールが当日までわからない不安期」、「アーチェリーにおいて特定のセット手順を発見しなければ勝ち残れない予選期」を経て、先週末にオリンピックの二次予選を迎えた。気になる人はnoteの過去記事を読むと仔細が書いてあるので、読んでみてもいいかもしれない。 二次予選は一次予選を抜けた32人によるダブルエリミネーション方式。「二回負けたら敗退」のトーナメントだ。上位6人が来月シンガポールで開かれるオリンピック大会に出ることができる。参加に自己紹介のビデオメッセージが必須であると明かされたのは大会の4日前のこ
ホストやってたけど普通はサイコパスになれんよ
俺はホストやってたけど、人間的に騙しまくるのは無理だったので辞めた。 まずホストに来る女は全員病んでる。必ず病んでいる。初回というのがあって金額が安いので「物は試しに」などと言う輩もいるが、基本的に何かしら心に闇を抱えていることが多い。それを「ホストに来さえすれば解決する。こっちは客だぞ」と思っていることが多い。 色んなホストで初回ばかり来るやつは初回荒らしと言われる。こういうやつは基本わかる。まず金を持っていない。金を持っていないのにも関わらず頼み慣れている。観光のような形で来るやつらだ。こういう相手には基本的にホスト側も全力で行かない。ゴミ客のような扱いでとりあえず義務的にやる。 ホストは女の金を見ている。服装から風俗嬢か、一般人かなどを見ている。一般人で1人で来るヤツは比較的狙い目だ。普通は1人でホストになんか来るわけがないからだ。友達がいない・繋がりがないことを証明している。 ホス
「巨人の選手だったんですか？」巨人をクビになりハローワークに通った田原誠次が、工場勤務で見つけた“本当の幸せ” | 文春オンライン
まずは、僕が野球を嫌いになりかけた話から始めさせてください。 幸運にもプロ野球選手になれて、好きなものを仕事にできて、それなりに1軍で結果を残せて。満ち足りた野球人生を送らせてもらいました。 でも、結果的に現役最終年だった2020年、僕はあんなに好きだったはずの野球が嫌いになりかけていました。調子がよくても、結果を残しても使ってもらえない。1軍に上がるのは若い選手ばかり。プロ9年目、31歳になった僕も「これがプロの世界だ」と理解していたはずでした。 元プロ野球選手の就職活動 最初に頭に浮かんだのは家族のこと。僕には妻と息子、娘の家族がいます。現役時代は家族との時間が取れなかったので、半年近くは仕事もせずに家族サービスの時間にあてました。一緒に買い物に行ったり、娘の幼稚園の送り迎えをしたり、息子の学校行事に参加したり。 それはそれで楽しかったのですが、さすがに仕事をしないと家族を養えません。
立憲民主党の対応の何が問題か（入管法改正関係）
立憲民主党の意向を踏まえた修正協議が整ったのに、土壇場で立憲民主党が反対に回った案件ね。 もちろん、修正案への賛否はあるだろう。到底受け入れられないと絶対反対のスタンスを取る人がいるのも分かる。 だが、それを理解した上でも、法案の内容にかかわらず今回の立憲民主党の対応はいただけないと感じたので備忘録的に残しておこうと思う。 前提①衆院法務委において立憲民主党は他の野党とともに自公と修正協議を行っていた。 ②立憲民主党内には、法案に問題点が多すぎて修正協議に入るべきではない、とする一派があった。（https://www.google.com/amp/s/www.jiji.com/amp/article%3fk=2023042101022&g=pol） ③自公が（維新・国民よりも）立憲民主党に配慮した修正案を提示した。 ④修正案は、立憲民主党の修正協議担当者から見て十分に受け入れ可能なものであ
鉄道の謎ルール 障害者割引“一人で利用はダメ” ルーツを調べてわかった意外な理由 | TBS NEWS DIG
私が所属するTBSテレビ調査報道ユニットにある男性から情報が寄せられた。かみ砕くと次のような内容だった。「私は公共交通機関の運賃割引が適用される第一種の身体障害者です。3月18日に運賃の割引が適用される障…
「講座制」と「学科目制」からみる研究室の構成｜Weekly 院生活
教授・准教授・助教がいる研究室と、教授（准教授）が一人だけいる研究室の違いの理由を知っていますか？ 将来教員になりたい方は、そのルーツを知っておくことで、教員を目指す道筋の1つの指標になるでしょう。 両者の違いは、旧帝国大学系の大学と地方国立大学のでき方の違いから生じていると言われています。 1. 異なるルーツ実は、そもそも旧帝国大学系の大学と地方国立大学は、異なるルーツを持っています。 戦前期の日本には、帝国大学・大学校・高等学校・大学予科・専門学校・高等師範学校・師範学校など、さまざまな学校が存在していました。 学校系統図 出典：文部科学省それらは別々の法律の元で運営され、設置基準も異なっていました。 そして、機能的にも、総合大学であった帝国大学を除くと、全てが単科の高等教育機関でした。 2. 違いが生み出された背景それが第二次世界大戦後の再編・統合をへて、1949年に単一の四年生の大
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ツイートオブザイヤー2023
保存版！使っている専門通販サイト
コンテナ技術における最新の研究動向
