はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複

プログラムの実行速度やウェブサイトの表示速度は、たった数秒の改善でも多くのエンジニアたちの苦心を必要としますが、時として拍子抜けするほどにあっけなく、かつ劇的な改善がなされる場合もあります。画像共有サービスのPinterestが自社のブログで「たった1行の変更でコードの実行時間を99％短縮した」事例を紹介しています。 How a one line change decreased our build times by 99% | by Pinterest Engineering | Pinterest Engineering Blog | Oct, 2020 | Medium https://medium.com/pinterest-engineering/how-a-one-line-change-decreased-our-build-times-by-99-b98453265370

最近、あまりプログラミングが得意でない人のサポートをする形で、長い時間にわたってペアプログラミングを行っている。そのなかで、気がついた悪い習慣と成長するための良い習慣というものをまとめてみる。 この記事のバックグラウンドとなる体系的知識が本になりました。 エンジニアリング組織論への招待 ～不確実性に向き合う思考と組織のリファクタリング あわせて読みたい 経営者マインドが足りない！vs. 現場に任せてくれない！の対立をなくすカードゲームをつくった話 新人プログラマに知ってもらいたいメソッドを読みやすく維持するいくつかの原則 新人プログラマに知っておいてもらいたい人類がオブジェクト指向を手に入れるまでの軌跡 ペアプログラミングして気がついた新人プログラマの成長を阻害する悪習 あきらめるにはまだ早い！ソースコードの品質向上に効果的なアプローチ 心理的安全性ガイドライン（あるいは権威勾配に関する一

こんにちは！ リクルートテクノロジーズでセキュリティエンジニアとして活動している、藤原 巧です。 毎年恒例となっており、大きな反響をいただいている、エンジニアコースの新人研修の内容を紹介させていただきます。 研修の概要 リクルートテクノロジーズでは、新卒採用の新人向けに３ヶ月間の技術研修を行っています。この技術研修では大きく分けて２つのコースが設けられています。 1. プログラミングやWebサービスの構造の基礎を体系的に学び、その後一人につき、ひとつのスマホサイトを企画からリリースまで行うコース 2. 一定以上のプログラミングスキルと開発系経験がある新人に向けた、実際の開発で必要となる様々な技術要素をより深く学び、その後実際のサービスでチーム開発にてOJTを行うコース 今回公開するのは 2. で使用した資料です。 この技術研修は、そのほとんどの部分を内製で実施しています。 この研修の最大の

はじめに プログラミング初学者向けの教材(チュートリアル)を執筆し、Techpitというプログラミング学習サービスで公開しました。 Techpitは、作りながらプログラミングが学べる「プログラミング学習教材のマーケットプレイス」です。現役のエンジニアがプログラミング学習者向けに教材を販売し、プログラミング学習者は現役エンジニアが作った教材で、文法ではなくサービスの作り方を学ぶことが出来ます。 これまでQiitaなどに自らの勉強目的でチュートリアルを投稿したことは何度かありますが、有料のチュートリアルを作成したのは今回が初となります。 有料なので、筆者である私にはその売上の一部が入ります。私は企業で社員として働いているので副業収入ということになります。 今回は企業に属する社員エンジニアの副業という観点で何か参考になればと思い、執筆のきっかけや動機、副業としての可能性などの考えを書きます。 目

プログラミングのプの字も知らない29歳のアラサーがSEになった話 全然技術的な話ではないので Qiita の本旨とはあっていないかもしれませんが、初心者向けのITエンジニアのスタートアップ参考情報として書きます。 実は、私、今でこそシステムエンジニア（SE）として悠々と楽しげに仕事をさせていただいているが、この記事を最初に書く時点から約2年前までは、SEとしてかなりのど素人だった。 私の Before 👉 After SE 以前の私個人のバックグラウンド（背景） 学生時代は、ずっと共学の普通の学校（専門校とかでは無い。もちろん普通科） ●● 塾とか一切行ってない。資格もない（車とバイクと「英検２級」だけ持ってる） 大学は電気電子系の学部出身（サボりすぎて２回留年。情報系の知識は皆無） 大学の授業でパソコンを触る事は皆無（当時の学校側のレポート複製・不正対策だった。手が筋肉痛になった） 社

スクレイピングとは 「スクレイピング」って言葉を出すと、だいたい「クローリング」「スクレイピング」の2つが出てきます。 自分も混同していたので一度整理しておきます。 クローリング web上に公開されてるページのリンクを辿って、その辿り着いた先のwebページをダウンロードする作業 スクレイピング ダウンロードしたwebページから、自分が欲しい情報(一部)を抜き出す作業 って事で、例えば、将棋連盟のページから、自分の好きな棋士のタイトルを抜き出してくる。 とかは「スクレイピング」という訳です。 scrapy じゃあ実際にスクレイピングしてみよう。と思うと、私はこれまでPHPしか使ってこなかったので、 Goutteとかを使って一生懸命ページの中から欲しい情報を抜き出してみました。 で、最近入門したPythonでは、どうやらScrapyというライブラリ(フレームワーク?)があって、これを使うといと

PySpa統合思念体です。これからJavaScriptを覚えるなら、「この書き方はもう覚えなくていい」（よりよい代替がある）というものを集めてみました。 ES6以降の難しさは、旧来の書き方にプラスが増えただけではなく、大量の「旧来の書き方は間違いを誘発しやすいから非推奨」というものを作り出した点にあります。5年前、10年前の本やウェブがあまり役に立たちません。なお、書き方が複数あるものは、好き嫌いは当然あると思いますが、あえて過激に1つに絞っているところもあります。なお、これはこれから新規に学ぶ人が、過去のドキュメントやコードを見た時に古い情報を選別するためのまとめです。残念ながら、今時の書き方のみで構成された書籍などが存在しないからです。 たぶん明示的に書いていても読み飛ばす人はいると思いますが、すでに書いている人向けではありません。これから書くコードをこのスタイルにしていくのは別にいい

[How to get an account / participate in contests?](http://atcoder.jp/posts/2) [AtCoder's Contest Format](http://atcoder.jp/posts/1) [AtCoder's Testcases](https://www.dropbox.com/sh/nx3tnilzqz7df8a/AAAYlTq2tiEHl5hsESw6-yfLa?dl=0) - [AtCoder's Rating System](https://www.dropbox.com/sh/zpgcogxmmu84rr8/AADcw6o7M9tJFDgtpqEQQ46Ua?dl=0) - [AtCoder Race Ranking(2023)](https://img.atcoder.jp/file/gp30/race

たくさんあるExcelファイルからデータをコピーして貼り付け、コピーして貼り付けというのを繰り返しているなら、自動化はできます。 その自動化の方法を Excelマクロと RPA のUiPathで比較してみました。 複数のExcelファイルからデータをコピペするなんて たとえば Excel ファイルが12個あって、それらを ・開いてコピーして別のExcelファイルに貼り付ける ・次の Excel ファイルを開いてコピーして貼り付ける ・次の Excel ファイルを開いて・・・・ といった繰り返しの作業はつらいものです。 これが毎月あったり毎週あったりすると、それだけで時間を失ってしまうでしょう。 12個のファイルが13、14、そして20、30と増えていくと、その作業時間は確実に増えていきます。 自動化すれば、そのファイルがいくつあっても手間は同じです。 めんどくさいと感じて、積極的に自動化の

プログラミング言語「HSP3」で提供されている MIDI 形式の BGM データを、WAVE ファイル形式で「効果音・音声・BGM素材 🔊 プロ生」にて公開しました。これらのデータは HSP3 の作者 おにたまさん提供によるオリジナルデータ ...

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert