Winning solutions of kaggle competitionsExplore and run machine learning code with Kaggle Notebooks | Using data from Meta Kaggle
“Deep Learning est mort. Vive Differentiable Programming!”
The education process is full of unpleasant surprises for learners. All students can confirm our statement. They face many common issues, such as the complexity of subjects and assignments, time management, or weak skills. Sometimes, they realize that a concrete task or topic needs to be simplified. These issues lead to a loss of grades. No one wants to lose grades; thus, students look for particu
Using Word2Vec for Better Embeddings of Categorical Features
Advertisers & Marketers eCommerceAffiliate MarketingLanding PagesLead GenerationMarketing AttributionNative AdvertisingBrand AwarenessContent MarketingPerformance MarketingTaboola Best PracticesProgrammatic MarketingVideo MarketingDriving TrafficAgenciesResearch & ReportsMore.. Publishers Case StudiesData & TrendsRevenue Optimization Company Big DataCultureData ScienceJavaJavascriptMachine Learnin
クイズ王たちを凌駕する早押しクイズAIはこう作る～PyData.Tokyo Meetup #18イベントレポート
国際学会で早押しクイズAIコンペティションが併催された。ここで優勝したAIについて、Studio Ousia CTO 山田育矢氏がどのような仕組みになっているか解説した。質問文からどのように解答候補を編み出し、何をチェックし、最終的に回答すると判断するまで4つのコンポーネントを組み合わせている。 AIに勝ち、人間のクイズ王にも勝った早押しクイズAIの実力 データサイエンティストが集うコミュニティ「PyData」ではデータ分析に関わるユーザーや開発者たちがツールやアイデアを共有している。コミュニティは世界各地に広がっており、日本では東京、大阪、札幌、沖縄の4か所。定期的に勉強会を開催しており、毎回著名なデータサイエンティストやデータ分析の専門家が登壇している。 4月25日には東京版コミュニティとなる「PyData.Tokyo」が18回目のミートアップを開催した。テーマは「データ分析コンペティ
Firebase ML Kitで自作のカスタムモデルを使って料理・非料理画像を判定できるようにした - クックパッド開発者ブログ
会員事業部の山下(@farmanlab)です。 Androidエンジニアとしてクックパッドアプリの開発を担当しています。 今回はGoogle I/O 2018で新しく発表されたML Kitをクックパッドのデータで学習したモデルを使って検証した話をします。 機械学習モデルの利用にあたって、研究開発部の菊田(@yohei_kikuta)の協力の元で検証を行いました。 これからお話する内容がイメージしやすいよう、 クックパッドの料理・非料理を判別するモデルを動かした実機デモをお見せします。 これは料理と判定された確率がfood、料理ではないと判定された確率がnon-foodというラベルのスコアで表示されているデモです。 (非)料理画像において(non-)foodのラベルのスコアが大きくなり正しく判別できていることが分かります。 モデルは MobileNetV2 tensorflow-gpu==1
Python pandas プロット機能を使いこなす - StatsFragments
pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Visualization — pandas 0.17.1 documentation これらの機能は matplotlib に対する 薄い wrapper によって提供されている。ここでは pandas 側で一処理を加えることによって、ドキュメントに記載されているプロットより少し凝った出力を得る方法を書きたい。 補足 サンプルデータに対する見せ方として不適切なものがあるが、プロットの例ということでご容赦ください。 パッケージのインポート import matplotlib.pyplot as plt plt.style.use('ggplot') import matplotlib as mpl m
Xgboost GPU models do not release memory after training · Issue #3045 · dmlc/xgboost
Xgboost doesn't release gpu memory after training/predicting the model on large data. Every further rerun of .fit causes more memory allocation until eventual crash of the kernel because GPU memory is out of bounds. Environment info Operating System: Ubuntu 16.04 on PowerPC Compiler: Package used (python/R/jvm/C++): python xgboost version used: If installing from source, please provide The commit
Advice for applying Machine Learning
This post is based on a tutorial given in a machine learning course at University of Bremen. It summarizes some recommendations on how to get started with machine learning on a new problem. This includes ways of visualizing your data choosing a machine learning method suitable for the problem at hand identifying and dealing with over- and underfitting dealing with large (read: not very small) data
世界一のデータサイエンティストを目指して 〜Kaggle参加レポート3〜 - Kysmo’s Tech Blog
こんにちは!株式会社キスモのKaggler 大越です。 前回はStatoil/C-CORE Iceberg Classifier Challengeという、 画像分類のコンペに出場し、それについてレポートしました! kysmo.hatenablog.jp 以降、仕事のかたわら数々のコンペに出ました! ・Toxic Comment Classification Challenge 361位/4551 →bronze medal ・2018 Data Science Bowl 312位/3634 →まだ順位確定していませんが、おそらくbronze medal ・TalkingData AdTracking Fraud Detection Challenge 413位/3967 →終了12時間前までシルバー争っていたのですが、 諸々の事情で一気にメダル圏外にはじかれました。。。涙 Talking
KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog
週末KagglerとしてavazuのCTR予測コンペに参加しました。Kaggleは機械学習版のISUCONだと思ってもらえばよいです。コンペ自体は終わっているので、late submiteであまり意味はないかもしれません、練習です。leaderboard上で上位10%以内に行けたので、そこまでの試行錯誤をメモしておきます。謎ノウハウ(?)を持っているガチ勢じゃないと上位に行けないものかと思っていましたが、基本に忠実にやればこれくらいの順位(上位7.6%)に行けましたし、他の人の工夫を垣間見えるという意味でも現場の機械学習やり始めたエンジニアにお薦めできそうでした。 参加の動機 目標感: 頑張りすぎずに上位10%以内に入る 試行錯誤 AthenaとRedashによる探索的データ解析 ベンチマークをまず超える 線形分類器でシンプルな特徴量 時系列要素を忘れていて過学習発生 特徴量エンジニアリン
Basic Feature Engineering With Time Series Data in Python - MachineLearningMastery.com
Time Series data must be re-framed as a supervised learning dataset before we can start using machine learning algorithms. There is no concept of input and output features in time series. Instead, we must choose the variable to be predicted and use feature engineering to construct all of the inputs that will be used to make predictions for future time steps. In this tutorial, you will discover how
Best Practices for Feature Engineering
Feature engineering, the process creating new input features for machine learning, is one of the most effective ways to improve predictive models. Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. — Andrew Ng, Co-founder and former head of Google Brain Through feature engineering, you can isolate key inform
Stacked Generalizationで分類器のスコアをひねり出す - Qiita
概要 データ解析くらぶ第一回に向けて準備してたら抽選で落ちてしまったので用意してた内容を記事にしてみました。 Kaggleの上位者たち[1]は一つの分類器の予測のみを使用することはほとんどなく、複数の（場合によっては数百個の）分類器の結果を組み合わせるensemble learningを用いるそうです。 この記事では分類器を組み合わせる手法の一つであるStacked Generalization[3]を実装して、その効果を試してみます。 ensemble いろいろ winner takes all これは機械学習を少しかじったことがある人なら誰でもやったことがあるかと思います。 例えばある分類問題に対して、SVM、decision tree、 kNNそれぞれの精度をcross validationによって確認して、 最も精度が高いモデルを採用するという方法です。 複数の分類器の結果を平均す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why does transformer use noam as the learning rate decay scheme? · Issue #280 · tensorflow/tensor2tensor
how-can-i-implement-incremental-training-for-xgboost
Avito Demand Prediction Challenge | Kaggle
セキュリティ診断・検査のGMOサイバーセキュリティ byイエラエ
機械学習モデルフォーマットの話：さようならPMML、こんにちはPFA
仕事ではじめる機械学習
画像認識モデルを作るための鉄板レシピ
