第3回 公式Twitter「ML論文調査bot@DATUMSTUDIO」企画
DATUM STUDIOデータサイエンティストによる
今月のおすすめML論文5選はこれだ!

こんにちは!
DATUM STUDIOマーケティング担当です。

公式Twitterアカウント「ML論文調査bot」に投稿された、今月のおすすめ論文をお知らせします。

フォローするだけでML(マシンラーニング/機械学習)のトレンドがわかる!
公式Twitterアカウントはこちら

発信する論文は主に以下の学会で発表されたものより、プロジェクトメンバーによって選定されます。
—————————————————–

機械学習の主要学会
1 ICML
https://icml.cc/

2 NeurIPS
https://nips.cc/

3 AAAI
https://www.aaai.org/

4 IJCAI
https://www.ijcai.org/

5 ICLR
https://iclr.cc/

6 AISTATS
https://aistats.org/

7 UAI
https://www.auai.org/uai2020/

8 COLT
https://www.learningtheory.org/colt2020/

9 ACL
https://acl2020.org/

—————————————————–

本記事では実際にTwitter投稿された論文をまとめてお伝えします。
第二回となる今回ご紹介するのは以下になります。

おすすめ機械学習論文1

概要

出展元学会

AISTATS2021

タイトル

On the role of data in PAC-Bayes bounds

作者

GINTARE KAROLINA DZIUGAITE, KYLE HSU, WASEEM GHARBIEH, GABRIEL APRINO, AND DANIEL M. ROY

要約

近年、深層学習における汎化性能の説明にPAC-Bayesの利用が注目されている。本研究では汎化誤差の推定性能の改善のために、データを元にして決定された事前分布(oracle prior)を用いたLinear PAC-Bayes boundsを提案し、MNISTなどの実験を通して有効性を確認した。

提案手法では、trainデータの内の何%かをランダムに選択して学習したパラメータと、train全てを学習した時のパラメーターに相関がある事を利用し、事前分布(oracle prior)を計算する。論文ではoracle priorに基づくLinear PAC-Bayes boundsが理論的にも準最適であることを示した。

Twitter投稿、論文はこちら


 

おすすめ機械学習論文2

概要

出展元学会

ICLR 2020

タイトル

On the Relationship between Self-Attention and Convolutional Layers

作者

Jean-Baptiste Cordonnier, Andreas Loukas, Martin Jaggi

要約

相対位置符号化を用いたmulti-headな自己注意層が任意の畳み込み層と同等以上の表現力をもつことを理論的に示す。実際、画像に対する自己注意層の注意が、浅層(1-3)では特定ピクセルに対しグリッド状に、深層(4-6)では画像全体に払われていることを実証。

Twitter投稿、論文はこちら


 

おすすめ機械学習論文3

概要

出展元学会

AAAI2021

タイトル

From Black-box to White-box: Examining Confidence Calibration under different Conditions

作者

Franziska Schwaiger, Maximilian Henne, Fabian Kuppers, Felippe Schmoeller Roza, Karsten Roscher, Anselm Haselhoff

要約

物体検出でのcalibrationに対するNon Maximum Suppression(NMS)の影響をCOCO datasetを使って分析。NMSがhistogram-based calibrationへ悪影響を与える事が分かった。NMSの代替としてweighted box fusionやvariance votingなども同様に調査する必要がある。

Twitter投稿、論文はこちら


 

おすすめ機械学習論文4

概要

出展元学会

AAAI/ACM Conference on AI, Ethics, and Society 2020

タイトル

FACE: Feasible and Actionable Counterfactual Explanations

作者

Rafael Poyiadzi, Kacper Sokol, Raul Santos-Rodriguez, Tijl De Bie, Peter Flach

要約

表形式の多変量時系列データについて、Transformerを用いた2つのアーキテクチャ、分類や回帰のために表現学習を行うTabular BERT (TabBERT) と擬似データを生成するためのTabular GPT (TabGPT) を提唱。
gitで実装が公開されている :https://github.com/IBM/TabFormer 

Twitter投稿、論文はこちら


 

おすすめ機械学習論文5

概要

出展元学会

ICASSP 2021

タイトル

Tabular Transformers for Modeling Multivariate Time Series

作者

Inkit Padhi, Yair Schiff, Igor Melnyk, Mattia Rigotti, Youssef Mroueh, Pierre Dognin, Jerret Ross, Ravi Nair, Erik Altman

要約

表形式の多変量時系列データについて、Transformerを用いた2つのアーキテクチャ、分類や回帰のために表現学習を行うTabular BERT (TabBERT) と擬似データを生成するためのTabular GPT (TabGPT) を提唱。
gitで実装が公開されている :https://github.com/IBM/TabFormer

Twitter投稿、論文はこちら


 

研究の進度が速い、機械学習の分野ではオンラインで論文を発表しています。
本ブログ、Twittter投稿では、機械学習の理解や研究を深めたい方向けに、最新の研究の流れをお伝えしていきます。今後も定期的にまとめ記事は公開していきます。

DATUM STUDIOには、多くの経験と実績を持ったデータサイエンティストが多数在籍しています。実務を通して機械学習やその関連分野を学び、一緒に働きたいメンバーを募集しています。

採用情報はこちら



DATUM STUDIOは、クライアントの事業成長と経営課題解決を最適な形でサポートする、データ・ビジネスパートナーです。
データ分析の分野でお客様に最適なソリューションをご提供します。まずはご相談ください。

このページをシェアする: