第3回 公式Twitter「ML論文調査bot@DATUMSTUDIO」企画
DATUM STUDIOデータサイエンティストによる
今月のおすすめML論文5選はこれだ！
こんにちは！
DATUM STUDIOマーケティング担当です。
公式Twitterアカウント「ML論文調査bot」に投稿された、今月のおすすめ論文をお知らせします。
フォローするだけでML（マシンラーニング/機械学習）のトレンドがわかる！
公式Twitterアカウントはこちら
発信する論文は主に以下の学会で発表されたものより、プロジェクトメンバーによって選定されます。
—————————————————–
機械学習の主要学会
1 ICML
https://icml.cc/
2 NeurIPS
https://nips.cc/
3 AAAI
https://www.aaai.org/
4 IJCAI
https://www.ijcai.org/
5 ICLR
https://iclr.cc/
6 AISTATS
https://aistats.org/
7 UAI
https://www.auai.org/uai2020/
8 COLT
https://www.learningtheory.org/colt2020/
9 ACL
https://acl2020.org/
—————————————————–
本記事では実際にTwitter投稿された論文をまとめてお伝えします。
第二回となる今回ご紹介するのは以下になります。
目次
おすすめ機械学習論文1
概要
出展元学会
AISTATS2021
タイトル
On the role of data in PAC-Bayes bounds
作者
GINTARE KAROLINA DZIUGAITE, KYLE HSU, WASEEM GHARBIEH, GABRIEL APRINO, AND DANIEL M. ROY
要約
近年、深層学習（Deep Learning）における汎化性能の説明にPAC-Bayesの利用が注目されている。本研究では汎化誤差の推定性能の改善のために、データを元にして決定された事前分布(oracle prior)を用いたLinear PAC-Bayes boundsを提案し、MNISTなどの実験を通して有効性を確認した。
提案手法では、trainデータの内の何%かをランダムに選択して学習したパラメータと、train全てを学習した時のパラメーターに相関がある事を利用し、事前分布(oracle prior)を計算する。論文ではoracle priorに基づくLinear PAC-Bayes boundsが理論的にも準最適であることを示した。
おすすめ機械学習論文2
概要
出展元学会
ICLR 2020
タイトル
On the Relationship between Self-Attention and Convolutional Layers
作者
Jean-Baptiste Cordonnier, Andreas Loukas, Martin Jaggi
要約
相対位置符号化を用いたmulti-headな自己注意層が任意の畳み込み層と同等以上の表現力をもつことを理論的に示す。実際、画像に対する自己注意層の注意が、浅層(1-3)では特定ピクセルに対しグリッド状に、深層(4-6)では画像全体に払われていることを実証。
おすすめ機械学習論文3
概要
出展元学会
AAAI2021
タイトル
From Black-box to White-box: Examining Confidence Calibration under different Conditions
作者
Franziska Schwaiger, Maximilian Henne, Fabian Kuppers, Felippe Schmoeller Roza, Karsten Roscher, Anselm Haselhoff
要約
物体検出でのcalibrationに対するNon Maximum Suppression(NMS)の影響をCOCO datasetを使って分析。NMSがhistogram-based calibrationへ悪影響を与える事が分かった。NMSの代替としてweighted box fusionやvariance votingなども同様に調査する必要がある。
おすすめ機械学習論文4
概要
出展元学会
AAAI/ACM Conference on AI, Ethics, and Society 2020
タイトル
FACE: Feasible and Actionable Counterfactual Explanations
作者
Rafael Poyiadzi, Kacper Sokol, Raul Santos-Rodriguez, Tijl De Bie, Peter Flach
要約
表形式の多変量時系列データについて、Transformerを用いた2つのアーキテクチャ、分類や回帰のために表現学習を行うTabular BERT (TabBERT) と擬似データを生成するためのTabular GPT (TabGPT) を提唱。
gitで実装が公開されている ：https://github.com/IBM/TabFormer
おすすめ機械学習論文5
概要
出展元学会
ICASSP 2021
タイトル
Tabular Transformers for Modeling Multivariate Time Series
作者
Inkit Padhi, Yair Schiff, Igor Melnyk, Mattia Rigotti, Youssef Mroueh, Pierre Dognin, Jerret Ross, Ravi Nair, Erik Altman
要約
表形式の多変量時系列データについて、Transformerを用いた2つのアーキテクチャ、分類や回帰のために表現学習を行うTabular BERT (TabBERT) と擬似データを生成するためのTabular GPT (TabGPT) を提唱。
gitで実装が公開されている ：https://github.com/IBM/TabFormer
研究の進度が速い、機械学習の分野ではオンラインで論文を発表しています。
本ブログ、Twittter投稿では、機械学習の理解や研究を深めたい方向けに、最新の研究の流れをお伝えしていきます。今後も定期的にまとめ記事は公開していきます。
DATUM STUDIOには、多くの経験と実績を持ったデータサイエンティストが多数在籍しています。実務を通して機械学習やその関連分野を学び、一緒に働きたいメンバーを募集しています。
このページをシェアする：
DATUM STUDIOは、クライアントの事業成長と経営課題解決を最適な形でサポートする、データ・ビジネスパートナーです。
データ分析の分野でお客様に最適なソリューションをご提供します。まずはご相談ください。
Contact
Explore Jobs
関連記事