こんにちは！
DATUM STUDIOマーケティング担当です。

DATUM STUDIO株式会社データサイエンティストによる、公式Twitterアカウント「ML論文調査bot」の運用をスタートしました。本記事ではTwitterに投稿された、今月のおすすめ論文をお知らせします。
近年の急速なDX化によって、これまで以上に機械学習（マシンラーニング/ML）とその関連分野へのニーズは高まっています。それにともない、この分野の研究は速く、またいち早く流れをキャッチする必要がでてきました。
最新技術を発信すべく、「ML論文調査bot」TwitterアカウントではDATUM STUDIOのデータサイエンティストより、ML（マシンラーニング/機械学習）論文の動向をつぶやいていきますので、よろしくお願いいたします。

フォローするだけでML（マシンラーニング/機械学習）のトレンドがわかる！
公式Twitterアカウントはこちら

発信する論文は主に以下の学会で発表されたものより、プロジェクトメンバーによって選定されます。
—————————————————–

機械学習の主要学会
1 ICML
https://icml.cc/

2 NeurIPS
https://nips.cc/

3 AAAI
https://www.aaai.org/

4 IJCAI
https://www.ijcai.org/

5 ICLR
https://iclr.cc/

6 AISTATS
https://aistats.org/

7 UAI
https://www.auai.org/uai2020/

8 COLT
https://www.learningtheory.org/colt2020/

9 ACL
https://acl2020.org/

—————————————————–

本記事では実際にTwitter投稿された論文をまとめてお伝えします。

おすすめ機械学習論文1

概要

出展元学会

AAAI 2021

タイトル

Split then Refine: Stacked Attention-guided ResUNets for Blind Single Image Visible Watermark Removal

作者

Xiaodong Cun and Chi-Man Pun

要約

wartermark除去に、Stacked Attention-guided ResUNetsを備えた2段階フレームワークを提案。1段目のSplitNetで粗い背景、透かしの位置、および復元された透かしを予測。2段目のRefineNetでは前段からの出力を利用し復元された予測領域を洗練する。
SplitNetでは、共同学習フレームワークをマルチドメイン学習問題と見なし、チャネルの重要性を再重み付けするタスク固有のattentionによって各タスクの特定の特徴を個別に学習。RefineNetでは、Spatial-Separated Attention Moduleを使用し、荒い領域を調和する処理を行う。

Twitter投稿、論文はこちら

おすすめ機械学習論文2

概要

出展元学会

ICML 2020

タイトル

SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates

作者

Lingkai Kong, Jimeng Sun, and Chao Zhang

要約

従来の深層学習（Deep Learning）による予測不確実性の推定手法の課題である精度や計算効率向上のため、深層学習モデルのforward計算を確率力学系を模した構造にするSDE-Netを提案。ブラウン運動を模擬した再帰的な計算を施す。従来手法に優り、active learningなどの応用でも圧倒。
SDE-Netはブラウン運動のドリフト係数を計算するdrift-Netと拡散係数を出力するdiffusion-netより構成される。確率過程を模擬するため複数回に渡りdrift-net, diffusion-netを通すことでブラウン運動を模擬し、最終的に全結合層により出力する。論文中で一部実装が公開。

Twitter投稿、論文はこちら

おすすめ機械学習論文3

概要

出展元学会

ICLR 2021

タイトル

Net-DNF: Effective Deep Modeling of Tabular Data

作者

Gal Elidan, Liran Katzir, Ran El-Yaniv

要約

表データをend-to-endに扱う、汎用的な深層学習（Deep Learning）のアーキテクチャとしてNet-DNFを提唱。
Net-DNFは選言標準形のブール式に相当する構造を持つDNNFブロックを複数用いたアンサンブル構造を持つ。Kaggleコンペのデータセットで通常の全結合モデルを上回る性能を示した
論文中ではDNNFブロックの他に精度を向上させるためのテクニックとして、ランダム選択したマスクと学習により獲得するマスクの両方を用いる特徴量選択手法と、アンサンブルの際の各弱学習機を個別の局所的な入力のみに特化させるspatial localizationの２つを導入している。

Twitter投稿、論文はこちら

おすすめ機械学習論文4

概要

出展元学会

NeurIPS2020

タイトル

Self-Supervised Learning by Cross-Modal Audio-Video Clustering

作者

Humam Alwassel, Dhruv Mahajan, Bruno Korbar, Lorenzo Torresani, Bernard Ghanem, Du Tran

要約

マルチモーダルな自己教師あり学習による動画データの事前学習を提案。video、audioのデータをencoderにより特徴ベクトル化し、k-meansにより生成した疑似ラベルで他方を学習する。複数のベンチマークで従来のシングルモーダル(video)モデルよりも高精度を実現。
論文中ではk-meansにより作成されたクラスターはより強い意味的な結合をもって学習されたと報告されている。ギター動画やスキューバ動画など意味的なまとまりのある動画が近い動画を取得することで収集できる。著者サイト上にてクラスタリングされた動画サンプルが見られる。

Twitter投稿、論文はこちら

研究の進度が速い、機械学習の分野ではオンラインで論文を発表しています。
本ブログ、Twittter投稿では、機械学習の理解や研究を深めたい方向けに、最新の研究の流れをお伝えしていきます。今後も定期的にまとめ記事は公開していきます。

DATUM STUDIOには、多くの経験と実績を持ったデータサイエンティストが多数在籍しています。実務を通して機械学習やその関連分野を学び、一緒に働きたいメンバーを募集しています。

採用情報はこちら