第2回 公式Twitter「ML論文調査bot@DATUMSTUDIO」企画
DATUM STUDIOデータサイエンティストによる
今月のおすすめML論文5選はこれだ！
こんにちは！
DATUM STUDIOマーケティング担当です。
公式Twitterアカウント「ML論文調査bot」に投稿された、今月のおすすめ論文をお知らせします。
フォローするだけでML（マシンラーニング/機械学習）のトレンドがわかる！
公式Twitterアカウントはこちら
発信する論文は主に以下の学会で発表されたものより、プロジェクトメンバーによって選定されます。
—————————————————–
機械学習の主要学会
1 ICML
https://icml.cc/
2 NeurIPS
https://nips.cc/
3 AAAI
https://www.aaai.org/
4 IJCAI
https://www.ijcai.org/
5 ICLR
https://iclr.cc/
6 AISTATS
https://aistats.org/
7 UAI
https://www.auai.org/uai2020/
8 COLT
https://www.learningtheory.org/colt2020/
9 ACL
https://acl2020.org/
—————————————————–
本記事では実際にTwitter投稿された論文をまとめてお伝えします。
第二回となる今回ご紹介するのは以下になります。
目次
おすすめ機械学習論文1
概要
出展元学会
AAAI 2021
タイトル
An Efficient Transformer Decoder with Compressed Sub-layers
作者
Yanyang Li, Ye Lin, Tong Xiao, Jingbo Zhu
要約
CrossAttentionとSelfAttentionの入力値の類似性や全結合層の線形性に着目することで、Transformerの効率的な並列計算を可能とする圧縮構造CompressedAttentionNetwork(CAN)を提案。精度を損なわずベースラインの標準手法から2.8倍以上の速度向上を実現した。
おすすめ機械学習論文2
概要
出展元学会
NeurIPS 2020
タイトル
RetroXpert: Decompose Retrosynthesis Prediction Like A Chemist
作者
Chaochao Yan, Qianggang Ding, Peilin Zhao, Shuangjia Zheng, Shuangjia Zheng, Yang Yu, Junzhou Huang
要約
逆合成は有機合成計画において重要だが専門家でも困難を極め、多くの自動化手法が提案されている。論文では、i)Edge-enhanced Graph Attention Networkによる反応中心の特定からシントンの作成、ii)シントンを入力に反応物に変換、という2stepの新規手法を提案。(i)は①edge embeddingの組み込み、②原子、結合の特徴を追加、③反応中心数の予測結果を損失関数に追加、が本手法のキモ。また(ii)の学習に反応中心の予測に失敗したデータも含めロバスト性を向上させた。提案する手法は従来よりも高精度を達成し、なおかつ化学的に合理的な解釈を提供する。
おすすめ機械学習論文3
概要
出展元学会
ICLR 2021
タイトル
RETHINKING ATTENTION WITH PERFORMERS
作者
Krzysztof Marcin Choromański, Valerii Likhosherstov, David Dohan, Xingyou Song, Andreea Gane, Tamas Sarlos, Peter Hawkins, Jared Quincy Davis, Afroz Mohiuddin, Lukasz Kaiser, David Benjamin Belanger, Lucy J Colwell, Adrian Weller
要約
Transformerは計算に必要なメモリと時間が入力シーケンス長の二乗でスケールすることが課題だった。既存のTransformerの改良手法と異
なり前提を要さない、入力シーケンス長に線形にスケールするTransformerである”Performer”を提案。
softmax関数の出力であるattention行列をランダム特徴量マッピングとカーネル法を用いて分解可能な形に近似(Fast Attention Via positive Orthogonal Random features:FAVOR+)し、性能を維持しつつメモリ・計算時間を削減する。近似は理論的背景を有し、softmaxカーネル以外のattentionにも応用可能。
おすすめ機械学習論文4
概要
出展元学会
AAAI2021
タイトル
Faster Depth-Adaptive Transformers
作者
Yijin Liu, Fandong Meng, Jie Zhou, Yufeng Chen and Jinan Xu
要約
入力単語の学習難易度を定量化し、それに応じたtransformerの層の深さを事前推定する２つの手法を提案。従来法は、事前推定ではなく、計算過程で動的に層の深さを調節しているため、計算コストが高く、最適化に難があり、モデルが不安定になるという課題があった。
提案1つ目は、入力単語と全カテゴリラベルとの間の相互情報(MI)を算出し、MI値の高低で層の深さを決定する推定手法。
提案2つ目は、文中の文脈を用いて単語を再構成し、そのときの損失が最小となるように層の深さを決定する推定手法。
従来法より、推論速度が速く、精度も優位な結果を示す。
おすすめ機械学習論文5
概要
出展元学会
ICLR 2021
タイトル
Ensembling object detectors for image and video data analysis
作者
Kateryna Chumachenko, Jenni Raitoharju, Alexandros Iosifidis, Moncef Gabbouj
要約
物体検出モデルのアンサンブル手法として、confidense scoreを重みとして統合する方法が考えられるが、これは各モデルがcalibrationされておらずうまくいかないことで知られる。提案手法では複数モデルのcalibrationを最適化により求めるシンプルな方法を提案。
提案手法は手順として、1)各モデルの出力が重ったbounding boxを同一物体の検出グループとみなし、2)グループのbounding boxの座標、confidense scoreを最適化により求めた重みで足し合わせ出力とする。各物体検出モデルの性能を上回る性能を実現。また提案手法を動画に応用した精度向上の手法も提案。
研究の進度が速い、機械学習の分野ではオンラインで論文を発表しています。
本ブログ、Twittter投稿では、機械学習の理解や研究を深めたい方向けに、最新の研究の流れをお伝えしていきます。まとめ記事も毎月公開していきますので、よろしくお願いします。
フォローするだけでML（マシンラーニング/機械学習）のトレンドがわかる！
公式Twitterアカウントはこちら
DATUM STUDIOには、多くの経験と実績を持ったデータサイエンティストが多数在籍しています。実務を通して機械学習やその関連分野を学び、一緒に働きたいメンバーを募集しています。
このページをシェアする：
DATUM STUDIOは、クライアントの事業成長と経営課題解決を最適な形でサポートする、データ・ビジネスパートナーです。
データ分析の分野でお客様に最適なソリューションをご提供します。まずはご相談ください。
Contact
Explore Jobs
関連記事