Leading NLP Ninja
By jojonki
Leading NLP Ninjaでは最近のNLP (Natural Language Processing）に関連する論文をjojonkiが短く紹介します．気になったこと・質問・間違い等，フィードバック頂けると嬉しいです．
紹介する論文は，基本的に下記の論文まとめから取り上げる予定です．
github.com/jojonki/arXivNotes/issues
紹介する論文は，基本的に下記の論文まとめから取り上げる予定です．
github.com/jojonki/arXivNotes/issues
ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
Leading NLP Ninja • By jojonki • Mar 14, 2020
Loading…
00:00
28:01
1x
ep52(ACL): A Two-Stage Masked LM Method for Term Set Expansion
Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました．
今回紹介した記事はこちらのissueで解説しています．
https://github.com/jojonki/arXivNotes/issues/409
サポーターの方も募集中です．
https://www.patreon.com/jojonki
31:11
May 16, 2020
ep51 (arXiv): XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました．Cross-lingualな評価にとても良さそうです．
今回紹介した記事はこちらのissueで解説しています．
https://github.com/jojonki/arXivNotes/issues/400
サポーターも募集中です．
https://www.patreon.com/jojonki
27:28
April 18, 2020
ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
ICLR 2020より，Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました．
今回紹介した記事はこちらのissueで解説しています．
https://github.com/jojonki/arXivNotes/issues/391
サポーターも募集中です．
https://www.patreon.com/jojonki
28:02
March 14, 2020
ep49 (ICASSP): Looking Enhances Listening: Recovering Missing Speech Using Images
ICASSP 2020より，ビジュアル情報を利用し，マスクされた音声信号を復元できるマルチモーダルASRを解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/384
サポーターも募集中です． https://www.patreon.com/jojonki
22:11
February 21, 2020
ep48 (AAAI): Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
AAAI 2020より，多言語文埋め込みフレームワークEMUを解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/371
サポーターも募集中です． https://www.patreon.com/jojonki
38:34
February 09, 2020
ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
ICLR 2020より，factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/348
サポーターも募集中です． https://www.patreon.com/jojonki
25:35
January 12, 2020
ep46: FreeLB: Enhanced Adversarial Training for Language Understanding
ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/347
サポーターも募集中です． https://www.patreon.com/jojonki
24:21
January 01, 2020
ep45: Episodic Memory in Lifelong Language Learning
NeurIPS 2019よりDeepMindが発表した，様々な異なるタスク（テキスト分類とQA）のデータセットをepisodic memoryを利用して１モデルで学習できる手法を解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/326
サポーターも募集中です． https://www.patreon.com/jojonki
36:03
December 01, 2019
ep44: 75 Languages, 1 Model: Parsing Universal Dependencies Universally
第４４回では，多言語で事前学習されたBERTを用いて，多言語でUniversal Dependenciesのタスクを解くモデルを解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/322
サポーターも募集中です． https://www.patreon.com/jojonki
36:04
November 24, 2019
ep43: BPE-Dropout: Simple and Effective Subword Regularization
第４３回では，Byte Pair Encodingを用いたサブワード正則化手法，BPE-dropoutを解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/302
サポーターも募集中です． https://www.patreon.com/jojonki
36:45
November 04, 2019
ep42: HuggingFace's Transformers: State-of-the-art Natural Language Processing
第４２回では，HuggingFace社のBERT, GPT-2, RoBERTaなどが気軽に利用できるTransformersフレームワークを紹介しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/295
サポーターも募集中です． https://www.patreon.com/jojonki
19:45
October 20, 2019
ep41: A Simple Theoretical Model of Importance for Summarization
第４１回では，ACL 2019より要約タスクにおける"重要性"をモデル化して，Outstanding Paperを獲得した論文を説明しました．
今回紹介した記事はこちらのissueで解説しています．
https://github.com/jojonki/arXivNotes/issues/290
サポーターも募集中です． https://www.patreon.com/jojonki
45:26
September 15, 2019
ep40: OpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs
第４０回では，ACL 2019よりFacebookのOpenDialKGという知識グラフを探索できる対話推論モデルを解説しました
今回紹介した記事はこちらのissueで解説しています．
https://github.com/jojonki/arXivNotes/issues/287
サポーターも募集中です． https://www.patreon.com/jojonki
34:17
September 07, 2019
ep39: Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
第３９回では，ACL 2019 NLP for Conversational AIのBest Paperから，対話応答生成タスクにおいて，対話履歴と応答候補の因果関係に着目したリランキング手法を提案したモデルを紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/283
26:05
August 20, 2019
ep38: Trends in Natural Language Processing: ACL 2019 In Review
第３８回では，Amazonの方のACL 2019の参加レポートを解説しました
今回紹介した記事はこちらのissueで解説しています．
github.com/jojonki/AI-Post-Notes/issues/2
Podcastのなかで紹介したarxivのメタ情報を簡単にコピペするChrome拡張
https://chrome.google.com/webstore/detail/arxiv-clip/enkadffnndphdjnpjamejdjlcbkkbpmp
サポーターも募集中です．
https://www.patreon.com/jojonki
23:59
August 09, 2019
ep37: Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
第３７回では，ACL 2019から，ACL2019からDSTC7のマルチモーダル対話でSOTAを獲得したMulti-Modal Transformer Networksを紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/272
サポーターも募集中です． www.patreon.com/jojonki
26:15
July 15, 2019
ep36: A Survey of Reinforcement Learning Informed by Natural Language
第３６回では，IJCAI 2019から，自然言語処理を用いた最近のRLに関するサーベイ論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/267
26:47
July 07, 2019
ep35: Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
第３５回では，ACL 2019から，階層的にVAEを用いてマルチターン対話における言語生成を行う論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/261
26:37
June 30, 2019
ep34: Do Neural Dialog Systems Use the Conversation History Effectively?
第３４回では，ACL 2019から，ニューラル対話生成モデルが，対話履歴を効果的に活用しているか調査した論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/254
番組への支援は，こちらからお待ちしております．
16:31
June 07, 2019
ep33: Target-Guided Open-Domain Conversation
第３３回では，ACL 2019から，目的のトピックにスムーズに対話遷移できるopen-domainの対話システムに関する論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/242
番組への支援は，こちらからお待ちしております．
38:41
June 01, 2019
ep32: We need to talk about standard splits
github上でご指摘いただきましたが，実験２のReproductionのシステムの優劣を完全に逆にして説明していることが判明しました．issueのコメント欄を御覧ください．他にも怪しくなってきた気がするのでお気付きの方はどんどんコメント頂けると嬉しいです。
第３２回では，ACL 2019から，標準的なデータセットのsplitに起因するシステム比較手法の危険性を示す論文を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/241 番組への支援は，こちらからお待ちしております．
22:17
May 26, 2019
ep31: CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/229
番組への支援は，こちらからお待ちしております．
33:02
May 11, 2019
ep30: Probing the Need for Visual Context in Multimodal Machine Translation
第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/228
番組への支援は，こちらからお待ちしております．
25:32
April 30, 2019
ep29: What's in a Name? Reducing Bias in Bios without Access to Protected Attributes
第２９回では，NAACLのBest Thematic Paperに選ばれた，学習データに含まれるバイアスを軽減させる手法を紹介しました．名前の単語埋め込みと予測確率の相関関係にペナルティを与えるロス関数を提案しています．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/226
31:19
April 22, 2019
ep28: Attention is not Explanation
第２８回では，NAACLより学習した重みに対する透明性・説明性について一石を投じる論文を解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/221
24:54
April 13, 2019
ep27: 今年度の振り返りとこれからについて
第２７回では，２０１８年度の振り返りの特別回として，アンケート結果の共有，NLPのおすすめ勉強方法と教材，論文の読み方，期末の振り返りと今後について話しました．
アンケートの振り返り
NLPの勉強の仕方，論文の読み方
今期，来期のはなし
紹介した書籍やサイト
自然言語処理の基本と技術
Graham Neubig先生のNLPプログラミングチュートリアル
言語処理のための機械学習入門
番組への支援は，こちらからお待ちしております．
17:15
March 31, 2019
ep26: 大規模な自動解析データが形態素解析器をどこまで小さくできるか
第２６回では，NLP2019のニューラルネットワークベースのシンプルな形態素解析器について解説しました．
今回紹介した論文は予稿集が公開され次第，issueを公開にします
現在視聴者の方へのアンケートを実施しているので，数分で終わりますのでぜひご協力ください．
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
16:19
March 23, 2019
ep25: サブワードに基づく単語分散表現の縮約モデリング
第２５回では，NLP2019のサブワードを利用した単語分散表現のモデルについて解説しました．
今回紹介した論文は予稿集が公開され次第，issueを公開にします
現在視聴者の方へのアンケートを実施しているので，数分で終わりますのでぜひご協力ください．
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
18:23
March 17, 2019
ep24: BERT for Joint Intent Classification and Slot Filling
第２４回では，BERTを利用してインテント分類とスロット抽出をjoint learningした手法を解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/210
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
21:08
March 02, 2019
ep23: End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis
第２３回では，患者との対話を通して医療診断を行う対話システムKR-DSの解説をしました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/206
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
29:19
February 24, 2019
ep22: What are the biases in my data?
第２２回では，Microsoft Research Blogで解説された差別的バイアスの発見と分析に記事を解説しました．github.com/jojonki/AI-Post-Notes/issues/1
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
13:22
February 17, 2019
ep21: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
第２１回では，Googleによる双方向コンテキストを獲得した言語モデルBERTの解説をしました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/199
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
32:19
February 03, 2019
ep20: Comprehensive evaluation of statistical speech waveform synthesis
第２０回では，Amazonが行った音声合成の知覚評価に関する論文を解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/194
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
19:08
January 27, 2019
ep19: SentencePiece: A simple and language independent subword tokenizer and detokenizer for NLP
第１９回では，Googleが開発したサブワードによるTokenizer/DetokenizerであるSentencePieceを解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/186
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
37:24
January 20, 2019
ep18: PyText: A Seamless Path from NLP research to production
ep18: PyText: A Seamless Path from NLP research to production
第１８回では，FacebookによるNLPのモデル化のためのフレームワーク，PyTextを解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/179
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
今年もよろしくおねがいします！
28:03
January 14, 2019
ep17: User Modeling for Task Oriented Dialogues
第１７回では，Googleによるタスク指向対話におけるユーザーシミュレーターの論文について解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/180
番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki
52:40
December 31, 2018
ep16: Contextual Topic Modeling For Dialog Systems
第１６回では，Amazonによるコンテキストを利用したトピック分類のモデルについて解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/162
番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
29:08
December 09, 2018
ep15: Another Diversity-Promoting Objective Function for Neural Dialogue Generation
第１５回では，AAAI 2019 Deep Dialに採択された，ニューラル対話生成モデルの論文を解説しました．あのりょぼっとさんの論文でして恐縮しながら解説しました．
今回紹介した論文はこちらのissueで解説しています．理解が及ばず説明が曖昧な個所がありましたが，りょぼっとさん本人にissueで細くコメントもらっていますので是非見てみてください．
github.com/jojonki/arXivNotes/issues/159
番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
31:48
December 02, 2018
ep14: XNLI: Evaluating Cross-lingual Sentence Representations
第１４回では，Facebook AI Researchによる多言語におけるNLIタスクの評価データセット及び多言語NLIにおけるベースラインを解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/155
番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
37:39
November 25, 2018
ep13: You May Not Need Attention
第１３回では，アテンションを使わず，エンコーダー・デコーダーを統合した，機械翻訳モデルの手法を解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/148
番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
25:36
November 04, 2018
ep12: Word Embedding based Edit Distance
第１２回では，単語埋め込みを利用した編集距離を利用して，文の類似度を計算する手法を解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/145
番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
30:10
October 28, 2018
ep11: Query Tracking for E-commerce Conversational Search: A Machine Comprehension Perspective
第１１回では，CIKMでAlibabaが発表した，Eコーマスの検索を対話的に行う対話検索のモデルをを解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/139
番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
40:06
October 21, 2018
ep10: Automatic Evaluation of Neural Personality-based Chatbots
第１０回では，対話応答生成モデルが，個性を反映した応答を生成出来ているかを，自動評価する手法を提案したモデルを解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issues/138
番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
36:29
October 07, 2018
ep9: Learning and Evaluating Sparse Interpretable Sentence Embeddings
第９回では，文ベクトルをスパース化することで解釈性を与えることが出来ないか，という問題に挑戦した論文を解説しました．
今回紹介した論文はこちらのissueで解説しています．
https://github.com/jojonki/arXivNotes/issues/137
番組への支援は，こちらからお待ちしております． https://www.patreon.com/jojonki
46:54
October 01, 2018
ep8: Zero-Shot Adaptive Transfer for Conversational Language Understanding
第８回では，Microsoftのスロットタギングの論文を解説しました．
今回紹介した論文の解説はこちらにあります．https://github.com/jojonki/arXivNotes/issues/128
前々回のエピソードを予め聞いておくと，今回の内容は分かりやすいかもしれません．
https://anchor.fm/lnlp-ninja/episodes/ep6-Bag-of-Experts-Architectures-for-Model-Reuse-in-Conversational-Language-Understanding-e24tuf
24:28
September 24, 2018
ep7: Training Millions of Personalized Dialogue Agents
第７回では，EMNLP 2018でFacebookが開発したペルソナデータセット及びそのペルソナに沿ったEnd-to-end雑談対話システムを解説しました．
今回紹介した論文の解説はこちらにあります．https://github.com/jojonki/arXivNotes/issues/130
27:06
September 11, 2018
ep6: Bag of Experts Architectures for Model Reuse in Conversational Language Understanding
第６回では，NAACL-HLT 2018より，Microsoftのスロットタギングの論文を紹介しました．
今回紹介した論文の解説はこちらにあります．
https://github.com/jojonki/arXivNotes/issues/129
26:06
September 06, 2018
ep5: Analysing the potential of seq-to-seq models for incremental interpretation in task-oriented dialogue
第５回では，EMNLP2018から対話における非流暢性がSeq2Seqに及ぼす影響を調べた論文を紹介しました．
https://github.com/jojonki/arXivNotes/issues/125
31:47
August 30, 2018
ep4: CoQA: A Conversational Question Answering Challeng
第４回では，スタンフォード大から公開された対話的なQAのコーパスの論文を説明しました．
https://github.com/jojonki/arXivNotes/issues/124
22:14
August 28, 2018
ep3: Large-Scale Multi-Domain Belief Tracking with Knowledge Sharing
第３回ではACL 2018からBelief Trackingに関する論文を説明しました．
今回紹介した論文のまとめ
github.com/jojonki/arXivNotes/issues/107
22:19
August 24, 2018
ep2: Zero-Shot Dialog Generation with Cross-Domain Latent Actions
第２回ではSIGDIAL 2018でベストペーパーを獲得した，対話応答生成のモデルを説明しました．タスク指向型の対話における新しい応答生成モデルの提案になっていて面白いです．
今回紹介した論文のまとめ
https://github.com/jojonki/arXivNotes/issues/123
35:41
August 21, 2018
ep1: Joint Learning of Domain Classification and Out-of-Domain Detection with Dynamic Class Weighting for Satisficing False Acceptance Rates.
第１回ではInterspeech 2018から対話システムにおけるドメイン選択，ドメイン外発話棄却をテーマにした論文を紹介します．
今回紹介した論文のまとめ．
https://github.com/jojonki/arXivNotes/issues/112
13:32
August 17, 2018