
Leading NLP Ninja
By jojonki
Leading NLP Ninjaでは最近のNLP (Natural Language Processing)に関連する論文をjojonkiが短く紹介します.気になったこと・質問・間違い等,フィードバック頂けると嬉しいです.
紹介する論文は,基本的に下記の論文まとめから取り上げる予定です.
github.com/jojonki/arXivNotes/issues
紹介する論文は,基本的に下記の論文まとめから取り上げる予定です.
github.com/jojonki/arXivNotes/issues

ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
Leading NLP Ninja • By jojonki • Mar 14, 2020
Loading…
00:00
28:01
1x

ep52(ACL): A Two-Stage Masked LM Method for Term Set Expansion
Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました.
今回紹介した記事はこちらのissueで解説しています.
https://github.com/jojonki/arXivNotes/issues/409
サポーターの方も募集中です.
https://www.patreon.com/jojonki
31:11
May 16, 2020

ep51 (arXiv): XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました.Cross-lingualな評価にとても良さそうです.
今回紹介した記事はこちらのissueで解説しています.
https://github.com/jojonki/arXivNotes/issues/400
サポーターも募集中です.
https://www.patreon.com/jojonki
27:28
April 18, 2020

ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
ICLR 2020より,Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました.
今回紹介した記事はこちらのissueで解説しています.
https://github.com/jojonki/arXivNotes/issues/391
サポーターも募集中です.
https://www.patreon.com/jojonki
28:02
March 14, 2020

ep49 (ICASSP): Looking Enhances Listening: Recovering Missing Speech Using Images
ICASSP 2020より,ビジュアル情報を利用し,マスクされた音声信号を復元できるマルチモーダルASRを解説しました.
今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/384
サポーターも募集中です. https://www.patreon.com/jojonki
22:11
February 21, 2020

ep48 (AAAI): Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
AAAI 2020より,多言語文埋め込みフレームワークEMUを解説しました.
今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/371
サポーターも募集中です. https://www.patreon.com/jojonki
38:34
February 09, 2020

ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
ICLR 2020より,factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました.
今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/348
サポーターも募集中です. https://www.patreon.com/jojonki
25:35
January 12, 2020

ep46: FreeLB: Enhanced Adversarial Training for Language Understanding
ICLR 2020より,BERT/RoBERTaの埋め込み空間に,敵対摂動を入れるVirtual Adversarial Trainingによって,モデル性能を改善するFreeLBという手法を解説しました.
今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/347
サポーターも募集中です. https://www.patreon.com/jojonki
24:21
January 01, 2020

ep45: Episodic Memory in Lifelong Language Learning
NeurIPS 2019よりDeepMindが発表した,様々な異なるタスク(テキスト分類とQA)のデータセットをepisodic memoryを利用して1モデルで学習できる手法を解説しました.
今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/326
サポーターも募集中です. https://www.patreon.com/jojonki
36:03
December 01, 2019

ep44: 75 Languages, 1 Model: Parsing Universal Dependencies Universally
第44回では,多言語で事前学習されたBERTを用いて,多言語でUniversal Dependenciesのタスクを解くモデルを解説しました.
今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/322
サポーターも募集中です. https://www.patreon.com/jojonki
36:04
November 24, 2019

ep43: BPE-Dropout: Simple and Effective Subword Regularization
第43回では,Byte Pair Encodingを用いたサブワード正則化手法,BPE-dropoutを解説しました.
今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/302
サポーターも募集中です. https://www.patreon.com/jojonki
36:45
November 04, 2019

ep42: HuggingFace's Transformers: State-of-the-art Natural Language Processing
第42回では,HuggingFace社のBERT, GPT-2, RoBERTaなどが気軽に利用できるTransformersフレームワークを紹介しました.
今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/295
サポーターも募集中です. https://www.patreon.com/jojonki
19:45
October 20, 2019

ep41: A Simple Theoretical Model of Importance for Summarization
第41回では,ACL 2019より要約タスクにおける"重要性"をモデル化して,Outstanding Paperを獲得した論文を説明しました.
今回紹介した記事はこちらのissueで解説しています.
https://github.com/jojonki/arXivNotes/issues/290
サポーターも募集中です. https://www.patreon.com/jojonki
45:26
September 15, 2019

ep40: OpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs
第40回では,ACL 2019よりFacebookのOpenDialKGという知識グラフを探索できる対話推論モデルを解説しました
今回紹介した記事はこちらのissueで解説しています.
https://github.com/jojonki/arXivNotes/issues/287
サポーターも募集中です. https://www.patreon.com/jojonki
34:17
September 07, 2019

ep39: Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
第39回では,ACL 2019 NLP for Conversational AIのBest Paperから,対話応答生成タスクにおいて,対話履歴と応答候補の因果関係に着目したリランキング手法を提案したモデルを紹介しました.
今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/283
26:05
August 20, 2019

ep38: Trends in Natural Language Processing: ACL 2019 In Review
第38回では,Amazonの方のACL 2019の参加レポートを解説しました
今回紹介した記事はこちらのissueで解説しています.
github.com/jojonki/AI-Post-Notes/issues/2
Podcastのなかで紹介したarxivのメタ情報を簡単にコピペするChrome拡張
https://chrome.google.com/webstore/detail/arxiv-clip/enkadffnndphdjnpjamejdjlcbkkbpmp
サポーターも募集中です.
https://www.patreon.com/jojonki
23:59
August 09, 2019

ep37: Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
第37回では,ACL 2019から,ACL2019からDSTC7のマルチモーダル対話でSOTAを獲得したMulti-Modal Transformer Networksを紹介しました.
今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/272
サポーターも募集中です. www.patreon.com/jojonki
26:15
July 15, 2019

ep36: A Survey of Reinforcement Learning Informed by Natural Language
第36回では,IJCAI 2019から,自然言語処理を用いた最近のRLに関するサーベイ論文を紹介しました.
今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/267
26:47
July 07, 2019

ep35: Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
第35回では,ACL 2019から,階層的にVAEを用いてマルチターン対話における言語生成を行う論文を紹介しました.
今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/261
26:37
June 30, 2019

ep34: Do Neural Dialog Systems Use the Conversation History Effectively?
第34回では,ACL 2019から,ニューラル対話生成モデルが,対話履歴を効果的に活用しているか調査した論文を紹介しました.
今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/254
番組への支援は,こちらからお待ちしております.
16:31
June 07, 2019

ep33: Target-Guided Open-Domain Conversation
第33回では,ACL 2019から,目的のトピックにスムーズに対話遷移できるopen-domainの対話システムに関する論文を紹介しました.
今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/242
番組への支援は,こちらからお待ちしております.
38:41
June 01, 2019

ep32: We need to talk about standard splits
github上でご指摘いただきましたが,実験2のReproductionのシステムの優劣を完全に逆にして説明していることが判明しました.issueのコメント欄を御覧ください.他にも怪しくなってきた気がするのでお気付きの方はどんどんコメント頂けると嬉しいです。
第32回では,ACL 2019から,標準的なデータセットのsplitに起因するシステム比較手法の危険性を示す論文を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/241 番組への支援は,こちらからお待ちしております.
22:17
May 26, 2019

ep31: CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
第30回では,NAACLのBest Short Paperに選ばれた,マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/229
番組への支援は,こちらからお待ちしております.
33:02
May 11, 2019

ep30: Probing the Need for Visual Context in Multimodal Machine Translation
第30回では,NAACLのBest Short Paperに選ばれた,マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/228
番組への支援は,こちらからお待ちしております.
25:32
April 30, 2019

ep29: What's in a Name? Reducing Bias in Bios without Access to Protected Attributes
第29回では,NAACLのBest Thematic Paperに選ばれた,学習データに含まれるバイアスを軽減させる手法を紹介しました.名前の単語埋め込みと予測確率の相関関係にペナルティを与えるロス関数を提案しています.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/226
31:19
April 22, 2019

ep28: Attention is not Explanation
第28回では,NAACLより学習した重みに対する透明性・説明性について一石を投じる論文を解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/221
24:54
April 13, 2019

ep27: 今年度の振り返りとこれからについて
第27回では,2018年度の振り返りの特別回として,アンケート結果の共有,NLPのおすすめ勉強方法と教材,論文の読み方,期末の振り返りと今後について話しました.
アンケートの振り返り
NLPの勉強の仕方,論文の読み方
今期,来期のはなし
紹介した書籍やサイト
自然言語処理の基本と技術
Graham Neubig先生のNLPプログラミングチュートリアル
言語処理のための機械学習入門
番組への支援は,こちらからお待ちしております.
17:15
March 31, 2019

ep26: 大規模な自動解析データが形態素解析器をどこまで小さくできるか
第26回では,NLP2019のニューラルネットワークベースのシンプルな形態素解析器について解説しました.
今回紹介した論文は予稿集が公開され次第,issueを公開にします
現在視聴者の方へのアンケートを実施しているので,数分で終わりますのでぜひご協力ください.
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
16:19
March 23, 2019

ep25: サブワードに基づく単語分散表現の縮約モデリング
第25回では,NLP2019のサブワードを利用した単語分散表現のモデルについて解説しました.
今回紹介した論文は予稿集が公開され次第,issueを公開にします
現在視聴者の方へのアンケートを実施しているので,数分で終わりますのでぜひご協力ください.
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
18:23
March 17, 2019

ep24: BERT for Joint Intent Classification and Slot Filling
第24回では,BERTを利用してインテント分類とスロット抽出をjoint learningした手法を解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/210
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
21:08
March 02, 2019

ep23: End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis
第23回では,患者との対話を通して医療診断を行う対話システムKR-DSの解説をしました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/206
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
29:19
February 24, 2019

ep22: What are the biases in my data?
第22回では,Microsoft Research Blogで解説された差別的バイアスの発見と分析に記事を解説しました.github.com/jojonki/AI-Post-Notes/issues/1
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
13:22
February 17, 2019

ep21: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
第21回では,Googleによる双方向コンテキストを獲得した言語モデルBERTの解説をしました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/199
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
32:19
February 03, 2019

ep20: Comprehensive evaluation of statistical speech waveform synthesis
第20回では,Amazonが行った音声合成の知覚評価に関する論文を解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/194
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
19:08
January 27, 2019

ep19: SentencePiece: A simple and language independent subword tokenizer and detokenizer for NLP
第19回では,Googleが開発したサブワードによるTokenizer/DetokenizerであるSentencePieceを解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/186
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
37:24
January 20, 2019

ep18: PyText: A Seamless Path from NLP research to production
ep18: PyText: A Seamless Path from NLP research to production
第18回では,FacebookによるNLPのモデル化のためのフレームワーク,PyTextを解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/179
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
今年もよろしくおねがいします!
28:03
January 14, 2019

ep17: User Modeling for Task Oriented Dialogues
第17回では,Googleによるタスク指向対話におけるユーザーシミュレーターの論文について解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/180
番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
52:40
December 31, 2018

ep16: Contextual Topic Modeling For Dialog Systems
第16回では,Amazonによるコンテキストを利用したトピック分類のモデルについて解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/162
番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
29:08
December 09, 2018

ep15: Another Diversity-Promoting Objective Function for Neural Dialogue Generation
第15回では,AAAI 2019 Deep Dialに採択された,ニューラル対話生成モデルの論文を解説しました.あのりょぼっとさんの論文でして恐縮しながら解説しました.
今回紹介した論文はこちらのissueで解説しています.理解が及ばず説明が曖昧な個所がありましたが,りょぼっとさん本人にissueで細くコメントもらっていますので是非見てみてください.
github.com/jojonki/arXivNotes/issues/159
番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
31:48
December 02, 2018

ep14: XNLI: Evaluating Cross-lingual Sentence Representations
第14回では,Facebook AI Researchによる多言語におけるNLIタスクの評価データセット及び多言語NLIにおけるベースラインを解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/155
番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
37:39
November 25, 2018

ep13: You May Not Need Attention
第13回では,アテンションを使わず,エンコーダー・デコーダーを統合した,機械翻訳モデルの手法を解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/148
番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
25:36
November 04, 2018

ep12: Word Embedding based Edit Distance
第12回では,単語埋め込みを利用した編集距離を利用して,文の類似度を計算する手法を解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/145
番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
30:10
October 28, 2018

ep11: Query Tracking for E-commerce Conversational Search: A Machine Comprehension Perspective
第11回では,CIKMでAlibabaが発表した,Eコーマスの検索を対話的に行う対話検索のモデルをを解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/139
番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
40:06
October 21, 2018

ep10: Automatic Evaluation of Neural Personality-based Chatbots
第10回では,対話応答生成モデルが,個性を反映した応答を生成出来ているかを,自動評価する手法を提案したモデルを解説しました.
今回紹介した論文はこちらのissueで解説しています.
github.com/jojonki/arXivNotes/issues/138
番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
36:29
October 07, 2018

ep9: Learning and Evaluating Sparse Interpretable Sentence Embeddings
第9回では,文ベクトルをスパース化することで解釈性を与えることが出来ないか,という問題に挑戦した論文を解説しました.
今回紹介した論文はこちらのissueで解説しています.
https://github.com/jojonki/arXivNotes/issues/137
番組への支援は,こちらからお待ちしております. https://www.patreon.com/jojonki
46:54
October 01, 2018

ep8: Zero-Shot Adaptive Transfer for Conversational Language Understanding
第8回では,Microsoftのスロットタギングの論文を解説しました.
今回紹介した論文の解説はこちらにあります.https://github.com/jojonki/arXivNotes/issues/128
前々回のエピソードを予め聞いておくと,今回の内容は分かりやすいかもしれません.
https://anchor.fm/lnlp-ninja/episodes/ep6-Bag-of-Experts-Architectures-for-Model-Reuse-in-Conversational-Language-Understanding-e24tuf
24:28
September 24, 2018

ep7: Training Millions of Personalized Dialogue Agents
第7回では,EMNLP 2018でFacebookが開発したペルソナデータセット及びそのペルソナに沿ったEnd-to-end雑談対話システムを解説しました.
今回紹介した論文の解説はこちらにあります.https://github.com/jojonki/arXivNotes/issues/130
27:06
September 11, 2018

ep6: Bag of Experts Architectures for Model Reuse in Conversational Language Understanding
第6回では,NAACL-HLT 2018より,Microsoftのスロットタギングの論文を紹介しました.
今回紹介した論文の解説はこちらにあります.
https://github.com/jojonki/arXivNotes/issues/129
26:06
September 06, 2018

ep5: Analysing the potential of seq-to-seq models for incremental interpretation in task-oriented dialogue
第5回では,EMNLP2018から対話における非流暢性がSeq2Seqに及ぼす影響を調べた論文を紹介しました.
https://github.com/jojonki/arXivNotes/issues/125
31:47
August 30, 2018

ep4: CoQA: A Conversational Question Answering Challeng
第4回では,スタンフォード大から公開された対話的なQAのコーパスの論文を説明しました.
https://github.com/jojonki/arXivNotes/issues/124
22:14
August 28, 2018

ep3: Large-Scale Multi-Domain Belief Tracking with Knowledge Sharing
第3回ではACL 2018からBelief Trackingに関する論文を説明しました.
今回紹介した論文のまとめ
github.com/jojonki/arXivNotes/issues/107
22:19
August 24, 2018

ep2: Zero-Shot Dialog Generation with Cross-Domain Latent Actions
第2回ではSIGDIAL 2018でベストペーパーを獲得した,対話応答生成のモデルを説明しました.タスク指向型の対話における新しい応答生成モデルの提案になっていて面白いです.
今回紹介した論文のまとめ
https://github.com/jojonki/arXivNotes/issues/123
35:41
August 21, 2018

ep1: Joint Learning of Domain Classification and Out-of-Domain Detection with Dynamic Class Weighting for Satisficing False Acceptance Rates.
第1回ではInterspeech 2018から対話システムにおけるドメイン選択,ドメイン外発話棄却をテーマにした論文を紹介します.
今回紹介した論文のまとめ.
https://github.com/jojonki/arXivNotes/issues/112
13:32
August 17, 2018