Leading NLP Ninja

Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/409 サポーターの方も募集中です． https://www.patreon.com/jojonki

CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました．Cross-lingualな評価にとても良さそうです． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/400 サポーターも募集中です． https://www.patreon.com/jojonki

ICLR 2020より，Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/391 サポーターも募集中です． https://www.patreon.com/jojonki

ICASSP 2020より，ビジュアル情報を利用し，マスクされた音声信号を復元できるマルチモーダルASRを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/384 サポーターも募集中です． https://www.patreon.com/jojonki

AAAI 2020より，多言語文埋め込みフレームワークEMUを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/371 サポーターも募集中です． https://www.patreon.com/jojonki

ICLR 2020より，factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/348 サポーターも募集中です． https://www.patreon.com/jojonki

ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/347 サポーターも募集中です． https://www.patreon.com/jojonki

NeurIPS 2019よりDeepMindが発表した，様々な異なるタスク（テキスト分類とQA）のデータセットをepisodic memoryを利用して１モデルで学習できる手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/326 サポーターも募集中です． https://www.patreon.com/jojonki

第４４回では，多言語で事前学習されたBERTを用いて，多言語でUniversal Dependenciesのタスクを解くモデルを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/322 サポーターも募集中です． https://www.patreon.com/jojonki

第４３回では，Byte Pair Encodingを用いたサブワード正則化手法，BPE-dropoutを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/302 サポーターも募集中です． https://www.patreon.com/jojonki

第４２回では，HuggingFace社のBERT, GPT-2, RoBERTaなどが気軽に利用できるTransformersフレームワークを紹介しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/295 サポーターも募集中です． https://www.patreon.com/jojonki

第４１回では，ACL 2019より要約タスクにおける"重要性"をモデル化して，Outstanding Paperを獲得した論文を説明しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/290 サポーターも募集中です． https://www.patreon.com/jojonki

第４０回では，ACL 2019よりFacebookのOpenDialKGという知識グラフを探索できる対話推論モデルを解説しました 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/287 サポーターも募集中です． https://www.patreon.com/jojonki

第３９回では，ACL 2019 NLP for Conversational AIのBest Paperから，対話応答生成タスクにおいて，対話履歴と応答候補の因果関係に着目したリランキング手法を提案したモデルを紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/283

第３８回では，Amazonの方のACL 2019の参加レポートを解説しました 今回紹介した記事はこちらのissueで解説しています． github.com/jojonki/AI-Post-Notes/issues/2 Podcastのなかで紹介したarxivのメタ情報を簡単にコピペするChrome拡張 https://chrome.google.com/webstore/detail/arxiv-clip/enkadffnndphdjnpjamejdjlcbkkbpmp サポーターも募集中です． https://www.patreon.com/jojonki

第３７回では，ACL 2019から，ACL2019からDSTC7のマルチモーダル対話でSOTAを獲得したMulti-Modal Transformer Networksを紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/272 サポーターも募集中です． www.patreon.com/jojonki

第３６回では，IJCAI 2019から，自然言語処理を用いた最近のRLに関するサーベイ論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/267

第３５回では，ACL 2019から，階層的にVAEを用いてマルチターン対話における言語生成を行う論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/261

第３４回では，ACL 2019から，ニューラル対話生成モデルが，対話履歴を効果的に活用しているか調査した論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/254 番組への支援は，こちらからお待ちしております．

第３３回では，ACL 2019から，目的のトピックにスムーズに対話遷移できるopen-domainの対話システムに関する論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/242 番組への支援は，こちらからお待ちしております．

github上でご指摘いただきましたが，実験２のReproductionのシステムの優劣を完全に逆にして説明していることが判明しました．issueのコメント欄を御覧ください．他にも怪しくなってきた気がするのでお気付きの方はどんどんコメント頂けると嬉しいです。 第３２回では，ACL 2019から，標準的なデータセットのsplitに起因するシステム比較手法の危険性を示す論文を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/241 番組への支援は，こちらからお待ちしております．

第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/229 番組への支援は，こちらからお待ちしております．

第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/228 番組への支援は，こちらからお待ちしております．

第２９回では，NAACLのBest Thematic Paperに選ばれた，学習データに含まれるバイアスを軽減させる手法を紹介しました．名前の単語埋め込みと予測確率の相関関係にペナルティを与えるロス関数を提案しています． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/226

第２８回では，NAACLより学習した重みに対する透明性・説明性について一石を投じる論文を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/221

第２７回では，２０１８年度の振り返りの特別回として，アンケート結果の共有，NLPのおすすめ勉強方法と教材，論文の読み方，期末の振り返りと今後について話しました． アンケートの振り返り NLPの勉強の仕方，論文の読み方 今期，来期のはなし  紹介した書籍やサイト 自然言語処理の基本と技術 Graham Neubig先生のNLPプログラミングチュートリアル 言語処理のための機械学習入門 番組への支援は，こちらからお待ちしております．

第２６回では，NLP2019のニューラルネットワークベースのシンプルな形態素解析器について解説しました． 今回紹介した論文は予稿集が公開され次第，issueを公開にします 現在視聴者の方へのアンケートを実施しているので，数分で終わりますのでぜひご協力ください． 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki

第２５回では，NLP2019のサブワードを利用した単語分散表現のモデルについて解説しました． 今回紹介した論文は予稿集が公開され次第，issueを公開にします 現在視聴者の方へのアンケートを実施しているので，数分で終わりますのでぜひご協力ください． 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki

第２４回では，BERTを利用してインテント分類とスロット抽出をjoint learningした手法を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/210 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki

第２３回では，患者との対話を通して医療診断を行う対話システムKR-DSの解説をしました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/206 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki

第２２回では，Microsoft Research Blogで解説された差別的バイアスの発見と分析に記事を解説しました．github.com/jojonki/AI-Post-Notes/issues/1 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki

第２１回では，Googleによる双方向コンテキストを獲得した言語モデルBERTの解説をしました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/199 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki

第２０回では，Amazonが行った音声合成の知覚評価に関する論文を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/194 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki

第１９回では，Googleが開発したサブワードによるTokenizer/DetokenizerであるSentencePieceを解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/186 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki

ep18: PyText: A Seamless Path from NLP research to production 第１８回では，FacebookによるNLPのモデル化のためのフレームワーク，PyTextを解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/179 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki 今年もよろしくおねがいします！

第１７回では，Googleによるタスク指向対話におけるユーザーシミュレーターの論文について解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/180 番組への支援は，こちらからお待ちしております．www.patreon.com/jojonki 

第１６回では，Amazonによるコンテキストを利用したトピック分類のモデルについて解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/162 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki

第１５回では，AAAI 2019 Deep Dialに採択された，ニューラル対話生成モデルの論文を解説しました．あのりょぼっとさんの論文でして恐縮しながら解説しました． 今回紹介した論文はこちらのissueで解説しています．理解が及ばず説明が曖昧な個所がありましたが，りょぼっとさん本人にissueで細くコメントもらっていますので是非見てみてください． github.com/jojonki/arXivNotes/issues/159 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki

第１４回では，Facebook AI Researchによる多言語におけるNLIタスクの評価データセット及び多言語NLIにおけるベースラインを解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/155 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki

第１３回では，アテンションを使わず，エンコーダー・デコーダーを統合した，機械翻訳モデルの手法を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/148 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki

第１２回では，単語埋め込みを利用した編集距離を利用して，文の類似度を計算する手法を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/145 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki

第１１回では，CIKMでAlibabaが発表した，Eコーマスの検索を対話的に行う対話検索のモデルをを解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/139 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki

第１０回では，対話応答生成モデルが，個性を反映した応答を生成出来ているかを，自動評価する手法を提案したモデルを解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/138 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki

第９回では，文ベクトルをスパース化することで解釈性を与えることが出来ないか，という問題に挑戦した論文を解説しました． 今回紹介した論文はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/137 番組への支援は，こちらからお待ちしております． https://www.patreon.com/jojonki

第８回では，Microsoftのスロットタギングの論文を解説しました． 今回紹介した論文の解説はこちらにあります．https://github.com/jojonki/arXivNotes/issues/128 前々回のエピソードを予め聞いておくと，今回の内容は分かりやすいかもしれません． https://anchor.fm/lnlp-ninja/episodes/ep6-Bag-of-Experts-Architectures-for-Model-Reuse-in-Conversational-Language-Understanding-e24tuf

第７回では，EMNLP 2018でFacebookが開発したペルソナデータセット及びそのペルソナに沿ったEnd-to-end雑談対話システムを解説しました． 今回紹介した論文の解説はこちらにあります．https://github.com/jojonki/arXivNotes/issues/130

第６回では，NAACL-HLT 2018より，Microsoftのスロットタギングの論文を紹介しました． 今回紹介した論文の解説はこちらにあります． https://github.com/jojonki/arXivNotes/issues/129

第５回では，EMNLP2018から対話における非流暢性がSeq2Seqに及ぼす影響を調べた論文を紹介しました． https://github.com/jojonki/arXivNotes/issues/125

第４回では，スタンフォード大から公開された対話的なQAのコーパスの論文を説明しました． https://github.com/jojonki/arXivNotes/issues/124

第３回ではACL 2018からBelief Trackingに関する論文を説明しました． 今回紹介した論文のまとめ github.com/jojonki/arXivNotes/issues/107

第２回ではSIGDIAL 2018でベストペーパーを獲得した，対話応答生成のモデルを説明しました．タスク指向型の対話における新しい応答生成モデルの提案になっていて面白いです． 今回紹介した論文のまとめ https://github.com/jojonki/arXivNotes/issues/123

第１回ではInterspeech 2018から対話システムにおけるドメイン選択，ドメイン外発話棄却をテーマにした論文を紹介します． 今回紹介した論文のまとめ． https://github.com/jojonki/arXivNotes/issues/112