2019年の振り返り
久しぶりにブログを書く。去年の8月に院試を受けて合格し, 今年の4月に京都大学情報学研究科に入学した。 現在は自然言語処理の研究室に所属し, 画像と言語の融合領域であるVision&Languageの分野で研究を行なっている。 2019を月ごとに振り返りながら, 今年の反省と来年どうするかなどを書く。
自己紹介
京都大学の自然言語処理の研究室の修士1年生(Twitter: @awkrail)。 普段はコンピュータビジョンと言語処理の融合領域であるVision&Languageの研究に取り組んでいる。 具体的な研究テーマは, レシピのような手順書型の文書を, 写真や動画付きで理解する人工知能の開発である。最終的な目標として, 料理ロボットのようなレシピを理解しその通りに実行するものができればと思っている(超遠い目標だが...)*1。この研究テーマは好きだが, 今の研究テーマにのみ興味を絞らず視野を広げて自分が面白いと思うことをしたい。後で述べるようにD進と就活で悩んでいるので, もしこんな人材に興味があれば, TwitterでリプライやDM, taichitary@gmail.comにメールいただければ嬉しい。
振り返り
1月 ~ 3月
1月は卒論を書いていた。学部の頃は九州大学で所属していたが, GPAが低くいわゆる放置系研究室に入ることになったため, 院試に合格してから来年お世話になる研究室の指導教官(今の指導教官)とSkypeミーティングをしながら卒業研究を行なっていた。 その卒論を書いていたのがこの時期である。 また, 卒論とは別にDEIM2019(情報系の国内学会。なんでも有りな印象がある)に論文を投稿した。これが初の主著の論文投稿となる。 論文はこちら。 2月は卒業論文の学内発表と, DEIM2019で対外発表を行なった。 3月になると急に忙しくなった。卒業論文では, 1つの問題に2つのアプローチで取り組んだため, それぞれを国際会議に投稿しようという流れになった。 まず1本目の締め切りが3月末, 2本目が4月頭ということで, ヒーヒー言いながら英語論文を書き始めた(8p+8p=16p)。 同時期に福岡から京都への引っ越しもあったため精神的にはかなりやられていた(と思う)。指導教官や共著者の助けもあり, 3月末になんとか論文をまず1本投稿した。
4月 ~ 6月
2本目の論文もヒーヒー言いながら投稿した。また, 3月に投稿した1本目の論文がacceptされ, とても嬉しかった。 その論文がこちら。 本格的に授業や大学院生活が始まった。M1の最初の学期で授業を全部取りきってやろうと考えていたので, 授業に研究で忙しかった。 M1だしどこかインターンへ行こうと考えて, PFNにインターンを応募した。書類+コーディング課題を解いて提出した。一応全部解けた*2。 卒論のテーマとは別に, 新しく研究テーマを始めようと考えてサーベイを行なっていると,ふと"Cookpadの写真からレシピが生成できたら面白いのでは"とアイデアが浮かび, そこを広げるようにサーベイを行ない, 提案手法を実装した。 授業に新しい研究..と追われているとPFNのインターンの結果が帰ってきて, 1次審査(書類+コーディング)は合格という結果を受け, 二次審査(面接)へ進むことができた。 自分の専門分野がNLPでPFNのインターンとして志望した領域がロボットであったため, ロボット+NLPなホットな領域のﾂﾖﾂﾖな方と面接を行った。面接は和やかに進んだと思うが, 残念ながら結果は不合格であった。この不合格はかなりショックで数日動けなかったのを覚えている。PFN以外にインターンに応募していなかったので, 夏は研究に打ち込むことに決めた。 卒論の内容をジャーナルにしてみたらとアドバイスを頂き, DEIMの特集号に向けて8pのジャーナルを書き, 投稿した。 また, 4月に投稿した論文の発表にオタワへ向かい, 初の英語での口頭発表を行なった。発表はカンペで乗り切ったが質疑がボロボロだった。英語勉強しよう...。 この論文がBest paper awardを受賞した。とても嬉しかったのを覚えている。 一方, 4月に投稿した2本目の国際会議への論文がrejectされた。投稿した学会がいわゆるTop conferenceだったため, なかなか通らないだろうとは思っていた。しかし, Reviewの点数が思ったより悪いわけでもなく, 来年こそは通ってやろうと良い起爆材料になった。
7月 ~ 9月
5月の新しいテーマの方でそこそこ良い結果がでてきたので, 7月頭に国際会議にshort paperを投稿した。 授業がテスト期間などに入り, かなり忙しかったのを覚えている。 8月になって夏休みが始まった。京都の夏の暑さにやられてモチベーションが下がっていたが, なんとか研究へ心を向かわせ4月からRAとしてやっていたデータ作成のアルバイトを研究成果としてYANS(自然言語処理若手の会)で発表した (ポスターはこちら)。 YANSに参加するのはB4の時に続いて2年目であるが, 活発に密に研究内容を議論することができて楽しかったし, 北海道の料理は非常に美味しく夏で失いかけていたモチベーションを復活させることができた。 7月に投稿していた国際会議から論文がacceptされた。論文はこちら 。 しかし, 6月に投稿していたジャーナルからは一発rejectを食らってしまった*3。かなり細かい点まで指摘されており, ジャーナルに求められる水準を知った。 一旦卒論をジャーナルにするのは置いておき, 今回通った新しいネタをジャーナルにして自然言語処理の論文誌へ投稿した。その後, 国内研究会に同じ内容の論文を投稿した。その論文はこちら。
10月 ~ 12月
8月にYANSで発表したネタを国際会議に投稿しようと思い, 色々実験を行った。その結果をまとめて, 言語資源の国際会議に投稿した。 一方, acceptされた論文から新たに発展させてみるべく自分でデータを作り始めたりした。アノテーションはなかなかしんどいけれど, 今世の中にあるデータだけから何かを行うより, 自発的に必要なデータを作るほうが好きだなと思っている。 東京に行き提出した国内研究会で研究発表をした後, その後同じく東京で開かれた国際会議に参加し, ポスターセッションを行った。
INLG ポスター完 色んな人が見てくれてよかった pic.twitter.com/UyUg9YKcmT
— Tn (@awkrail) 2019年10月31日
これらの学会発表のため1週間ずっと東京に滞在したため, なかなかしんどかったが, 発表は概ねうまくいったと思う。 9月に投稿したジャーナルから"照会後判定"の通知を受け取った。現在は査読者へ返答するべく追加の実験を行いながら, 来年3月に開かれる言語処理の年一度の国内学会である言語処理学会に2本論文を出すために実験中である。
成果
以上の振り返りにあるように, 今年は研究活動をメインに行なった。具体的には2件の査読付き国際会議発表, 3件の国内学会発表である。 自己評価では, かなり頑張った方ではあるまいか..と思う(けど情報系だと国際会議のいいとこにバンバン通す修士学生もいるので微妙な気もしてきた)。 これに加えて現在査読中の論文が2本ある(国際会議1, 論文誌1)。
- Taichi Nishimura, Atsushi Hashimoto, Shinsuke Mori. Procedural Text Generation from a Photo Sequence. In Proceedings of the 12th International Conference on Natural Language Generation (INLG2019). link
- Taichi Nishimura, Atsushi Hashimoto, Yoko Yamakata, Shinsuke Mori. Frame Selection for Producing Recipe with Pictures from an Execution Video of a Recipe. In Proceedings of the The 11th Workshop on Multimedia for Cooking and Eating Activities in conjunction with ICMR2019 (CEA2019). link
- 西村 太一, 橋本 敦史, 森 信介. 作業写真列からの手順書の自動生成. ヒューマンコミュニケーション基礎研究会 (HCS). link
- 西村 太一, 橋本 敦史, 原島 純, 山肩 洋子, 森 信介. Bounding Boxを付与したフローグラフコーパスの提案. 自然言語処理若手の会 (YANS). link
- 西村 太一, 橋本 敦史, 山肩 洋子, 森 信介. 写真付き手順書生成のための実施映像からのフレーム選択. 第11回データ工学と情報マネジメントに関するフォーラム (DEIM2019). link
今後
修士1年の冬に入った。D進か, 就職かでかなり迷っている。 大学院に入って1年目で研究が楽しいので, 今の研究を続けていたいという気持ちもある一方で就職して色々なものを見てみたいし, 関わってみたいという気持ちもある。
また, 正直な不安としてD進して自分がやっていけるのかが不安というのもある。 ご存知の通り, 近年は深層学習ブームによって競争が激化し続けている。人工知能分野のトップ会議(自然言語処理だとACL, コンピュータビジョンだとCVPRなど)の投稿数は倍々で伸びており, このような環境下で自分が毎年論文を出し続けている姿というのを描くのが難しいと不安がある。(実際自分の研究は面白いと思う...が, このようなレベルの会議に通る話か?と言われると...分からない。)
どちらの未来を選択するのか分からない。分からないが, ちょっと今年いっぱい残りの時間は考える時間に当てようと思う。 世の中僕が知らない面白い会社もいっぱいあると思っている(が, なかなか検索に引っかからなかったり)。それをじっくり探して見たりしたい。 この記事を読んでいただける方でちょっと話さないか?といったレベルでももし興味をもって頂ける方は, taichitary@gmail.comにメールをいただければ嬉しい (2度目)。
