automatik

時々思い出して何かを書いてとどめておくだけ

2021年の振り返り

やはりブログは1年1回くらいが一番良い気がする, ズボラなので。今年も去年に引き続いて振り返り記事を書いておく。コロナのせいで相変わらず国内、国際学会の現地参加が難しかったり、インターンの現地参加も難しかったりしたが, 総じて言えば去年よりも楽しい毎日が送れたように思う。以下は四半期ごとに今年を振り返ってみる。

1 ~ 3月

ACM Multimediaに論文を投稿することを決め, コツコツとその準備を始めた。いろいろな実験を行っていく中で, 自分自身がもともと抱いていた作業映像から手順書を生成する上での最も興味深いポイントは, 「同じ物体であったとしても物体の性質は作業過程で大きく変化していくが, 従来の文生成手法はそれを考慮に入れていない」にあると考えた。これは去年の学振にも同じ内容を書いたが, 実際にそれを検証するために行動に移したのが今年ということになる。また, 松尾ぐみの論文の書き方の指南にもある通り, top conferenceに出すときは何度も推敲する, できるくらいの時間を取るということを意識した。最終的な締め切りは4月にあったが, 論文自体は2月中に完成させ, そこからじっくりと論文を再構成することで, 結果としてはいい論文が書けたと思う。1月から3月はこの論文につきっきりで他のことはあまり覚えていない...。

つらそう...

4 ~ 6月

ACM Multimediaに投稿した。そろそろ求職にむけた活動もしていかないとナーと思ってPreferred Networks (PFN)のインターンに応募したり, 後輩と勧めていた生化学ドメインの作業映像&手順書(プロトコル)のデータセット論文を書いてICCVのWorkshopに投稿したりしていた。学振を貰い始めて生活がだいぶ楽になった。人権〜〜〜！この時期のことはあんまり覚えていないが, 伊勢神宮に行ったのが印象に残ってる。旅館含めとてもよかった...。写真がない...。

7 ~ 9月

ACM Multimediaの結果が来た。査読結果は概ね良好で (5段階で言うと4,4,4,3)そのまま無事採択された。またICCV Workshopに投稿していた論文も無事に採択された。非常にめでたい。ACM Multimediaに出した論文を拡張してIEEE Transactions. Multimediaに投稿しようと言うことになった。これが今年結構難産した。より良い論文にするためには新しくアノテーションしたり, 手法を拡張したりする必要があったのだが実装したものが悉くあまりうまくいかずにウームと悩んでいた記憶がある。

最初はこんなこと言ってたのにナー

そう悪戦苦闘しているとPFNのインターンも合格し, 8月から9月の終わりにかけてオンラインでインターンが始まった。基本修士, 博士の優秀な学生が集まっていて, みんな強すぎてグエーと毎日自宅でインターンに取り組んでいた。詳細はここには書けないが, PFNのメンター陣の的確なコメントをもとに開発できるのは楽しかった。あとインターン生, メンター陣含め, 皆尖ってるけど優しかった..どんなアイデアもおもしろい、すごい、と言ってから議論が始まるのは心理的に安全だった。最終的にプロトタイプレベルではあるが面白いものができて個人的には満足。また, PFNスマブラ部に混ぜてもらえてインターンが終わった今なおスマブラで交流している。とても楽しい。

早くオフラインでインターンができる世界になるといいナ

あとは7月に北海道に旅行に行った。個人的に今年一番思い出に残ってるのは富良野でたべたじゃがいもである。めちゃくちゃ美味しかった。次は北海道のトマムとか泊まってみたいな (高そうだけども...)。

10 ~ 12月

難産した論文誌を提出するも, IEEEの30%ルール(カンファレンスの内容は3割のoverlapしか認めない)にひっかかってdesk rejectを喰らう。その後別の論文誌へ投稿した。現在結果待ち。ICCV Workshop, ACM Multimediaの発表もありかなり10月は忙しかった。11月になってようやく新しい研究テーマに取り組み始める。いいアイデアが思いつき, 現在実験中&来年の言語処理学会へ投稿予定。また, 新しいインターン先も確保した。次はオフラインでインターンを行うのでとても楽しみ。ο株, たのむから暴れないでください...

あとは下呂温泉に行きました。とても綺麗な温泉で心からリラックスできました。

成果

今年の研究成果は以下の通りである。2件の国際会議, ワークショップでの発表と, 1件の国内学会での発表を行なった。ACM Multimediaはマルチメディア分野でのトップカンファレンスにあたるので, そこに通ったのは良かったかなと思う。ただ本数は寂しいな...あと1本くらい欲を言えば欲しいか。博士生活も折り返しが迫ってるが頑張っていきたいなぁ。

国際会議

  • Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko and Shinsuke Mori. State-aware Video Procedural Captioning. In Proc of the 29th ACM International Conference on Multimedia (ACMMM21)

  • Taichi Nishimura, Kojiro Sakoda, Atsushi Hashimoto, Yoshitaka Ushiku, Natsuko Tanaka, Fumihito Ono, Hirotaka Kameko and Shinsuke Mori. Egocentric Biochemical Video-and-Language Dataset. In Proc of the 4th Workshop on Closing the Loop Between Vision and Language in conjunction with ICCV (CLVL21)

国内会議

  • 西村 太一, 橋本 敦史, 牛久 祥孝, 亀甲 博貴, 森 信介. 手順構造を考慮した作業映像からの手順書生成. 言語処理学会第26回年次大会 (NLP2021)

今後

今後のキャリアとして, 研究もできるソフトウェアエンジニアというが一番しっくりきている。研究で身につけた思考プロセスはエンジニアリングのプロセスそのものに活かしていけるはずだと信じている。今年の反省点として, 研究を行う姿勢は身に付いてきた一方で, プログラミング能力, たとえば再利用しやすいようなコードを書いたり, 実験を回しやすいような開発環境を整えたり, といった点はまだまだだと思う。次の1年はより良い論文をより多く書くことに加えて, プログラミング能力を上げられるような1年にしたい (早速インターンがあるので試していきたい)。

2020年の振り返り

今年はコロナウイルス等，世の中はガラリと一変してしまった。それに対応するように，研究の方も大変であった。 去年と同様に今年も四半期ごとに振り返りつつ，来年の目標をつらつらと書き留めておく。

1 ~ 3月

1月の初めは国内論文誌の条件付き採択の基準を満たすために論文を書いていた。私の論文がダメダメであったせいで，計41個の修正事項がありそれらを締め切りギリギリまで修正していた。なんとか投稿し，無事採択された (論文はこちら)。 また，LRECという言語資源に関する国際会議でも論文が採択された。"At least three reviewers"と書いていたのに私の論文には2人の査読者しかついていなかったのは少し面白かった (論文はこちら)。

その後，共著者の所属するオムロンサイニックエックスという会社でインターンをさせていただくことになった。 この会社はオムロンの本社と切り離された会社で，基本的に研究者に研究に専念させることで新たな価値を生み出していこうとする会社である。インターン分野はコンピュータビジョンとロボティクスが多めであるが，自然言語処理を専門とする人も少ないが受け入れているようだ (私も研究室は自然言語処理を専門とするラボである)。国内外から優秀な方が揃っており，非常に良い経験となったので興味がある方は是非応募してほしい。この時のインターンで行なった内容をコンピュータビジョンのトップ会議であるECCVに投稿した。

4 ~ 6月

インターンを終え，京都に戻ってきた。世にはコロナウイルスが蔓延し始め，私が所属する京都大学でも基本在宅で研究することが原則となった。私は博士課程に入学することを考えていたため，学振 (日本学術振興会特別研究員)に応募するべく書類作りに勤しんでいた。これまでの業績は修士2年としては多く，テーマも大体同じであったため簡単に書けるのではと思っていたものの現実は甘くなく書類作りは難航を極めた。これまでやってきたことはさておき，これからやっていくことをどう分かりやすく，かつこれまでの研究と繋げるのかがとても難しかった。また，こういった書類作りは私にとって初めての経験であったため，何をどういう風に書けば良い申請書であるのかが分からなかったのである。 共著者からのコメントや，学部の頃に所属していた九州大学時代の先輩と議論を重ねながら書類を何度も遂行させて完成度を上げ，なんとか納得いくものを投稿することができた。

また，ECCVに出した論文がRejectと帰って来たため，その論文を修正してCOLINGに投稿した。今回こそは通るであろう，そのようなクオリティになるまで上げられた (と思っていた...)。

7 ~ 9月

博士課程に進学すると前述したが，色々業績などを鑑みて早期修了しても良いのではという話となり，7月末に修士論文を提出した。提出した修士論文はこちら。 8月にその公聴会が開かれ，なんとか平和に終わることができ修士課程を1.5年で修了することができた。

9月には学振の結果も帰ってきた。結果は，"二次採用内定"ということで，従来でいう面接対象者となった。 しかし，今年はコロナの影響により面接を行うことはないようで，追加の書類も必要ないため1月上旬まで先送りということとなった。この時，同じく博士課程に進学する友達の学振の結果を聞いたりしたが，誰も採用までは至っておらず「やはり学振は難しいのだなあ」と思ったりしていた。

10 ~ 12月

博士課程の学生となった。4月入学と違ってシームレスな気がする。気がするだけだが。 ちゃんとコツコツとこなして3年で卒業できるようにしたいところである。

また, COLINGの結果が帰ってきた。結果はRejectであった。レビュワーの点数はそこそこ高かったが，1人のReject寄りのレビュワーに引っ張られたというところだろうか。学振もCOLINGもそれなりに良く書けたと思っていただけに，現実の難しさを知る (毎回全て通っている, ように見える人も裏では落ちているのだろうか)。 しょうがないのでCOLINGの原稿を再度修正を行い，IEEE Accessというジャーナルに投稿した。このジャーナルは査読が早く，Accept/Rejectまでのスピードもかなり早いため，そろそろ終わりにしたいと考えていた私にはちょうどよかったのである。ただ，過去の論文を見る限りちゃんとしっかり書かないとRejectであるため，1ヶ月かけて推敲を重ねて投稿した。結果はAcceptであり，なんとか今年中に決着をつけられてよかった..と思う (論文のEarly accessはこちら)。

11月には新しい研究のためのアノテーション結果が到着したので，それをもとに考えていたことを実装し始めた。それなりに実験はうまく進んだが，一方完全に思い通りの結果は得られていないため，今後ブラッシュアップしていきたいと思う。

また，学振の結果がクリスマスに帰ってきた。結果は採用であった。ゼミ中の自分の発表の時に帰って来たので，正直気が気でなかったが....。なんとか通ってよかった。しかし，喜んでばかりもいられない。自分の申請書は採用された55人の中でもっともヘボいものであることを自覚し，自ら研鑽していきたいと思う。

成果

今年の研究成果は以下の通りである。2件の査読付き論文誌への採択と，1件の国際会議での発表, そして2件の国内学会での発表である。今年は学振や論文の成仏に追われていて新たに始めた内容で採択というところまでは至らなかったが，今後気を引き締めて取り組んでいく予定である。また，後輩の研究指導も始めており，みんな順調に進めてくれているため，共著も今後増えていくのではないかなと思う。

論文誌

  • Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Yoko Yamakata, and Shinsuke Mori. Structure-Aware Procedural Text Generation from an Image Sequence. IEEE Access.
  • 西村 太一, 橋本 敦史, 森 信介. 重要語に着目した写真列からのレシピの自動生成. 自然言語処理 Vol 27 (2).

国際会議

  • Taichi Nishimura, Suzushi Tomori, Hayato Hashimoto, Atsushi Hashimoto, Yoko Yamakata, Jun Harashima, Yoshitaka Ushiku and Shinsuke Mori. Visual Grounding Annotation of Recipe Flow Graph. In Proc of the 12th international conference on language resources and evaluation (LREC2020).

国内学会

  • 西村 太一, 橋本 敦史, 牛久 祥孝, 森 信介. 写真列と構造要素からの手順構造と手順書の同時学習. 言語処理学会第26回年次大会 (NLP2020).
  • 西村 太一, 友利 涼, 橋本 隼人, 橋本 敦史, 山肩 洋子, 原島 純, 牛久 祥孝, 森 信介. レシピフローグラフへのVisual Groundingアノテーション. 言語処理学会第26回年次大会 (NLP2020).

今後

今後もより自身の研究を深めて行く一方，博士卒業後のキャリアパスについても考えていきたいと思う。 研究も好きであるが，個人的には論文を書いて公表することよりもワクワクするようなプロダクトに関わって生きていきたいと思っており，そういったものを作っている会社にインターンで行ければいいなぁと思う (私の専門である言語とビジョンを両方扱うようなマルチメディア処理が絡むと力を発揮できそう..な気がする)。 とはいえあんまり深くは考えていない。とりあえず来年も楽しく研究ライフを過ごして行ければいいなあと思う。

不採録を受けて

COLING2020の不採録

We are sorry to inform you that your submission...

Notificationは二日後だと思っていたのに突然メールが来て, 書き出しの文章から論文が落ちたことを知った。 この数日間は論文が通るか落ちるかがずっと気になっており「あれで落ちるのかな, 落ちたら悲しいだろうな」と思っていたのだが, 意外にも落ちた時の正直な感想は「落ちてホッとした」というものであった。

これから始まる博士課程に向けて, 自分の気持ちの整理のためにここに記録を残しておきたい。

全ては成果のために

私は去年4月に大学院に修士課程から入学した。専攻を情報系に院から変更したが, 自然言語処理に関しては入学前から興味を持ち自発的に勉強はしていた。その中で, 「世界の場で活躍するためには, 業績を上げて行くことが必要なのだ」と強く考えており, また入学してからはそのように行動した。他の同期の学生と比較してテーマを決めるのもそれに取り組むのも早かっただろうと思う。早く国際会議へ, 論文誌へ。入学して3ヶ月経った7月には論文を投稿し, 採択された。そこから連続で論文誌も, 他の国際会議にも採択され, いよいよ目指すところはトップカンファレンスだと, そして自分ならそれができるはずだと根拠のない自信だけがあった。

ECCV, COLINGの不採録

上記の7月に通った内容をもとに, 論文をさらに発展させてコンピュータビジョンのトップカンファレンスであるECCVに論文を投稿した。某研究所にインターンをさせていただいている時の話である。図も文章もギリギリまで推敲し, 色々な人からレビューを受け修正したが, 結果はあっけなくRejectであった (今改めて当時の原稿を読んでも「これはダメだな〜」と思うので, この件に関しては完全に時間切れだという他ない)。

そのReviewを踏まえてCOLINGへ再投稿した。この時も学振と締め切りが近く半泣きでやっていたのだが, (見かねた)共著者の支えによって図や表は見やすくなったし, 本文もかなり改善された。COLINGの過去の論文と見比べても見劣りしない, 「これはいけるんじゃないか」...しかし結果は再びRejectであった。Reviewerの評価は全体的に高かったものの, あと1歩及ばず, といったところだった。

考え方を変える

この連続した2回のRejectは私は自分の考え方を大きく変換するきっかけとなった。今までも研究は楽しかった。しかし, 研究を通して知ることを楽しみ世にその成果を発表するということよりも, いかに早く論文を通すかという点にばかりこだわっていた。2回論文が落ちてホッとしたのは, この考えに拘り過ぎた自分が立ち止まって冷静になることができたからかもしれない。成果を出すことは研究者として大切である。ただそれ以上に, 問題について深く知り, 考察し, 新たな礎を築き上げて行くこと, そして好奇心を持って研究に取り組んで行くことが大切であろうと自覚した。

こんな大切なことを修士に入り, 卒業するまで気づかなかったのは本当に愚かであろうと思うのだけれど, 今回の件で考え直すことができた。2回のRejectは高い勉強代と思って, また来週からも真摯に研究に取り組んで行こうと思う。結果は後からついてくるはず。博士課程の3年間, とにかく楽しもう!

研究イノセント

研究に対して思うところが増えた。今後どうなっていきたいかも含めて一旦ここに考えをまとめておくことにする。本当は学振やら研究やらやらなきゃいけないことはたくさんあるんだけど，それらとも少しは関係しているのかもと思ってまとめておくことにした。3年後くらいに見返して，なんか答えが見つかればいいかなと思う。お酒を飲んでいて雑な文章だが許してほしい。

僕は京都大学大学院情報学研究科の修士2年生で，自然言語処理とコンピュータビジョンを融合した領域のVision and Languageの研究をしている。いわゆる人工知能分野のうちの1つの領域で，自然言語処理，コンピュータビジョン両方の分野を知っておかねばならないため，満遍なくサーベイし自身の研究を進めている。 両方の分野を眺めていて思うのは最近「なんでこれが(このグレードの国際会議に(?))通るんだろう」という研究が増えてきたということだ。いやまぁ，もちろん通る理由はある。Introductionの書き方がうまいとか，データセットを作った+手法を提案した，とContributionが明確だ，とか。そういうぱっと見は確かに通りそうに見えるんだけれど，じゃあ実際その研究を自分の研究でも使ってみましょうとなった時に中々うまくいかない。というか，うまくいかないことに気づく。「この大切なパラメータはどう設定されているんだろう」とか，手法の重要な部分は先行研究を引っ張ってきているだけで何も記述されていなかったりとか，(その人の環境/実装ではうまくいったのかもしれないが)再現できないものが本当に多いように感じる。そして大抵がGithub上に上がっておらず，著者に丁寧にメールしてみても全くもって帰ってこない。帰ってきたとしても，明らかに疎ましがられる。こないだなんか，自然言語処理のトップ会議であるACLに自分の研究と全く同じ課題設定の論文が出ており，彼女らはそのためのデータセットも提案していたから連絡を取ると，"もうパソコン上に存在しない"と言われてしまった。おいおい勘弁してくれよ...

そんなことが重なって重なって，あぁ, トップ会議でもこれか。と思うようになってしまった。同時に，僕たちは何のために研究しているんだろうな，とも。論文をいいところに通すために研究しているんだろうか? CVPRに，ACLに? いやぁ, 通すことができる人はすごいと思うよ。尊敬する。実際俺も書いてみて，まぁ今査読中だけど，本当にしんどかったし。尊敬する，尊敬するんだが，俺たちがやってることって意味あるの? 広くは人類のためになるの? 本当は自らの知的好奇心を満たすとともに，社会に還元して行くべく研究をしているはずなのに，それにハイと答えられない自分がいる。多分個人の最適解としては，良いところに論文を通し続けて，かっこよく博士課程を卒業し，GoogleやらMicrosoftなどの研究所に行くことなんだろうな。俺も"ちゃんと論文を通し続けて"，かつ"世のため人のためとなるような"研究をし続けたいよ。正しい道を歩き続けたいよ でも自信がないよ。

B4からM1にかけて，俺は頑張って論文を出したと思う。研究することが好きだったからだ。でも，少しずつ，自分のやった研究も残していかないと虚無が襲ってくるようになった。ちょっとずつ，Githubに誰もが使えるように整備している。データが一部クローズなデータだったから，オープンなデータで代替できるように変更を加えて，コードを書いて再現できるよう整えている。これがある種，論文を通し続けないと息ができない世界で意味がないことも知っているが，やらないと死にたくなる。

俺が研究者として生きるなら，この研究に対するイノセントな気持ちも，少し殺して進めることもしていかないとまずいんだろうな。エンジニアとして生きるなら，それもそれで良いと思う。これから博士課程に進むとして，その後俺が将来何になっているのか知らないが，どうこの気持ちに答えをつけたかだけ聞かせてほしい。

2019年の振り返り

久しぶりにブログを書く。去年の8月に院試を受けて合格し, 今年の4月に京都大学情報学研究科に入学した。 現在は自然言語処理の研究室に所属し, 画像と言語の融合領域であるVision&Languageの分野で研究を行なっている。 2019を月ごとに振り返りながら, 今年の反省と来年どうするかなどを書く。

自己紹介

京都大学の自然言語処理の研究室の修士1年生(Twitter: @awkrail)。 普段はコンピュータビジョンと言語処理の融合領域であるVision&Languageの研究に取り組んでいる。 具体的な研究テーマは, レシピのような手順書型の文書を, 写真や動画付きで理解する人工知能の開発である。最終的な目標として, 料理ロボットのようなレシピを理解しその通りに実行するものができればと思っている(超遠い目標だが...)*1。この研究テーマは好きだが, 今の研究テーマにのみ興味を絞らず視野を広げて自分が面白いと思うことをしたい。後で述べるようにD進と就活で悩んでいるので, もしこんな人材に興味があれば, TwitterでリプライやDM, taichitary@gmail.comにメールいただければ嬉しい。

振り返り

1月 ~ 3月

1月は卒論を書いていた。学部の頃は九州大学で所属していたが, GPAが低くいわゆる放置系研究室に入ることになったため, 院試に合格してから来年お世話になる研究室の指導教官(今の指導教官)とSkypeミーティングをしながら卒業研究を行なっていた。 その卒論を書いていたのがこの時期である。 また, 卒論とは別にDEIM2019(情報系の国内学会。なんでも有りな印象がある)に論文を投稿した。これが初の主著の論文投稿となる。 論文はこちら。 2月は卒業論文の学内発表と, DEIM2019で対外発表を行なった。 3月になると急に忙しくなった。卒業論文では, 1つの問題に2つのアプローチで取り組んだため, それぞれを国際会議に投稿しようという流れになった。 まず1本目の締め切りが3月末, 2本目が4月頭ということで, ヒーヒー言いながら英語論文を書き始めた(8p+8p=16p)。 同時期に福岡から京都への引っ越しもあったため精神的にはかなりやられていた(と思う)。指導教官や共著者の助けもあり, 3月末になんとか論文をまず1本投稿した。

4月 ~ 6月

2本目の論文もヒーヒー言いながら投稿した。また, 3月に投稿した1本目の論文がacceptされ, とても嬉しかった。 その論文がこちら。 本格的に授業や大学院生活が始まった。M1の最初の学期で授業を全部取りきってやろうと考えていたので, 授業に研究で忙しかった。 M1だしどこかインターンへ行こうと考えて, PFNにインターンを応募した。書類+コーディング課題を解いて提出した。一応全部解けた*2。 卒論のテーマとは別に, 新しく研究テーマを始めようと考えてサーベイを行なっていると,ふと"Cookpadの写真からレシピが生成できたら面白いのでは"とアイデアが浮かび, そこを広げるようにサーベイを行ない, 提案手法を実装した。 授業に新しい研究..と追われているとPFNのインターンの結果が帰ってきて, 1次審査(書類+コーディング)は合格という結果を受け, 二次審査(面接)へ進むことができた。 自分の専門分野がNLPでPFNのインターンとして志望した領域がロボットであったため, ロボット+NLPなホットな領域のﾂﾖﾂﾖな方と面接を行った。面接は和やかに進んだと思うが, 残念ながら結果は不合格であった。この不合格はかなりショックで数日動けなかったのを覚えている。PFN以外にインターンに応募していなかったので, 夏は研究に打ち込むことに決めた。 卒論の内容をジャーナルにしてみたらとアドバイスを頂き, DEIMの特集号に向けて8pのジャーナルを書き, 投稿した。 また, 4月に投稿した論文の発表にオタワへ向かい, 初の英語での口頭発表を行なった。発表はカンペで乗り切ったが質疑がボロボロだった。英語勉強しよう...。 この論文がBest paper awardを受賞した。とても嬉しかったのを覚えている。 一方, 4月に投稿した2本目の国際会議への論文がrejectされた。投稿した学会がいわゆるTop conferenceだったため, なかなか通らないだろうとは思っていた。しかし, Reviewの点数が思ったより悪いわけでもなく, 来年こそは通ってやろうと良い起爆材料になった。

7月 ~ 9月

5月の新しいテーマの方でそこそこ良い結果がでてきたので, 7月頭に国際会議にshort paperを投稿した。 授業がテスト期間などに入り, かなり忙しかったのを覚えている。 8月になって夏休みが始まった。京都の夏の暑さにやられてモチベーションが下がっていたが, なんとか研究へ心を向かわせ4月からRAとしてやっていたデータ作成のアルバイトを研究成果としてYANS(自然言語処理若手の会)で発表した (ポスターはこちら)。 YANSに参加するのはB4の時に続いて2年目であるが, 活発に密に研究内容を議論することができて楽しかったし, 北海道の料理は非常に美味しく夏で失いかけていたモチベーションを復活させることができた。 7月に投稿していた国際会議から論文がacceptされた。論文はこちら 。 しかし, 6月に投稿していたジャーナルからは一発rejectを食らってしまった*3。かなり細かい点まで指摘されており, ジャーナルに求められる水準を知った。 一旦卒論をジャーナルにするのは置いておき, 今回通った新しいネタをジャーナルにして自然言語処理の論文誌へ投稿した。その後, 国内研究会に同じ内容の論文を投稿した。その論文はこちら。

10月 ~ 12月

8月にYANSで発表したネタを国際会議に投稿しようと思い, 色々実験を行った。その結果をまとめて, 言語資源の国際会議に投稿した。 一方, acceptされた論文から新たに発展させてみるべく自分でデータを作り始めたりした。アノテーションはなかなかしんどいけれど, 今世の中にあるデータだけから何かを行うより, 自発的に必要なデータを作るほうが好きだなと思っている。 東京に行き提出した国内研究会で研究発表をした後, その後同じく東京で開かれた国際会議に参加し, ポスターセッションを行った。

これらの学会発表のため1週間ずっと東京に滞在したため, なかなかしんどかったが, 発表は概ねうまくいったと思う。 9月に投稿したジャーナルから"照会後判定"の通知を受け取った。現在は査読者へ返答するべく追加の実験を行いながら, 来年3月に開かれる言語処理の年一度の国内学会である言語処理学会に2本論文を出すために実験中である。

成果

以上の振り返りにあるように, 今年は研究活動をメインに行なった。具体的には2件の査読付き国際会議発表, 3件の国内学会発表である。 自己評価では, かなり頑張った方ではあるまいか..と思う(けど情報系だと国際会議のいいとこにバンバン通す修士学生もいるので微妙な気もしてきた)。 これに加えて現在査読中の論文が2本ある(国際会議1, 論文誌1)。

  • Taichi Nishimura, Atsushi Hashimoto, Shinsuke Mori. Procedural Text Generation from a Photo Sequence. In Proceedings of the 12th International Conference on Natural Language Generation (INLG2019). link
  • Taichi Nishimura, Atsushi Hashimoto, Yoko Yamakata, Shinsuke Mori. Frame Selection for Producing Recipe with Pictures from an Execution Video of a Recipe. In Proceedings of the The 11th Workshop on Multimedia for Cooking and Eating Activities in conjunction with ICMR2019 (CEA2019). link
  • 西村 太一, 橋本 敦史, 森 信介. 作業写真列からの手順書の自動生成. ヒューマンコミュニケーション基礎研究会 (HCS). link
  • 西村 太一, 橋本 敦史, 原島 純, 山肩 洋子, 森 信介. Bounding Boxを付与したフローグラフコーパスの提案. 自然言語処理若手の会 (YANS). link
  • 西村 太一, 橋本 敦史, 山肩 洋子, 森 信介. 写真付き手順書生成のための実施映像からのフレーム選択. 第11回データ工学と情報マネジメントに関するフォーラム (DEIM2019). link

今後

修士1年の冬に入った。D進か, 就職かでかなり迷っている。 大学院に入って1年目で研究が楽しいので, 今の研究を続けていたいという気持ちもある一方で就職して色々なものを見てみたいし, 関わってみたいという気持ちもある。

また, 正直な不安としてD進して自分がやっていけるのかが不安というのもある。 ご存知の通り, 近年は深層学習ブームによって競争が激化し続けている。人工知能分野のトップ会議(自然言語処理だとACL, コンピュータビジョンだとCVPRなど)の投稿数は倍々で伸びており, このような環境下で自分が毎年論文を出し続けている姿というのを描くのが難しいと不安がある。(実際自分の研究は面白いと思う...が, このようなレベルの会議に通る話か?と言われると...分からない。)

どちらの未来を選択するのか分からない。分からないが, ちょっと今年いっぱい残りの時間は考える時間に当てようと思う。 世の中僕が知らない面白い会社もいっぱいあると思っている(が, なかなか検索に引っかからなかったり)。それをじっくり探して見たりしたい。 この記事を読んでいただける方でちょっと話さないか?といったレベルでももし興味をもって頂ける方は, taichitary@gmail.comにメールをいただければ嬉しい (2度目)。

*1:とはいえ, 実際にあったりする: http://cs.brown.edu/people/stellex/publications/bollini12.pdf

*2:提出したソースコードなど: GitHub - misogil0116/pfn_kadai: PFNの課題(面接落ち)

*3:一発rejectはよほどのことがないとないらしい。

院試後 : 合格とこれから

[追記]
Twitterアカウント消したので、 なんかある人は taichitary@gmail.com に連絡いただければ対応します。
なお、開示請求はし忘れました。すいません。

https://twitter.com/misogil0116/status/1027800613801750528

散々詐欺しまくったが、なぜか番号があってびっくりした。正直よくわからない。まぁ、終わり良ければすべて良しということで。
京都大学の情報学研究科を受ける経緯については、前のブログなどを読んでいただければと。ここでは外部かつ専攻を変える自分がどういう感じで勉強したのかなどを書いておければと思う。

~4月

もともと年明けくらいから外部院進を積極的に考えていた。ただ、僕自身専攻がデザイン系(ということになるのかな)であり、機械学習などを自分で勉強はしてきたものの、コンピュータアーキテクチャや情報理論など、主に情報学科が習う内容はあまり勉強していなかった。あえて言うなら、競技プログラミングを少しやっていたのでアルゴリズムとデータ構造と機械学習くらい。 統計学も機械学習の基礎になるため勉強していた。そのため、この頃はnaistを軸に考えていた気がする。あるきっかけでクックパッドの研究開発部の方と仲良くなり、「naistもいいけど、京都大学もいい環境だから、ぜひ一度訪問してみて」と言われたのを機に、せっかくだから他の大学院も見に行こうと思うようになった。

1月にメルカリのBe Bold Internshipで僕のペアとなるビジネス職の人が京大の情報学科の方で、なんとなく京大も視野に入れている、ということを話すと「最近倍率高くて、内部生でも落ちる人多いから、もし受けるならしっかりと勉強したほうがいいよ」という話を聞いて、ちょっと身が引き締まったのを覚えている。(実際同じことを研究室訪問の時にも言われた。)

ここで入試の科目を説明すると、知能情報学専攻では、14科目(くらいだった気がする : 生命学や脳科学なども含む : コンピュータサイエンスと数学で8題)のうちから4題を選択する。また、分野基礎科目という第一志望の研究室から出題される問題を解き, それらとTOEICの点数を加味して合否が決まる。先述した通り, 僕は情報学科が受ける授業の内容を全く受けていないため、そういう科目から勉強し始めた。

春休みに, アルゴリズム, 情報理論, コンピュータアーキテクチャを勉強し始めた。教科書は以下の教科書を読んでいた。
残り1科目何を勉強するのかはこの頃ずっと悩み続けてた。

アルゴリズム

プログラミングコンテスト攻略のためのアルゴリズムとデータ構造

プログラミングコンテスト攻略のためのアルゴリズムとデータ構造

情報理論

情報理論

情報理論

コンピュータアーキテクチャ

コンピュータアーキテクチャ (電子情報通信レクチャーシリーズ)

コンピュータアーキテクチャ (電子情報通信レクチャーシリーズ)

のちに述べるがコンピュータアーキテクチャはこの本はわかりやすいが薄いため、もう少し勉強する必要があることに気づいた。
この頃は過去問見てもさっぱりで、教科書のわからない部分を各大学の講義資料を見たりしながら理解して勉強することを心がけた。

4, 5月

結局他の大学を受けず、京大一本に絞ることに。京大の情報理論の問題演習には、西田先生の授業資料に問題がついていて、一部解答もついているのでそれを使って演習することにした。これが功を奏して過去問がかなりスラスラ解けるようになった。(なお本番は...)

コンピュータアーキテクチャはもっと深く勉強する必要を感じたので、パタヘネを上下巻読んだ。
結構しんどいけど、これが一番早道な気がする。何より面白いし。

コンピュータの構成と設計 第5版 上・下電子合本版

コンピュータの構成と設計 第5版 上・下電子合本版

コンピュータの構成と設計 第5版 下

コンピュータの構成と設計 第5版 下

結局機械学習を勉強していたのもあり、最後の1科目はパターン認識と機械学習にした。
最近ニューラルネットばっかりだったので、全体をもう一度復習できたのは良かった。

はじめてのパターン認識

はじめてのパターン認識

ちなみに3月のtoeicが630, 4月になって705だった。これはまずい(せめて京大の合格のためには750は最低欲しいと思っていた。)ということで、TOEICも勉強し始めた。この頃はやるべきことがおおく、パンク気味だった。

公式 TOEIC Listening & Reading 問題集 3

公式 TOEIC Listening & Reading 問題集 3

単語さえ知ってれば解ける!と思ったので, 単語力をつけた。これがおすすめ。

TOEIC L & R TEST 出る単特急 金のフレーズ (TOEIC TEST 特急シリーズ)

TOEIC L & R TEST 出る単特急 金のフレーズ (TOEIC TEST 特急シリーズ)

6, 7月

苦しい時期。暑いけどできるだけ大学の図書館で勉強をしていた。たしか出願とかもこの時期だった気がする。
志望理由書は読まれるのか分からないが、自分の経歴を盛り込みながら、かつその研究室でやっている内容を自分なりに発展させて行く方向で書いた。

専門科目の勉強としては、上の勉強に加えて過去問を解く + 解答を作成するのを繰り返しながら問題演習をしていた。他大の問題も少し解いたんだけど、解答をつくるのがしんどすぎてすぐにやめた。4科目しか勉強してないのでは、もし本番に1問難しいのがきたらやばいな、と思い統計も勉強することにした。以下の本で演習したら過去問は解けるようになった。(なお本番は...)

統計学演習

統計学演習

個人的に「その分布を知ってますか?」or知らなければ解けないみたいな問題(例えば超幾何分布とか)が出題されてたりはするので(実際今年カイ二乗分布の数理的な話がきて僕は解きませんでした), 各分布まとめておくといいかも。カイ二乗分布許さん。

7月は全ての教科書を読み終えたので、もう一回読んだり、過去問を解いたりしていた。
toeicは勉強の甲斐があってか6月の結果が840点まで上がった。この頃には過去問も解けるし、toeicも点がよくて合格が見えてきたぞ、と思っていた気がする。

8月

院試本番

当日はやっぱりたくさん人がいたけど、ここまでやってきたことを信じて頑張ろうとそれだけだった。
テスト開始と同時に問題を見るや否や情報理論と統計がはちゃめちゃ難しいことに気づく。予備で1科目用意して1科目ぶんのアクシデントに耐えられる設計にしたのにこの始末。結局ノー勉の数学を解くことに。主成分分析や特異値分解を求めるプロセスで固有値対角化は覚えていたけれど、ヤコビ行列を覚えてすらいないため、全く解けない。ガウス積分などわかるはずもなく、数学撃沈。コンピュータアーキテクチャは比較的簡単だったものの、アルゴリズムでオーダーの収束についての問題が出る。あとで考えればlimitを取ればいいだけなのにn!はlognより増加の速度が速いから〜と数式を一つも書かずに脳内のノリで乗り切る。パターン認識は3/5しか解けてない。

分野基礎科目は「機械学習を用いた解法を述べよ」という出題であり、3問中1問はオレオレニューラルネットワークモデルを書いて提出(思いつかなかった..)。
100%落ちたな...という体感だった。

次の日と合格発表日

僕の専攻は合格不合格のギリギリの人が面接に呼ばれるという噂があり、次の日にそれが決まるのだが、それには呼ばれなかった。
そのため、余裕で受かっているか不合格かという形となり、僕の点数を考えると...と超落ち込んでいろんな人にごめんなさいと連絡をしてた。
最終的になんとか受かってて良かった。自分の番号を5度見くらいした。学部で京大に落ちたので、それもあってか本当に嬉しい。特に今回は、名前で京大を選ばずに自分の好きなことをさらに伸ばしたい思いで受けたので、本当に嬉しかった。

細かい情報

TOEIC

3月(4月受け取り) : 630
4月 : 705
5月 : 730
6月 : 840
最終的に6月の結果を提出。 最後の最後で上がることもあるので、一応全部受けておくのをおすすめする。
実際僕が合格したのもTOEICのおかげだと思っているので。

点数開示

[WIP] : 一応開示してみるつもりです。開示結果が来たら書きます。

今後

気分。

BUMP OF CHICKEN『HAPPY』


無事第一志望の研究室に所属することができたみたいだ(が、怖いので合否通知が届いたら指導教官に連絡しようと思う。)。
しっかりと大学院で研究をし、自分の興味に迫りつつ、自然言語処理に貢献できたらと思う。もちろん、大学院に入ってからもしんどいことは多いと思うけれど、それでも専攻を変えてまで頑張れた、自分の好奇心と信念を信じてみたい。界隈の方々、今後よろしくお願いします。

そして、昔からのフォロワーの方々や高校の同期、大学の同期の友達など、辛い時に相談に乗ってもらえて、いつもと変わらず話しかけてもらえて、それが僕の一番の心の支えになったと本心から思う。これからもよろしくお願いします。

もし受験生でなんか質問とかあればtwitterで@misogil0116に気軽にリプライください。

院試前 : 近況

院試まであと残り数日となった。
正直新しく勉強することもあまりないし、仮に勉強したとしても問題をスラスラと解けるまでに落とし込めるということもない。
今までやったことの確認を今日含めこの土日でやって試験に臨もうと思う。
院試を受けると決めるまでの経緯と、そこからの感情の変化を書いて整理をしようと思う。

最近Twitter意図的に見ていないので、用がある方は
taichitary@gmail.com にてメールください(応援メッセージ待ってるぜ(?))。

-------

僕は大学の学部生の間はずっと機械学習を勉強していた。元々ロックバンドが好きで、そのレコメンドエンジンを作ったのがきっかけである。
それからインターンに行ったり、アプリを流行りの技術で作ったり、GANを試したり、先生のもとで論文を書いたり、と色々やっていた気がする。おかげで楽しく大学生活を送ることができた。 3年の終わりになって、さて就職か、院に進むか迷った。 実際、今の技術力で新卒としてなら研究職ではない、機械学習エンジニアとしてならそこそこ採用されるだろうなと思っていた。ただ、「僕がやりたいことは、本当に、そういったことなんだろうか」と考えるようになった。 秒速何万のレスポンスを捌ける機械学習の基盤とか、ユーザに価値を提供するレコメンドエンジン、もちろんそれらを作るのは面白かったし、就職するのも面白いと思う。ただ、僕の本心からの声を聞こうとしてないんじゃないのだろうか。

機械学習を勉強するにつれて、機械学習の限界が見えてくる。そして僕が最初に感じたワクワクを失っているような気がした。TwitterとかでAIに対する無茶な要求を見るたびに、「無理に決まってるだろう」なんて吐いていた。でも、なんで僕がそれを言えるんだろう。

自分ができること。その殻の中に無意識のうちに閉じこもっているような気がした。できることしかやらないし、できないことはできない。そう言い切ってしまったら楽だけど、その先に何が待っているんだろうか。

まだまだ若いのだし、大学に勉強した事を生かし、未知に到達してみたい。

そんなことを考え、今年の冬くらいからあえて未知なものをじっくり読むという事を行っていた気がする。わからないものを拒絶せずにじっくりと調べていくうちに、「コンピュータが意味を理解する」ということがどうやら僕の興味関心だなと思った。そのための具体的なタスクとして、Q&Aや、Word Embedding、また実データを使って構造を整理している研究室はないだろうか、と調べ、訪問することにした。(とはいえ、金銭的な面もあり、知り合いからすすめられたり、知り合いが現在行っているなどを参考にしながら決めた)

そこで訪問した順に並べると、

にいくことにした。NAISTは外部生から行きやすいという意味では入試は比較的入りやすいのでは、と思ったが、機械翻訳をメインにこれから力を入れて行きたいということで、それなら別の人が入るべきだなと感じてやめた。京大の僕が訪問した研究室も修士からの研究室であり、また、興味内容と合致しているなと思い、志望することにした。博士に進学希望の人が多い点も、いい研究室だからだろうと思った。複数受けようと考え、東工大のO研究室も訪問した。いい研究室だし、自分の興味と合致していると思ったものの、東工大の入試方式的に、僕が訪問した研究室は人気そうで、内部推薦で全ての枠が取られてしまうことを考慮に入れると、ちょっとそこに賭けるのは厳しいなと感じ、受けないことにした。結構悔しくて、GWに深く落ち込んだのを覚えている。

ということで京大一本。どう勉強したか、とかは受かったらまた書く。内部生のようにレジュメなどを持っていない上、専攻を変えることになるため、今まで勉強したことのない内容を必死こいて勉強する必要があった。正直相当しんどい。..とこれまでかなり大変で、周りが就職や、楽しそうなインターンなどを決めていく中で黙々と勉強するのは結構辛いものがある..と思いながら、TOEICの点に悩みながら(多分目標ラインまではたどり着けた)、なんとかここまできた。

-------

最近、「これだけ勉強して合格してもたった2年か」と思うようになった。小町先生の学生募集にもあるように、修士の2年で研究職につくのは難しいということ、そして自分の興味と研究意欲を考慮に入れると、博士に進学したいなと考えている。
大学院に落ちたとしたら、研究生として受け入れてもらえないかと言おうと思っている。学費を一年、生活費を一年払わないといけないのは厳しいが、それを考えなければ、B4から研究するのと同じくらいにテーマを掘り下げられる気もするので。まぁお金についてはお得意のプログラミングでなんとかしよう。
そんな感じでもう悟りの境地。これで落ちたらしょうがない。Twitter愚痴だらけ言ってた気がするけどその辺は申し訳ないです。


最近の気分。 [alexandros]も昔の曲の方がよく聞くかもしれない。

[Alexandros] - city (MV)



そういえばYANSが香川で今年は開催されるようなので、実家に戻るついでに参加しようと思っている(登壇はしません)。
参加される方はよろしくお願いします。