後來台大資訊的那些年

ntulib

回顧

不知不覺也已經在台大待了這麼多個年頭,彷彿都已經習慣了這裡的生活。回想當年,好像還是經過一番曲折才來到此地呢。

2012 年 7 月,正是要開始準備研究所推甄的時節,同時也開始調查各個研究室的研究主題。由於那時不知為何對人工智慧有些憧憬,所以也對相關類型的研究室比較有興趣。

AI

當時發現台大資訊數個實驗室都有在研究跟「機器學習」相關的方向,也因此對這新鮮的詞彙產生了興趣。在 Amazon 上找找相關書籍的評價,最後借了《Pattern Recognition and Machine Learning》,想說可以多了解這個領域。只是最後覺得該書有點艱澀難懂,所以最後就沒有看完。也可能因此在找老師時,開始有點害怕純機器學習的實驗室了。

例如還記得當初去到 528 實驗室打探消息時,就被學長們威嚇說相當困難最好別來,因此也只好打退堂鼓。後來參觀了許多實驗室,跟很多學長姊聊過以後,選定了幾個實驗室,和老師們約時間談談看。又遇見感覺兇兇的老師所以只好繼續尋找。(後來問了實驗室另一位同學,她好像也因為同樣原因所以和我做了同等選擇 XD。)最後到了目前實驗室聊完了以後,因為覺得老師很有熱情又和藹可親所以就決定待了下來。現在回想起來覺得這種選法實在不太理性,不過或許是當時依舊迷惘是否要讀研究所的我所能做的最好選擇了吧。

就這樣,展開了我的研究生涯。

Deep Learning

碩二的時候正是 deep learning 正開始出現在新聞版面的時候,同時也因為在 NLP 上愈來愈多人開始利用 deep learning 的技術,所以我們實驗室也對此非常有興趣。在學長的帶領下,成立了 deep learning 讀書會,從 Neural Networks for Machine Learning 課程開始學起。

現在想起來,這個讀書會對我的影響滿大的。如果不是因為它,大概不會有辦法在忙碌的碩二期間抽空認識這個新領域。而接觸了這個領域、讀了一些論文以後,也逐漸產生了不少興趣,相當程度的改變了未來想學習的事物。

實驗室網管見習

碩二時因為令人景仰的網管大大們畢業了,所以就接下了實驗室工作站網管的工作。在這期間歷經不少事件,像是新主機添購、二樓機房整修的主機搬遷、及主機壞損時處理等等,學到很多東西。

我們實驗室因為歷史悠久,所以擁有許多工作站主機。在我進實驗室時就有約十台工作站可供實驗,也有四個大容量 NAS 和一個磁碟陣列可供置放實驗用檔案。在這些主機中,有些是很古老的立式主機,放在三樓實驗室。除了硬碟容量和記憶體都很大外,感覺效能其實已經比不過當代的桌機了。而在二樓機房則有三台機架式伺服器,處理器用的是四線程的 Intel Xeon E5506,記憶體則有 48 G 可用。

為了應付愈來愈大的計算需求,在我就讀期間,實驗室又新購入了三台搭載 Intel Xeon E5-2620,24 線程的工作站主機,記憶體有 32~96 G 不等。同時也為了 deep learning 的需求而購入了 GeForce GTX 980 顯示卡。

在我擔任網管期間,替一些有問題的舊主機重灌了 Debian 系統,也幫忙安裝了新的工作站。此外還將二樓和三樓工作站的私有內網連結起來,以及把原本用 NIS 管理的使用者帳號一口氣搬移到了 LDAP 上。所幸在進行這些架構改動時沒有遇到太大的問題,一切還算順利。

後來交接給新的網管時發現二、三樓間的連線速度似乎有點慢,可惜沒有找出確切的原因。只能等待未來的網管大大們來解決了。

課程

雖然剛開始沒什麼感覺,但現在想來,研究所修的部份課程真的和以前有很大的不同。大學部時比較常修一些重實作的課,作業常常是要重造一些很底層的輪子,常常要花大量的時間來實作一個簡單的功能,成就感比較是來自對程式本身的優美性的欣賞。

這次修的課有的是沒有限定使用的程式語言與工具,或甚至是主題。其他的課則是偏學術研究導向,必須要做一些實驗比較不同方法的效能,使用的方法也可能天馬行空,常也可以看到來自不同領域的實驗室同學發揮所長,做出一些我們完全想像不到的作法呢。

在交大資工時不知是怎麼選課的,竟非常恰好的幾乎沒有上過任何需要做各種實驗來比較不同作法效果的課程。就連大學專題也是做偏實作的 App 設計。因此能夠有機會在這些課程中學習一些研究方法,對我來說奠定了日後碩論很重要的基礎。

論文閱讀

在研究所的期間讀了不少論文,大部分是在方向確定後進行的文獻回顧,此外則是在想研究題目時廣泛閱讀的。看到世界上的各種先進研究總讓人受到一些激勵,總覺得再多進步一些或許就能達到相當了不起的成就。但一方面也感到自己的渺小,大家都已經走了那麼遠,自己卻還緩步前行。其實有點後悔沒有在大學時早一點閱讀一些論文,這樣或許可以幫助自己早點勾勒出對世界的想像也說不定。

除了單純的閱讀外,實驗室也有固定的週期需要跟大家報告一篇自己讀過的論文。雖然一開始因為修過「學術論文口頭報告」所以想說要認真準備,用心報告。然而後來發現要報告到那種地步,準備時間會拖的相當的長,以至於反而沒有時間閱讀論文和修課等等。所以最後似乎也從眾的開始用起無趣的方法報告了。

研究

初來台大資工的那些年裡,對於研究生的自覺著實是有點差。以至於到了最後,整個碩論的時程變得非常的趕。一直到了 2014 年的 8、9 月才開始想碩論題目,也沒能成功想出什麼特別的題目。同時,據說實驗室歷年的學長姊們也極少使用自行想出的題目,因此我也像同學一樣向老師請教了可能的主題,並且在同年 11 月有了大致的方向。

隨著時間一天天流逝,一天中也有愈來愈高的比例被用在碩論的研究上了。就像朋友說的「no time, graduate school eats me alive」一樣,慢慢的就從社團和修課中淡出了。整天就是窩在宿舍或研究室進行研究。然而拉長的時間卻似乎也伴隨著降低的效率,以至於這段時間有很多時候是覺得很挫折的。

後來又重讀了《The Willpower Instinct》,用像是運動和靜坐等方法,才勉強有些改善。但還是很難做到像大學部時那種時時刻刻最高效率的追求。感覺按部就班的吸收與學習終究是比做研究來的簡單又有成就感的事。

「如果能夠在碩一就確定好方向就好了!」、「如果一開始有了方向就開始寫論文(例如先寫文獻回顧)就好了!」雖然總有許多如果的想法,不過最後還是只能硬著頭皮走一步算一步了。

很感謝老師在這段期間的支持。像是鼓勵我先整理部份的結果去投了 ACL-IJCNLP 2015 的 short paper,雖然沒有上,但也是一次滿好的經驗。又像是後來繼續鼓勵我把完整的碩論拿來投一些論文獎或者未來的會議論文等等。如果不是老師,大概也不會想到要尋找這些機會吧。

最後的口試壓在期限的倒數第二天,幸好一切順利,口試委員們也給了許多建議與鼓勵,真的很感謝大家。

這些年

其實兩年的時間裡,一直覺得自己在各方面好像也沒有進步多少。然而現在回想起來,確實也學到不少東西,知道了一些從前不知道的事物和人,而對世界與未來的認知與想像也很不一樣了。希望未來也能繼續帶著學習的心繼續前進。

廣告

初來台大資工的那些年

想起來,當初怎麼會想申請研究所呢?其實只是因為不知可以做什麼,所以就走了看似自然的道路。(笑)

初來乍到

剛來到台大的時候,其實還沒有太多研究生的自覺。是在「2013 跨國學術競爭力菁英班」開始了新生活。在暑假的尾巴,經過了密集精彩的一星期。當時真的是很開心的初次見面,為研究生涯帶來一個元氣滿滿的開始。

在學期開始後,每個週末又花上整天的時間繼續練英語。就像某個朋友說的:「IAC就是每個禮拜六一整天的超帥氣偽九學分英文課」。除了忙亂的 IAC,還參加了一直很期待的「台大英辯社」,遇見好多溫暖的朋友。偶爾還會約時間一起練英辯!

除了英語活動,另一個重要的事大概是積極籌備申請實習吧。第一次和那麼多公司面試,挑戰的過程其實讓我學到不少事,改變了不少想法。還為了面試,第一次一個人出國。最後也很開心的拿到實習的機會。

記得剛到了系上時還遇見了從前的老師,然後一不小心就成了課程的助教之一,稍微了解了以前遇過的助教們的處境與心情。說真的在百忙中還要幫忙處理課務的學長們實在是令人尊敬啊。(例如這位好人助教。)可是我就沒有像那樣努力了。現在想起來還是戰戰兢兢。

修課

在此同時我也開始了新的修課生涯。很幸運的選上了「學術論文口頭報告」。老師剛好也是 IAC 的教師之一。(其實應該大部分的英文老師都出現在 IAC 了 XD)學了一些口頭簡報的知識,最後還幸運在期末簡報中脫穎而出。

然而系上的課又是另一幅光景。記得在上數位語音處理概論時老師說過,大學的課程常是非常有秩序的去學習整理過的知識,但是研究所的課就要學著自己整理知識。事實證明,我確實不太適應這種新的修課模式。

一路上雖然有遇到少數像「雲端運算概論」、「隨機演算法」等等修的很開心的課,可是更多的課總是讓人難以專心或理解。在大學時雖然也不是沒有遇過這種問題,不過當時的課程常是依循著特定的課本,所以我只要上課時專心的自己讀課本,還是能得到足夠的理解。可在碩士期間修的課,常常是匯集數本課本與老師自己的經驗,而投影片本身又沒有像課本一樣有深入的講解,於是便讓我陷入泥沼。

常常會跟課程有些脫節,直到考試前才努力惡補。在考試時有著劇烈的,尚未足夠理解課程的強烈不安感。雖然由於使用等第制,所以實際上得出來的成績看不出這樣的落差。可是還是深感不安,覺得自己像在啃老本似的,依賴過去累積的知識以及,考試經驗。

除了是因為課程安排的不同,其實也是因為自己投入課業的時間大不如前。想起從前還會在寒暑假事先預習一些重要課程的內容呢。不過要做到這點,除了必須事先知道使用的課本以外,還得事先知道會修什麼課才行。(這裡的上學期選課不像從前是前一學期就決定了。)不過說真的,其實會變成這樣除了上述幾點,還有很多因素的結合呢。一方面,可能也是碩士修課本來也不是最重要的事了吧。

碩一上時,也開始了我第一門認真上的 Coursera 課程:「機器學習基石」。雖然最後因為各種原因沒能認真做最後一個作業,還是拿到了認證,感覺很開心。到了碩一下,也繼續努力上完了「Machine Learning」,「R Programming」等等。稍微體會了一下單純為了學習而學習的時光。

下學期

有天,突然接到神秘的 IBM 電話,突然就決定要參加「2014 IBM 大型主機世界盃」。在碩一下過了一場奇幻之旅。用著不太熟悉的 jQuery 硬寫了一個 bank app。還去了第一次遇見的美國,在紐約進行決賽。最後抱回大獎也是完全意想不到的。記得最初參與這比賽是在大一的時候,翻出了當年的許多文件,好多自己的話語至今時難以想像。不知不覺已成長了這麼多了呢。

airport

在此同時,也再接再厲的參加了英辯活動。寒假時去了「第九屆文藻英語辯論培訓坊」,重溫從前的溫暖。那時總以為應該是最後參加的大型英辯活動了,想不到下學期又參加了 2014 復興盃英語辯論公開賽,在隊友的幫忙下還拿到了冠軍,真是太意外了。到了碩二上,甚至參加了 「NEAO 2014」。這真是參加英辯活動最頻繁的一段期間了,若不是因為來到此地,可能也不會有這種機緣吧。

碩一下也和同學一起接下了實驗室的計畫,開始學習做研究的方法。還一起參加了 Entity Recognition and Disambiguation Challenge,發了第一篇 workshop paper。雖然自己的作法十分簡單,也沒什麼新想法,但也有同學拿到了大獎呢。

暑假時,到了北美實習,第一次在國外長期久待。感覺又增長了許多見識,也為精彩的碩一生活劃下一個不錯的句點。接下來,研究的壓力就開始湧上了呢。

研究生涯

所以竟然到了碩二才在想研究題目,實在是太危險了。壓力突然就湧了上來。好希望當初碩一就開始想題目喔。其實應該碩一就把論文都結束,碩二專心修課就好了對不對。仔細想想,一年的修課其實真的沒有讓自己變得更會做研究啊。如果現在的我做得出來的話,那時也做的出來啊。

就這樣,研究生的壓力席捲了上來。(笑)

僅以這篇文章紀念逝去的那些年。

回顧

然後回顧了一下當初寫的〈從交大資工到台大資工所〉。事過境遷,似乎又可以更明確的衡量當初的問題。

以花費來說,如果扣除在美國那段,雖然研究費的收入比當年想像的還多,可是如果用獎學金和研究費當作收入,與學雜費、生活費等所有花費相減,到目前為止還是負債了八萬元左右。看來即使花時間打工,恐怕也很難收支平衡。除了是因為剛開學在 BOT 的房租難以承擔外,感覺也是因為參加的活動變多了,一般消費也增加了(例如汰換了壞掉的手機)。看了一下花費確實有點心驚,感覺好像物慾太重了。此外就是獎學金的收入顯著的減少了。以食物費來說,反倒是沒有增加(看來學餐的價格都是差不多的)。

去台大會變得很孤單的說法。以研究生涯來說確實還滿準確的。系上的同學除了同實驗室的以外,新認識的朋友幾乎是 0。不過倒也沒有特別覺得孤單的想法,反而覺得這樣的生活簡單多了。此外,從其他的活動也可以認識系外的同學。

雖然當初有人不太同意,不過還是忍不住覺得系上寄來徵才訊息好像比以前多,好多新創公司、大小公司、甚至是國外公司。感覺城鄉差距還是有的啊。

雖然其實還有一些想寫的事,不過就等畢業時再做結語吧 XD。請期待下篇,〈後來台大資訊的那些年〉