跳到主要內容

[2021 IT鐵人賽] Day 30：後記 - 旅程的尾聲...

圖片來源：https://unsplash.com/photos/PeUJyoylfe4

終於來到鐵人賽的最後一天了! 在旅程的最後，讓我們一同回顧這30天經歷的總總吧!

總複習

專案01 - 超簡單個人履歷 (D02~D07)

我們一開始從HTML開始，介紹了許多HTML的標籤和屬性，後來加上CSS，讓我們的網頁穿上華麗的衣裝，最後，利用上述所學的技巧，打造自己第一個個人履歷網頁!

Python基本介紹 (D08~D13)

Python是很適合新手學的程式語言，也是爬蟲專案主要使用的程式語言。在基本介紹這幾天，我教了環境架設、變數、容器、流程控制、迴圈和函數等基礎的Python語法，希望大家學完後，對Python有多一點的認識，甚至可以用Python寫一些小程式!

專案02 - PTT C_chat版爬蟲 (D14~D15)

介紹兩個常用的爬蟲套件，Requests和BeautifulSoup，並使用這兩個套件取得PTT C_chat版的文章標題，不知道大家還記得多少呢?

專案03 - PTT 八卦版爬蟲 (D16~D19)

C_chat版的方法用在八卦版馬上就出了問題，才發現要加上cookie來解決，後來還教了session和post的概念，省去每次都加上cookie的麻煩，這個專案教的都是爬蟲相當重要的觀念，非常推薦大家去看這一段。

專案04 - Facebook爬蟲 (D20~D21)

這是我們第一次遇到動態網頁，使用Selenium這個套件，讓瀏覽器自動化模擬使用者的行為，像是輸入帳密、點擊按鈕、滾輪下滑等等。除了爬取貼文的文章外，還補充了下載圖片的教學哦~

專案05 - KKBOX風雲榜 (D22~D23)

KKBOX風雲榜也是動態網站，但我們不使用Selenium，因為這個網站是使用名為AJAX的技術動態載入資料的，所以我們直接透過API來取得資料就好了!

專案06 - 股市趨勢圖 (D24~D26)

我們呼叫台灣證券交易所的API取得股市資料，但因為有次數限制，所以先將資料整理成Pandas的DataFrame型態，再存成.csv檔。繪製趨勢圖前再匯入預先存好的股市資料，然後用兩種工具繪製趨勢圖 - Matplotlib和Pandas。

專案07 - 天氣小助理 (D27~D29)

在小明的故事中，我們幫他寫了一個天氣小助理，從氣象資料API取得今日的天氣狀況，並透過LINE Notify傳送訊息給他，最後一天，我們將這個專案部署到Heroku雲端平台，並使用Heroku Scheduler這個工具每天固定早上六點執行程式!

完賽心得

2021 IT鐵人賽30天完賽!!! 🎉🎉

想報名鐵人賽的理由，其實是因為去年看到學長參加鐵人賽的文章後，覺得這個活動很有意義，於是參加鐵人賽成為我這一年的目標之一，因為我當時還很菜什麼都不會，所以我一直在思考我可以寫些什麼，同時一直在學習新東西。一年過去了，現在我完成了IT鐵人賽，不僅達成了我的目標，同時也見證了這一年的努力沒有白費!

我在開賽前其實就做了相當多的準備，大約開賽一個月前決定鐵人賽的主題，前兩個禮拜思考專案內容和驗證是否可行，前一個禮拜就開始寫文章。鐵人賽過程中也有經歷了一些狀況：像是開賽沒多久我就去打疫苗了，打完後的第二天非常不舒服，但還是勉強起來完成發文。在寫Python基本介紹那部分時，發現有好多東西想寫，因此有壓縮到後面的內容，不知道有沒有人發現實際的時程跟第一天規劃的不一樣呢ww。

順帶一提，發文已經成為我每天早上固定的習慣了，搞不好明天早上還會忘記已經完賽還爬起來發文呢😂

開賽後，我最常被人問的問題是：「幹嘛參加鐵人賽? 寫文章感覺很浪費時間ㄟ。」的確，或許是因為我對自己的標準比較高，經常要煩惱該怎麼寫才會讓讀者比較好懂，每天大概要花一個早上寫文章。還有其實我本來沒打算寫這麼多的，但後來不小心就越寫越多，你如果仔細去看每一篇文章，都有3000左右個字哦(有的甚有5000個字!)，你想，3000個字*30天 = 90000個字，還不包括專題程式碼，說不辛苦肯定是騙人的。

但是，我不認為這是浪費時間。我很認同我的老師講過的一句話：「當你能夠教會別人一項技術時，才算真正學會這項技術。」我在鐵人賽的過程中確切地體認到這件事，我原本以為我對爬蟲已經很精通了，沒想到要寫文章時，才發現有些觀念自己並不是那麼熟悉，甚至有些觀念原本都搞錯了! 正是因為要教會別人，才會去釐清自己的觀念，也才會發現錯誤所在。如果只是會寫程式的人是做不到這一點的。

還有一個原因，其實我很多技術也是看過去IT鐵人賽其他人寫的文章學的(包括爬蟲也是)。如果過去那些人覺得浪費時間而不寫的話，我也沒機會看到這些文章了。正所謂「取之於社會，用之於社會」，不能只想從社群中獲取好處，自己有能力時，就應該盡自己的能力回饋給社群，以延續良好的社群風氣。

心得寫的有點多，最後感謝IT邦幫忙舉辦IT鐵人賽，感謝每個一同走過30天旅程的人，感謝每個看到最後的各位，我們有緣再見。

結束之後…

我想了解一下各位的學習狀況和意見回饋，並用於改善未來的文章方向，只需要花2~3分鐘即可完成，看完文章的人麻煩幫我填一下調查問券，感謝~

問券連結請點我

本系列文章以及範例程式碼都同步更新在GitHub上。除此之外，這系列文章之後也會放在我的部落格上，喜歡的話也別忘了給我一個鼓勵哦，你的支持是我創作最大的動力~

如果喜歡這篇文章，請訂閱我並且拍五下手給予回饋(使用Google或Facebook帳號免費登入，只需要30秒)，資金由LikeCoin提供，完全不會花到各位半毛錢!

因為您的支持，我才更有動力創作出更優質的文章~

Labels:

留言

張貼留言

這個網誌中的熱門文章

[心得] COSCUP 2021 - 製播組志工經驗

前言 這次是 第二次參加COSCUP志工 ，第一次是2020年被朋友拉著報名場務組，當時對COSCUP完全不了解，連對Conference也是一點概念都沒有(畢竟高中從來沒有接觸過相關活動...)，第一次就是懵懵懂懂的去參加了COSCUP。2020年雖然也有疫情，但情況並不像今年這麼嚴重，仍然是以實體方式舉辦，因為是第一次參加COSCUP，跟大家都不熟，所以基本上活動期間我就是黏著我的朋友，他做什麼我就跟著做什麼，不太敢跟其他人搭話。 即使如此，但因為COSCUP結束後和其他工作人員們一起去慶功宴，還是多認識了幾個人，之後仍然有在聯絡，後來之所以能參加SITCON和今年2021報名COSCUP志工，也都是因為他們的關係。因為有他們，我才會認識COSCUP，之後也才會參加SITCON，也才會受到很大的震撼，開始努力自學程式，這一切真的都要歸功於他們。 今年COSCUP在7/31~8/1舉辦，但是因為5月中疫情突然爆發，總召們討論過後最終決定以全程線上的方式舉辦，這對我來說影響非常大，因為我是報名場務組，因為全程線上就不需要實體場地了，場務組的人數也因此驟減，因此我面臨到了 失業 危機...。 最後的解決方式是： 協助我們轉職到其他組別 。這時因為線上的緣故，導播組(主要負責Youtube直播控場)的工作量大增，剛好我也對Youtube直播串流滿感興趣的，所以就轉職到製播組了!! 會前準備 在製播組的第一次會議中，組長請我們挑選自己想要的職位，我當初填導播(主要控制Youtube直播間的人)，但最後因為網路太慢的問題，被分配為助理QQ，不過實際上做的事情是一樣的，權限也是一樣的，所以我也沒有特別在意職稱。 因為大概是前一個月左右才被調去製播組，滿臨時的，所以開會開得很緊湊，平均每一周開一次會，交代了如何使用StreamYard，以及跟主持人聯絡等注意事項，今年也許是因為都是全線上開會或者對COSCUP有新的觀點的關係，我在今年的參與度比去年高出許多，付出的時間也比去年來的多。而且我覺得最大的不同在於，我開始敢在會議中講話了，要是以前的我是完全不敢的。因為在會議中有必要開口表達意見的時候，慢慢就覺得沒這麼可怕了，這或許就是參加COSCUP志工帶給我的膽量! 會前兩周是最忙的時候，當時每天都在催影片，一周中有...
2 則留言
閱讀全文 »

[2021 IT鐵人賽] Day 06：專案01 - 超簡單個人履歷05 | CSS版面佈局、Flex

昨天講完的CSS的文字和區塊屬性後，今天要接續介紹版面佈局的屬性，以及一個非常好用的佈局容器 - Flex，上完這堂課，你的網頁佈局就可以更加彈性囉~ 那麼，我們廢話不多說，就開始今天的介紹吧! CSS版面佈局 首先，你按 F12 打開開發人員工具，應該會在 Elements >> Styles 滑到最底下看到這個畫面(Chrome一定有，其他瀏覽器不確定)： 記好這個圖，因為他就是CSS版面佈局的概念圖。 我們看這個圖，發現他像箭靶一樣一圈圈的包圍起來，主要有三層， 從外到內分別是margin、border和padding 。border我們昨天已經說過了，所以接下來我只著重在介紹margin和padding這兩個屬性該如何使用。 margin margin，又稱外距。顧名思義就是元素外側到其他元素或邊界的距離，通常用於在兩個元素間留下空間，畢竟東西都緊貼在一起也不好看對吧? 我們就用以下例子認識margin： HTML(都同一個，之後例子我就不放了)： < div class = "outside" > < div class = "inside" ></ div > </ div > CSS： .outside { width : 200px ; height : 200px ; background-color : rgb ( 138 , 138 , 138 ); margin : 50px ; } .inside { width : 100px ; height : 100px ; background-color : rgb ( 92 , 92 , 92 ); } 顯示結果為： 我們按F12打開開發者工具，點上方的紅框的圖示，接著將游標移動到淺灰色的方塊上，就會顯示如同上方的畫面。 我們可以看到橘色的部分代表margin，往淺灰色的方塊上下左右推了50px的空間。 ...
張貼留言
閱讀全文 »

[Python] 關鍵字yield和return究竟有什麼不同?

學習Scrapy的過程中碰到 yeild 這個關鍵字，我使用Python快半年了，還真的是第一次遇到這個關鍵字，於是我花了點時間研究後，終於明白它的作用了，怕下次看到時忘記，所以用這篇文將yield這個關鍵字重點整理一下。 1. yield的核心目的：為了節省記憶體 如果想要印出0~100的平方時，我們可能會這樣寫。 powers = [x**2 for x in range(100)] for x in powers: print(x) 但這樣有一個致命問題在於，必須把整個list都存放在記憶體中，100個元素可能還不成問題，但如果今天的對象是一百萬筆資料，記憶體可能會承受不了，程式就崩潰了。 接下來就會說明yield要如何節省記憶體，但在此之前，先來談談Python的生成器(generator)。 2. 什麼是生成器(generator)? 生成器是一個可迭代的物件，可以放在for迴圈的in前面，或者使用next()函數呼叫執行下一次迭代。 和列表的差別在於， 生成器會保存上次紀錄，並只有在呼叫下一層迭代的時候才載入記憶體執行 。 所以將上面的例子改寫成生成器，結果是一樣的，卻可以防止超過記憶體，注意我用的是 ( 而不是 [ 。 powers = (x**2 for x in range(100)) for x in powers: print(x) 3. 函數加入yield後不再是一般的函數，而被視作為生成器(generator) 呼叫函數後，回傳的並非數值，而是函數的生成器物件。 4. yield和return一樣會回傳值，不過yield會記住上次執行的位置 yield和return一樣都會回傳值並中斷在目前位置， 但最大不同在於yield在下次迭代時會從上次迭代的下一行接續執行 ，一直執行到下一個yield出現，如果沒有下一個yield則結束這個生成器。而且接續上一個迭代前的變數不會改變，就是維持上次結束前的模樣。 這部分我們來看下面這個例子： def yield_test(n): print("start n =", n) for i in range(n): yield i*i print("i =", i)...
張貼留言
閱讀全文 »