跳到主要內容

[2021 IT鐵人賽] Day 30：後記 - 旅程的尾聲...

圖片來源：https://unsplash.com/photos/PeUJyoylfe4

終於來到鐵人賽的最後一天了! 在旅程的最後，讓我們一同回顧這30天經歷的總總吧!

總複習

專案01 - 超簡單個人履歷 (D02~D07)

我們一開始從HTML開始，介紹了許多HTML的標籤和屬性，後來加上CSS，讓我們的網頁穿上華麗的衣裝，最後，利用上述所學的技巧，打造自己第一個個人履歷網頁!

Python基本介紹 (D08~D13)

Python是很適合新手學的程式語言，也是爬蟲專案主要使用的程式語言。在基本介紹這幾天，我教了環境架設、變數、容器、流程控制、迴圈和函數等基礎的Python語法，希望大家學完後，對Python有多一點的認識，甚至可以用Python寫一些小程式!

專案02 - PTT C_chat版爬蟲 (D14~D15)

介紹兩個常用的爬蟲套件，Requests和BeautifulSoup，並使用這兩個套件取得PTT C_chat版的文章標題，不知道大家還記得多少呢?

專案03 - PTT 八卦版爬蟲 (D16~D19)

C_chat版的方法用在八卦版馬上就出了問題，才發現要加上cookie來解決，後來還教了session和post的概念，省去每次都加上cookie的麻煩，這個專案教的都是爬蟲相當重要的觀念，非常推薦大家去看這一段。

專案04 - Facebook爬蟲 (D20~D21)

這是我們第一次遇到動態網頁，使用Selenium這個套件，讓瀏覽器自動化模擬使用者的行為，像是輸入帳密、點擊按鈕、滾輪下滑等等。除了爬取貼文的文章外，還補充了下載圖片的教學哦~

專案05 - KKBOX風雲榜 (D22~D23)

KKBOX風雲榜也是動態網站，但我們不使用Selenium，因為這個網站是使用名為AJAX的技術動態載入資料的，所以我們直接透過API來取得資料就好了!

專案06 - 股市趨勢圖 (D24~D26)

我們呼叫台灣證券交易所的API取得股市資料，但因為有次數限制，所以先將資料整理成Pandas的DataFrame型態，再存成.csv檔。繪製趨勢圖前再匯入預先存好的股市資料，然後用兩種工具繪製趨勢圖 - Matplotlib和Pandas。

專案07 - 天氣小助理 (D27~D29)

在小明的故事中，我們幫他寫了一個天氣小助理，從氣象資料API取得今日的天氣狀況，並透過LINE Notify傳送訊息給他，最後一天，我們將這個專案部署到Heroku雲端平台，並使用Heroku Scheduler這個工具每天固定早上六點執行程式!

完賽心得

2021 IT鐵人賽30天完賽!!! 🎉🎉

想報名鐵人賽的理由，其實是因為去年看到學長參加鐵人賽的文章後，覺得這個活動很有意義，於是參加鐵人賽成為我這一年的目標之一，因為我當時還很菜什麼都不會，所以我一直在思考我可以寫些什麼，同時一直在學習新東西。一年過去了，現在我完成了IT鐵人賽，不僅達成了我的目標，同時也見證了這一年的努力沒有白費!

我在開賽前其實就做了相當多的準備，大約開賽一個月前決定鐵人賽的主題，前兩個禮拜思考專案內容和驗證是否可行，前一個禮拜就開始寫文章。鐵人賽過程中也有經歷了一些狀況：像是開賽沒多久我就去打疫苗了，打完後的第二天非常不舒服，但還是勉強起來完成發文。在寫Python基本介紹那部分時，發現有好多東西想寫，因此有壓縮到後面的內容，不知道有沒有人發現實際的時程跟第一天規劃的不一樣呢ww。

順帶一提，發文已經成為我每天早上固定的習慣了，搞不好明天早上還會忘記已經完賽還爬起來發文呢😂

開賽後，我最常被人問的問題是：「幹嘛參加鐵人賽? 寫文章感覺很浪費時間ㄟ。」的確，或許是因為我對自己的標準比較高，經常要煩惱該怎麼寫才會讓讀者比較好懂，每天大概要花一個早上寫文章。還有其實我本來沒打算寫這麼多的，但後來不小心就越寫越多，你如果仔細去看每一篇文章，都有3000左右個字哦(有的甚有5000個字!)，你想，3000個字*30天 = 90000個字，還不包括專題程式碼，說不辛苦肯定是騙人的。

但是，我不認為這是浪費時間。我很認同我的老師講過的一句話：「當你能夠教會別人一項技術時，才算真正學會這項技術。」我在鐵人賽的過程中確切地體認到這件事，我原本以為我對爬蟲已經很精通了，沒想到要寫文章時，才發現有些觀念自己並不是那麼熟悉，甚至有些觀念原本都搞錯了! 正是因為要教會別人，才會去釐清自己的觀念，也才會發現錯誤所在。如果只是會寫程式的人是做不到這一點的。

還有一個原因，其實我很多技術也是看過去IT鐵人賽其他人寫的文章學的(包括爬蟲也是)。如果過去那些人覺得浪費時間而不寫的話，我也沒機會看到這些文章了。正所謂「取之於社會，用之於社會」，不能只想從社群中獲取好處，自己有能力時，就應該盡自己的能力回饋給社群，以延續良好的社群風氣。

心得寫的有點多，最後感謝IT邦幫忙舉辦IT鐵人賽，感謝每個一同走過30天旅程的人，感謝每個看到最後的各位，我們有緣再見。

結束之後…

我想了解一下各位的學習狀況和意見回饋，並用於改善未來的文章方向，只需要花2~3分鐘即可完成，看完文章的人麻煩幫我填一下調查問券，感謝~

問券連結請點我

本系列文章以及範例程式碼都同步更新在GitHub上。除此之外，這系列文章之後也會放在我的部落格上，喜歡的話也別忘了給我一個鼓勵哦，你的支持是我創作最大的動力~

如果喜歡這篇文章，請訂閱我並且拍五下手給予回饋(使用Google或Facebook帳號免費登入，只需要30秒)，資金由LikeCoin提供，完全不會花到各位半毛錢!

因為您的支持，我才更有動力創作出更優質的文章~

標籤

Labels:

留言

張貼留言

這個網誌中的熱門文章

[Python] 關於 with 你所不知道的事

相信用 C 語言寫過檔案讀取的人都知道，經常開檔後就忘記關檔，或者程式中間跳出例外，因此沒有關檔。這些問題常常讓人非常頭痛😱。 所幸 Python 中有 with 這個語法糖，可以自動幫你開關檔，跳出例外也難不倒他，真的非常好用。 但你真的了解 with 背後的運行原理嗎? 🤔 不知道沒關係，因為你現在就會知道了! context manager 在講 with 之前，必須先介紹一下 context manager ，中文可以翻成 情境管理器 。 為什麼叫做 情境管理器 呢? 我們試想一個情境… 當你進入房間時，就要開啟房間的燈：然後當你離開房間時，就要關閉房間的燈。 像這樣理所當然一定要做的事情，我們就稱為一個情境。而 Python 就是透過情境管理器處理這些情境。 要自己實作 context manager 其實很簡單，只要在 Class 中實作 __enter__() 和 __exit__() 即可。 就以進入房間當作例子。 class Room (): def turn_on_light ( self ): print ( "開燈" ) def turn_off_light ( self ): print ( "關燈" ) def __enter__ ( self ): print ( "進入房間" ) self.turn_on_light() return "在房間裡" def __exit__ ( self, exc_type, exc_value, traceback ): self.turn_off_light() print ( "離開房間" ) with Room() as room: ...
張貼留言
閱讀全文 »

[遊記] 2022/07/22 南寮漁港、香山濕地

前言： 2022年的暑假，我來到新竹的工研院實習，因此有了兩個月好好探索這座陌生城市的機會。我在來之前就計畫好了，每周五要選一個地方去旅行，目標是在兩個月內把整個新竹玩透透! 來到了第三個禮拜，今天我約了新竹在地人的大學朋友，請他騎機車載我到處逛逛😆 不過因為他早上有事情，所以我們就約中午吃飯。中午我們去吃城隍廟附近的 阿桂羊牛雜 ，我點了朋友很推的 羊肉炒麵 ，這家的炒麵很特別，醬汁很濃稠，沙茶味很香~ 我點加辣但有點太辣了，下次可能點小辣就好。另外有附飲料和冷氣這點很加分。 (只顧跟朋友聊天，就忘記拍照了😂) 阿桂羊牛雜 羊肉炒麵 $100 推薦指數：4⭐ 吃完飯後，本來想去南寮漁港，但因為今天的太陽真的太大了! 所以朋友就提議先去 新竹巨城 吹冷氣，晚點再去南寮漁港。雖然已經來過巨城一次，但跟別人一起逛就是不太一樣。我們去逛了服飾店、書局和湯姆熊，不知不覺就三點了。於是就離開巨城前往南寮漁港囉~ 本來以為 南寮漁港 很遠，但騎機車一下子就到了，果然在新竹還是要有機車比較方便阿! 我們先去南寮漁港的遊客中心，展望台的景色很不錯，室內還有溜滑梯可以玩呢! 接著我們在附近的魚市場、國際風箏場等地方邊聊邊走，最後走到 魚鱗天梯 。 魚鱗天梯看起來的確很像魚鱗，但聽說他的功能其實是消波塊，還真酷! 底下就有一小片沙灘，因為我今天穿拖鞋，就有下去踩一下海水。不過這裡的海水沒很乾淨，上來後腳上全都是沙子，幸好旁邊就有可以洗腳的地方。 其實旁邊有個滿有名的 17公里海岸自行車道 ，不過我們比較晚才到，所以就沒租腳踏車去騎了。 接著就往南到 香山濕地 ，騎機車也是一下就到了。 香山濕地就像小型的高美濕地，一旁的 賞蟹步道 可以直接走在溼地上方。 賞蟹步道兩旁真的很多螃蟹，照片裡的白點都是螃蟹哦! 當時剛好碰上漲潮，於是我們就在步道上拍起縮時攝影，從影片中可見漲潮的速度有多快! 香山濕地也是看夕陽的好景點，只是有點太早來了，於是我們走去旁邊的 綠色隧道 ，等待夕陽下山。 最後終於等到夕陽了! 加上倒影還滿漂亮的，只可惜今天海面有點雲，無緣看到夕陽落到海平面之下的景色。 最後順路繞去附近的 青青草原 ，雖然天色已經暗了下來，不過因此溜滑梯都不用排隊，可以多溜了幾趟😁 我們也去看了一眼大草原，但因為傍晚有一堆蚊蟲，所以就趕緊撤退了! 最後晚餐去吃 蛋包飯 ，這家也是朋友推薦的...
張貼留言
閱讀全文 »

[2021 IT鐵人賽] Day 23：專案05 - KKBOX風雲榜02 | AJAX

昨天已經找到的KKBOX用來傳資料的API，也知道各個參數的意義了，今天就實際將資料抓下來吧! 歌曲資訊 回到昨天那個API，是用JSON格式傳遞資料，資料的格式大致如下： 我們可以發現新歌的資料都放在 “newrelease” 之下，一個element就是一首歌的資訊，另外，每首歌的資訊也以key:value的形式整理的很清楚。 接著，就用之前教過的 requests.get(url) 直接取得API回傳的資料，但回傳的型態是json字串，所以再用Python本身內建的 json.loads() 函數轉成Python的list和dict資料型態。 # KKBOX華語新歌日榜 url = "https://kma.kkbox.com/charts/api/v1/daily?category=297&lang=tc&limit=50&terr=tw&type=newrelease" # 取得歌曲資訊json檔 response = requests.get(url) # 將json字串轉為Python的字典型態 data = json.loads(response.text) 既然已經轉成list和dict的型態了，再根據剛才觀察API得知的架構，要篩選資料就非常簡單，直接來看程式碼： song_list = data[ "data" ][ "charts" ][ "newrelease" ] # 取得每首歌的排名、曲名、連結、作者、時間 for song in song_list: song_rank = song[ "rankings" ][ "this_period" ] song_name = song[ "song_name" ] song_url = song[ "song_url" ] song_artist = song[ "artist_name"...
張貼留言
閱讀全文 »