跳到主要內容

[2021 IT鐵人賽] Day 30:後記 - 旅程的尾聲...

圖片來源:https://unsplash.com/photos/PeUJyoylfe4

終於來到鐵人賽的最後一天了! 在旅程的最後,讓我們一同回顧這30天經歷的總總吧!

總複習

專案01 - 超簡單個人履歷 (D02~D07)

我們一開始從HTML開始,介紹了許多HTML的標籤和屬性,後來加上CSS,讓我們的網頁穿上華麗的衣裝,最後,利用上述所學的技巧,打造自己第一個個人履歷網頁!

Python基本介紹 (D08~D13)

Python是很適合新手學的程式語言,也是爬蟲專案主要使用的程式語言。在基本介紹這幾天,我教了環境架設、變數、容器、流程控制、迴圈和函數等基礎的Python語法,希望大家學完後,對Python有多一點的認識,甚至可以用Python寫一些小程式!

專案02 - PTT C_chat版爬蟲 (D14~D15)

介紹兩個常用的爬蟲套件,RequestsBeautifulSoup,並使用這兩個套件取得PTT C_chat版的文章標題,不知道大家還記得多少呢?

專案03 - PTT 八卦版爬蟲 (D16~D19)

C_chat版的方法用在八卦版馬上就出了問題,才發現要加上cookie來解決,後來還教了sessionpost的概念,省去每次都加上cookie的麻煩,這個專案教的都是爬蟲相當重要的觀念,非常推薦大家去看這一段。

專案04 - Facebook爬蟲 (D20~D21)

這是我們第一次遇到動態網頁,使用Selenium這個套件,讓瀏覽器自動化模擬使用者的行為,像是輸入帳密、點擊按鈕、滾輪下滑等等。除了爬取貼文的文章外,還補充了下載圖片的教學哦~

專案05 - KKBOX風雲榜 (D22~D23)

KKBOX風雲榜也是動態網站,但我們不使用Selenium,因為這個網站是使用名為AJAX的技術動態載入資料的,所以我們直接透過API來取得資料就好了!

專案06 - 股市趨勢圖 (D24~D26)

我們呼叫台灣證券交易所的API取得股市資料,但因為有次數限制,所以先將資料整理成Pandas的DataFrame型態,再存成.csv檔。繪製趨勢圖前再匯入預先存好的股市資料,然後用兩種工具繪製趨勢圖 - MatplotlibPandas

專案07 - 天氣小助理 (D27~D29)

在小明的故事中,我們幫他寫了一個天氣小助理,從氣象資料API取得今日的天氣狀況,並透過LINE Notify傳送訊息給他,最後一天,我們將這個專案部署到Heroku雲端平台,並使用Heroku Scheduler這個工具每天固定早上六點執行程式!

完賽心得

2021 IT鐵人賽30天完賽!!! 🎉🎉

想報名鐵人賽的理由,其實是因為去年看到學長參加鐵人賽的文章後,覺得這個活動很有意義,於是參加鐵人賽成為我這一年的目標之一,因為我當時還很菜什麼都不會,所以我一直在思考我可以寫些什麼,同時一直在學習新東西。一年過去了,現在我完成了IT鐵人賽,不僅達成了我的目標,同時也見證了這一年的努力沒有白費!

我在開賽前其實就做了相當多的準備,大約開賽一個月前決定鐵人賽的主題,前兩個禮拜思考專案內容和驗證是否可行,前一個禮拜就開始寫文章。鐵人賽過程中也有經歷了一些狀況:像是開賽沒多久我就去打疫苗了,打完後的第二天非常不舒服,但還是勉強起來完成發文。在寫Python基本介紹那部分時,發現有好多東西想寫,因此有壓縮到後面的內容,不知道有沒有人發現實際的時程跟第一天規劃的不一樣呢ww。

順帶一提,發文已經成為我每天早上固定的習慣了,搞不好明天早上還會忘記已經完賽還爬起來發文呢😂

開賽後,我最常被人問的問題是:「幹嘛參加鐵人賽? 寫文章感覺很浪費時間ㄟ。」的確,或許是因為我對自己的標準比較高,經常要煩惱該怎麼寫才會讓讀者比較好懂,每天大概要花一個早上寫文章。還有其實我本來沒打算寫這麼多的,但後來不小心就越寫越多,你如果仔細去看每一篇文章,都有3000左右個字哦(有的甚有5000個字!),你想,3000個字*30天 = 90000個字,還不包括專題程式碼,說不辛苦肯定是騙人的。

但是,我不認為這是浪費時間。我很認同我的老師講過的一句話:「當你能夠教會別人一項技術時,才算真正學會這項技術。」我在鐵人賽的過程中確切地體認到這件事,我原本以為我對爬蟲已經很精通了,沒想到要寫文章時,才發現有些觀念自己並不是那麼熟悉,甚至有些觀念原本都搞錯了! 正是因為要教會別人,才會去釐清自己的觀念,也才會發現錯誤所在。如果只是會寫程式的人是做不到這一點的。

還有一個原因,其實我很多技術也是看過去IT鐵人賽其他人寫的文章學的(包括爬蟲也是)。如果過去那些人覺得浪費時間而不寫的話,我也沒機會看到這些文章了。正所謂「取之於社會,用之於社會」,不能只想從社群中獲取好處,自己有能力時,就應該盡自己的能力回饋給社群,以延續良好的社群風氣。

心得寫的有點多,最後感謝IT邦幫忙舉辦IT鐵人賽,感謝每個一同走過30天旅程的人,感謝每個看到最後的各位,我們有緣再見。

結束之後…

我想了解一下各位的學習狀況和意見回饋,並用於改善未來的文章方向,只需要花2~3分鐘即可完成,看完文章的人麻煩幫我填一下調查問券,感謝~

問券連結請點我

本系列文章以及範例程式碼都同步更新在GitHub上。除此之外,這系列文章之後也會放在我的部落格上,喜歡的話也別忘了給我一個鼓勵哦,你的支持是我創作最大的動力~


如果喜歡這篇文章,請訂閱我並且拍五下手給予回饋(使用Google或Facebook帳號免費登入,只需要30秒),資金由LikeCoin提供,完全不會花到各位半毛錢!

因為您的支持,我才更有動力創作出更優質的文章~

留言

這個網誌中的熱門文章

[Python] 關於 with 你所不知道的事

相信用 C 語言寫過檔案讀取的人都知道,經常開檔後就忘記關檔,或者程式中間跳出例外,因此沒有關檔。這些問題常常讓人非常頭痛😱。 所幸 Python 中有 with 這個語法糖,可以自動幫你開關檔,跳出例外也難不倒他,真的非常好用。 但你真的了解 with 背後的運行原理嗎? 🤔 不知道沒關係,因為你現在就會知道了! context manager 在講 with 之前,必須先介紹一下 context manager ,中文可以翻成 情境管理器 。 為什麼叫做 情境管理器 呢? 我們試想一個情境… 當你進入房間時,就要開啟房間的燈:然後當你離開房間時,就要關閉房間的燈。 像這樣理所當然一定要做的事情,我們就稱為一個情境。而 Python 就是透過情境管理器處理這些情境。 要自己實作 context manager 其實很簡單,只要在 Class 中實作 __enter__() 和 __exit__() 即可。 就以進入房間當作例子。 class Room (): def turn_on_light ( self ): print ( "開燈" ) def turn_off_light ( self ): print ( "關燈" ) def __enter__ ( self ): print ( "進入房間" ) self.turn_on_light() return "在房間裡" def __exit__ ( self, exc_type, exc_value, traceback ): self.turn_off_light() print ( "離開房間" ) with Room() as room: ...

[遊記] 2022/07/22 南寮漁港、香山濕地

前言: 2022年的暑假,我來到新竹的工研院實習,因此有了兩個月好好探索這座陌生城市的機會。我在來之前就計畫好了,每周五要選一個地方去旅行,目標是在兩個月內把整個新竹玩透透! 來到了第三個禮拜,今天我約了新竹在地人的大學朋友,請他騎機車載我到處逛逛😆 不過因為他早上有事情,所以我們就約中午吃飯。中午我們去吃城隍廟附近的 阿桂羊牛雜 ,我點了朋友很推的 羊肉炒麵 ,這家的炒麵很特別,醬汁很濃稠,沙茶味很香~ 我點加辣但有點太辣了,下次可能點小辣就好。另外有附飲料和冷氣這點很加分。 (只顧跟朋友聊天,就忘記拍照了😂) 阿桂羊牛雜 羊肉炒麵 $100 推薦指數:4⭐ 吃完飯後,本來想去南寮漁港,但因為今天的太陽真的太大了! 所以朋友就提議先去 新竹巨城 吹冷氣,晚點再去南寮漁港。雖然已經來過巨城一次,但跟別人一起逛就是不太一樣。我們去逛了服飾店、書局和湯姆熊,不知不覺就三點了。於是就離開巨城前往南寮漁港囉~ 本來以為 南寮漁港 很遠,但騎機車一下子就到了,果然在新竹還是要有機車比較方便阿! 我們先去南寮漁港的遊客中心,展望台的景色很不錯,室內還有溜滑梯可以玩呢! 接著我們在附近的魚市場、國際風箏場等地方邊聊邊走,最後走到 魚鱗天梯 。 魚鱗天梯看起來的確很像魚鱗,但聽說他的功能其實是消波塊,還真酷! 底下就有一小片沙灘,因為我今天穿拖鞋,就有下去踩一下海水。不過這裡的海水沒很乾淨,上來後腳上全都是沙子,幸好旁邊就有可以洗腳的地方。 其實旁邊有個滿有名的 17公里海岸自行車道 ,不過我們比較晚才到,所以就沒租腳踏車去騎了。 接著就往南到 香山濕地 ,騎機車也是一下就到了。 香山濕地就像小型的高美濕地,一旁的 賞蟹步道 可以直接走在溼地上方。 賞蟹步道兩旁真的很多螃蟹,照片裡的白點都是螃蟹哦! 當時剛好碰上漲潮,於是我們就在步道上拍起縮時攝影,從影片中可見漲潮的速度有多快! 香山濕地也是看夕陽的好景點,只是有點太早來了,於是我們走去旁邊的 綠色隧道 ,等待夕陽下山。 最後終於等到夕陽了! 加上倒影還滿漂亮的,只可惜今天海面有點雲,無緣看到夕陽落到海平面之下的景色。 最後順路繞去附近的 青青草原 ,雖然天色已經暗了下來,不過因此溜滑梯都不用排隊,可以多溜了幾趟😁 我們也去看了一眼大草原,但因為傍晚有一堆蚊蟲,所以就趕緊撤退了! 最後晚餐去吃 蛋包飯 ,這家也是朋友推薦的...

[2021 IT鐵人賽] Day 23:專案05 - KKBOX風雲榜02 | AJAX

昨天已經找到的KKBOX用來傳資料的API,也知道各個參數的意義了,今天就實際將資料抓下來吧! 歌曲資訊 回到昨天那個API,是用JSON格式傳遞資料,資料的格式大致如下: 我們可以發現新歌的資料都放在 “newrelease” 之下,一個element就是一首歌的資訊,另外,每首歌的資訊也以key:value的形式整理的很清楚。 接著,就用之前教過的 requests.get(url) 直接取得API回傳的資料,但回傳的型態是json字串,所以再用Python本身內建的 json.loads() 函數轉成Python的list和dict資料型態。 # KKBOX華語新歌日榜 url = "https://kma.kkbox.com/charts/api/v1/daily?category=297&lang=tc&limit=50&terr=tw&type=newrelease" # 取得歌曲資訊json檔 response = requests.get(url) # 將json字串轉為Python的字典型態 data = json.loads(response.text) 既然已經轉成list和dict的型態了,再根據剛才觀察API得知的架構,要篩選資料就非常簡單,直接來看程式碼: song_list = data[ "data" ][ "charts" ][ "newrelease" ] # 取得每首歌的排名、曲名、連結、作者、時間 for song in song_list: song_rank = song[ "rankings" ][ "this_period" ] song_name = song[ "song_name" ] song_url = song[ "song_url" ] song_artist = song[ "artist_name"...