跳到主要內容

[2021 IT鐵人賽] Day 25：專案06 - 股市趨勢圖02 | 整年股市資料、Postman

複習一下昨天的進度 - 我們取得單月的個股日成交價的資料，並在電腦中儲存成csv檔。

目前都只有單月的個股日成交價，但如果想要一整年的個股日成交價時，該怎麼辦呢?

可惜的是，台灣證券交易所並沒有提供一整年的個股日成交價API，不過沒關係，既然沒有一整年的，我們自己將某一年1月到12月的資料合併起來不就是一整年了嗎?

第一步就來觀察API的參數，不過在那之前，我先推薦一個測試API時很方便的工具 - Postman。

Postman

Postman是一套專門在測試API的軟體，輸入API的URL和參數後送出，就會回傳API的資料回來，並幫你整理成比較好看的樣子，除了GET之外，也有POST等其他方法可以使用，堪稱測試API的神器!

Postman目前有網頁版跟電腦版，偶爾測試的話網頁版就夠用了，但如果想要更進階的功能，可能就要考慮載電腦版。我這次先用網頁版做示範。

  1. 到Postman官網，註冊一個新帳號。
  2. 登入後，點左上角「Workspace」，建立一個新的Workspace，如果已經有Workspace了，也可以直接進入下面的清單中的Workspace。

  1. 進入Workspace後，點「+」符號新增request。

  1. 將昨天API的網址貼上去，就會發現底下將參數都列出來了。確認參數無誤，方法選擇GET後按「Send」送出。

  1. 送出後底下就會出現response，選擇「Pretty」可以讓回傳的JSON資料比較好閱讀。檢查資料是否正確。

  1. 要改變參數也很簡單，直接改參數欄位中的值就好了。比方說，date改成20210701，再次送出後，得到的就是7月的資料了。

  1. 不管在改參數還是檢視資料都勝過在VScode上操作，所以才說是測試API神器阿!
  2. 補充：更扯的功能，左邊有個「</>」的符號，點擊後下拉式選單選擇「Python-Requests」，就幫你產生這段程式碼出來了，連一點點的code都不用自己寫XD

整年股市

經過測試後，我們發現月份是由「date」這個參數所決定的，因此如果想要一口氣抓下從1月到12月的股市資料，程式碼就長這樣： 

# 從1到12月
for m in range(1, 13):
    url = "https://www.twse.com.tw/exchangeReport/STOCK_DAY?response=json&date=2020{0:02d}01&stockNo=0050".format(m)
    print(url)

    # 取得股票資料json字串
    response = requests.get(url, headers=headers)
    # print(response.text)

    # 從json字串轉為python的字典格式
    json_data = json.loads(response.text)
    datas = json_data["data"]
    fields = json_data["fields"]

我抓2020年一整年的股市資料。為了滿足API的格式要求，我用{0:02d}搭配.format(m)，作用是固定長度為2，不夠補0，比方說1就會變01。

接著，將每個月的資料存成Pandas的DataFrame型態。

# 存成Pandas的Dataframe
month_df = pd.DataFrame(datas, columns=fields)

然後，將每個月的DataFrame合併成一個整年的DataFrame。ignore_index=True讓合併後資料的index是連續的。 

# 合併於整年的Dataframe
year_df = year_df.append(month_df, ignore_index=True)

最後只要把整年的DataFrame儲存成.csv檔就完成了! 

# 轉成csv檔
year_df.to_csv("./year_stock.csv", encoding="big5")

結果：

小結

回顧一下今天教的內容，首先介紹了測試API的神器 - Postman，以及簡單的操作教學，再來利用Postman測試股市API，找出參數上的規律，最後利用這個規律一口氣把整年的股市資料給抓下來。

明天就是這個專案的最後一天，將利用這兩天得到的資料繪製成趨勢圖! 大家千萬別錯過明天的內容哦!😁😁

如果喜歡這系列文章麻煩幫我按Like加訂閱，你的支持是我創作最大的動力~

本系列文章以及範例程式碼都同步更新在GitHub上，後續會持續的更新，如果喜歡也麻煩幫我按個星星吧~

有任何問題或建議，都歡迎在底下留言區提出，還請大家多多指教。

如果喜歡這篇文章，請訂閱我並且拍五下手給予回饋(使用Google或Facebook帳號免費登入，只需要30秒)，資金由LikeCoin提供，完全不會花到各位半毛錢!

因為您的支持，我才更有動力創作出更優質的文章~

Labels:

留言

張貼留言

這個網誌中的熱門文章

[遊記] 2022/07/22 南寮漁港、香山濕地

前言： 2022年的暑假，我來到新竹的工研院實習，因此有了兩個月好好探索這座陌生城市的機會。我在來之前就計畫好了，每周五要選一個地方去旅行，目標是在兩個月內把整個新竹玩透透! 來到了第三個禮拜，今天我約了新竹在地人的大學朋友，請他騎機車載我到處逛逛😆 不過因為他早上有事情，所以我們就約中午吃飯。中午我們去吃城隍廟附近的 阿桂羊牛雜 ，我點了朋友很推的 羊肉炒麵 ，這家的炒麵很特別，醬汁很濃稠，沙茶味很香~ 我點加辣但有點太辣了，下次可能點小辣就好。另外有附飲料和冷氣這點很加分。 (只顧跟朋友聊天，就忘記拍照了😂) 阿桂羊牛雜 羊肉炒麵 $100 推薦指數：4⭐ 吃完飯後，本來想去南寮漁港，但因為今天的太陽真的太大了! 所以朋友就提議先去 新竹巨城 吹冷氣，晚點再去南寮漁港。雖然已經來過巨城一次，但跟別人一起逛就是不太一樣。我們去逛了服飾店、書局和湯姆熊，不知不覺就三點了。於是就離開巨城前往南寮漁港囉~ 本來以為 南寮漁港 很遠，但騎機車一下子就到了，果然在新竹還是要有機車比較方便阿! 我們先去南寮漁港的遊客中心，展望台的景色很不錯，室內還有溜滑梯可以玩呢! 接著我們在附近的魚市場、國際風箏場等地方邊聊邊走，最後走到 魚鱗天梯 。 魚鱗天梯看起來的確很像魚鱗，但聽說他的功能其實是消波塊，還真酷! 底下就有一小片沙灘，因為我今天穿拖鞋，就有下去踩一下海水。不過這裡的海水沒很乾淨，上來後腳上全都是沙子，幸好旁邊就有可以洗腳的地方。 其實旁邊有個滿有名的 17公里海岸自行車道 ，不過我們比較晚才到，所以就沒租腳踏車去騎了。 接著就往南到 香山濕地 ，騎機車也是一下就到了。 香山濕地就像小型的高美濕地，一旁的 賞蟹步道 可以直接走在溼地上方。 賞蟹步道兩旁真的很多螃蟹，照片裡的白點都是螃蟹哦! 當時剛好碰上漲潮，於是我們就在步道上拍起縮時攝影，從影片中可見漲潮的速度有多快! 香山濕地也是看夕陽的好景點，只是有點太早來了，於是我們走去旁邊的 綠色隧道 ，等待夕陽下山。 最後終於等到夕陽了! 加上倒影還滿漂亮的，只可惜今天海面有點雲，無緣看到夕陽落到海平面之下的景色。 最後順路繞去附近的 青青草原 ，雖然天色已經暗了下來，不過因此溜滑梯都不用排隊，可以多溜了幾趟😁 我們也去看了一眼大草原，但因為傍晚有一堆蚊蟲，所以就趕緊撤退了! 最後晚餐去吃 蛋包飯 ，這家也是朋友推薦的...
張貼留言
閱讀全文 »

[Python] async def & await 重點整理

最近實習要用到 FastAPI ，我發現 FastAPI 的 path operation function 會使用 async def ，還會搭配使用 await ，因為對這兩個關鍵字沒很熟，所以就藉機紀錄一下，也避免之後忘記。 async def & await 使用情境 我直接利用下面這個例子來展示什麼情況下可以使用 async 和 await 。 import time def dosomething ( i ): print ( f"第 {i} 次開始" ) time.sleep( 2 ) print ( f"第 {i} 次結束" ) if __name__ == "__main__" : start = time.time() for i in range ( 5 ): dosomething(i+ 1 ) print ( f"time: {time.time() - start} (s)" ) 執行後應該會像這樣。 第 1 次開始 第 1 次結束 第 2 次開始 第 2 次結束 第 3 次開始 第 3 次結束 第 4 次開始 第 4 次結束 第 5 次開始 第 5 次結束 time: 10.048049688339233 (s) 這非常直覺，因為每次呼叫 dosomething() 時都會等待2秒，等完才會執行下一輪，所以最後執行總時間是10秒相當合理。 但仔細想想，如果那2秒是做網路請求或檔案讀寫(IO)，這2秒是不需要CPU的，但CPU就只能發呆2秒，痴痴地等待回傳結果，其他什麼事都不能做，豈不是太浪費了嗎!? (學過作業系統的人就知道，絕對不能讓CPU發呆XD) 因此 Python 就有了 asyncio 這個工具，來徹底的利用(X) 榨乾(O) CPU的效能。 我把剛才的例子改成 asyncio 的版本。 import time import asy...
張貼留言
閱讀全文 »

[Python] 關於 with 你所不知道的事

相信用 C 語言寫過檔案讀取的人都知道，經常開檔後就忘記關檔，或者程式中間跳出例外，因此沒有關檔。這些問題常常讓人非常頭痛😱。 所幸 Python 中有 with 這個語法糖，可以自動幫你開關檔，跳出例外也難不倒他，真的非常好用。 但你真的了解 with 背後的運行原理嗎? 🤔 不知道沒關係，因為你現在就會知道了! context manager 在講 with 之前，必須先介紹一下 context manager ，中文可以翻成 情境管理器 。 為什麼叫做 情境管理器 呢? 我們試想一個情境… 當你進入房間時，就要開啟房間的燈：然後當你離開房間時，就要關閉房間的燈。 像這樣理所當然一定要做的事情，我們就稱為一個情境。而 Python 就是透過情境管理器處理這些情境。 要自己實作 context manager 其實很簡單，只要在 Class 中實作 __enter__() 和 __exit__() 即可。 就以進入房間當作例子。 class Room (): def turn_on_light ( self ): print ( "開燈" ) def turn_off_light ( self ): print ( "關燈" ) def __enter__ ( self ): print ( "進入房間" ) self.turn_on_light() return "在房間裡" def __exit__ ( self, exc_type, exc_value, traceback ): self.turn_off_light() print ( "離開房間" ) with Room() as room: ...
張貼留言
閱讀全文 »