最新消息

[公告2014/05/30] 如有需要將部落格中,任何一篇文章的程式碼使用在商業用途,請與我聯繫。

[公告2015/04/26] Line版的 iInfo程式與投資應用 群組已上線想加入的朋友們,請先查看 "入群須知" 再與我聯繫 Line : aminwhite5168,加入請告知身分與回答 "入群須知" 的問題。

[公告2018/04/22] 台北 Python + Excel VBA 金融資訊爬蟲課程,課程如網頁內容 金融資訊爬蟲班:台北班 Python 金融資訊爬蟲、EXCEL VBA 金融資訊爬蟲

[公告2019/01/08] 請注意:我再次重申,部落格文章的程式碼,是要提供各位參考與學習,一旦網頁改版請自行修改,別要求東要求西要我主動修改,你們用我寫東西賺錢了、交差了,請問有分我一杯羹嗎?既然賺錢沒分我,請問有什麼理由要求我修改,如果沒能力改,就花錢來找我上課。

[公告2019/12/01] 若各位有 Excel VBA 案子開發需求,歡迎與我聯繫,可接案處理。

[公告2020/05/22] 頁面載入速度慢,起因為部分JS來源(alexgorbatchev.com)失效導致頁面載入變慢,目前已做調整,請多見諒。
顯示具有 Crawler 標籤的文章。 顯示所有文章
顯示具有 Crawler 標籤的文章。 顯示所有文章

2017年10月9日 星期一

Wireshark 抓取 三大法人買賣金額統計表 CSV 檔

Wireshark 是一個功能強的封包側錄工具,它可以幫助我們了解Server/Client間的溝通,筆者拿抓取 三大法人買賣金額統計表 CSV檔介紹。

2017年10月4日 星期三

網路爬蟲(Crawler)相關的內容

花了半個鐘頭有系統的整理一下,關於長時間研究爬蟲所需了解的內容,希望對大家有所幫助,目前是第一版,後續內容有再增加會再放上來,如果圖的內容有誤或不足,還請各位大大指點一下小弟。

2017年9月17日 星期日

Excel 操控瀏覽器 抓元大台灣50ETF成分股

使用Excel 操控瀏覽器,抓元大台灣50ETF成分股,屬於進階爬蟲方法之一,也可使用Python、R、JAVA、C#、Ruby或其他語言做到,效率很差,完成難度高為其缺點。

2017年8月31日 星期四

Excel VBA 與 Python 網路爬蟲寫法異同之處

許多讀者對於 Excel VBA 與 Python 之間的差異不清楚,今天筆者整理一下讓大家有概念,讓大家對於不同語言之間爬蟲的作法有基本的了解, Excel VBA 比起 Python 的程式碼撰寫確實很繁雜,真的有興趣研究這兩種語言的朋友,可參考筆者整理的本篇內容。

2015年10月28日 星期三

網路爬蟲系列 (Crawler)(4):Get與Post觀念介紹

原本要寫有關Context-Type的說明,追到後面看到很多有關Get與Post內容乾脆也寫一篇Get與Post差異來糾正並說明一些觀念。

2015年10月9日 星期五

網路爬蟲系列 (Crawler) (3) : 使用FireFox「檢測元素」、外掛Cookies Manager+、HackBar抓臺灣證交所買賣日報表資料

前兩篇文章 網路爬蟲系列(1)網路爬蟲系列(2) 都是比較簡單,慢慢會開始找一些操作上比較複雜的網站來進行爬蟲解說,這次要爬的網站為「臺灣證交所買賣日報表查詢系統」,該網站是筆者遇過改版最多次的網站,筆者第一爬的網站是它,在2014/12/1該網站加入識別碼輸入機制後,就未曾再看過有再進行改版,可能是改版時間未到,或是爬的人不多,所以還未見到要更版的動作。

2015年10月3日 星期六

網路爬蟲系列 (Crawler) (1) : 使用Chrome「檢查元素」找出 PChome購物網站 資料位置

平時都用Fiddler找出網站資料位置,Fiddler相關使用方式可參考部落格文章,如 線上教學 : 使用Fiddler抓取網頁資料、 Fiddler 偵察瀏覽器封包與內容的工具
今天用Chrome提供的檢查元素功能來找出指定資料存在位置。這裡順道介紹 木刻思 近期有開辦一些關於網頁爬蟲的課程,如Py Crawler 101、 R Crawler 101,後續還會有Py Crawler 102、R Crawler 102進階爬蟲課程,有興趣了解相關內容的蟲友請參考 FB:Learning By Hacking 課程公布。

2015年6月26日 星期五

2015年5月23日 星期六