[python] 平行(Parallel)-使用mutiprocess

平行(Parallel)-使用mutiprocess

[python] 並行(Concurrency)-使用muti-threading

 

並行(Concurrency)-使用muti-threading

[Python] 時間處理

時間處理是實際工作中常運到的問題, 這裡整理資料前處理可能遇到的時間處理的問題

[Python][Keras] 影像前資料前處理

影像前處理可以使用CV2套件, 

這裡也把keras做影像資料增強的說明也放進來

[Python] Generator 迭代產生器

Generator 迭代產生器

[Python] 裝飾器 Decorator

Decorator裝飾器使用

[Pandas] 資料探索與前處理實作(2)

pandas dataframe資料探索與前處理範例二

[Python] 學習Pythonic的Python - (1)

如果第一個學習的不是Python語言, 常常依照其他語言的語法來寫Python, 這裡紀錄常被遺忘但卻重要的寫法, 節錄自書本Python神乎其技 

[Python] 學習Pythonic的Python - (2) (effective Python)

如果第一個學習的不是Python語言, 常常依照其他語言的語法來寫Python, 這裡紀錄常見語法的Python寫法, 本篇參考網路上的文章, 一些作者整理了Effective Python中相當多值得學習的地方, 完整連結於文章最下方

[Python][Cassandra][Spark] pyspark與Cassandra整合

 

python , pyspark與Cassandra資料交換需要透過特別的套件, 一個是python-cassnadra-driver, 一個是pyspark-cassandra-connector, 這裡介紹使用方法和Spark-Cassandra部屬策略

[NumPy] NumPy Basic

NumPy是大部分Python熱門程式庫的底層, 有龐大的生態體系, 是學習其它套件的入門磚, 學習NumPy的關鍵在於它的矩陣處理, 不同套件之間透過轉換處理之後即可輕鬆整合, 這裡記錄常用語法方便查詢用 

[Pandas] 資料探索與前處理實作(1)

pandas dataframe以類似表格方式展示資料, 相當快速且方便,  也提供豐富的函式庫供資料處理分析使用, 當我們將資料從各種來源匯入後, 因為來源相當多元, 各種系統格式皆不同, 遺漏資料的狀況也屢見不鮮, 必須先對資料進行探索與前處理, 並可搭配matplotlib視覺化函式庫整合, 將探索的結果視覺化

[Flask]FlaskAPI撰寫方法與Decorator檢查參數

Flask是個簡易的WebAPI撰寫框架, 短時間內即可實現網路服務, 這裡使用Flask做個範例, 並且搭配Python Decorator檢查Request參數, 最後用Json回傳結果

[Pandas]Pandas Dataframe與Json相互轉換

Pandas Dataframe可以用簡單的方式與Json相互轉換,舉一個簡單範例實作 ,用來串接API使用

[HDFS] python hdfs套件使用

本範例使用python hdfs套件來串聯HDFS, 可對HDFS做一些檔案的檢查, 之後再使用spark將訓練完的model寫入HDFS

[Python] 常用基本語法

Python基本用法, 快速查詢用, 另外DataCamp有提供相當多資料科學學習資源, 也有Python cheat sheet可供下載, 在此附上連結

[Python] code style(轉貼)

網路上轉貼的Python命名規則, 統一程式碼風格使用