[Spark] Spark 基本安裝設定

Spark 基本安裝設定

[Spark] master HA

Spark是屬於master-slaves的架構, master有可能因為某些因素導致壞掉而停止工作, 官網有提到幾個master HA的方法, 這篇使用zookeeper進行HA

[Python] 學習Pythonic的Python - (1)

如果第一個學習的不是Python語言, 常常依照其他語言的語法來寫Python, 這裡紀錄常被遺忘但卻重要的寫法, 節錄自書本Python神乎其技 

[Data Analysis] Data Analysis基本觀念(未完成)

工程人員雖然對於數據處理技術方面相對在行, 但一般不具備數據分析的know how, 不清楚管理階層或user所面臨的難題, 必須花費時間進行溝通, 本篇節錄SQL商業資料分析術部分章節

[Python] 學習Pythonic的Python - (2) (effective Python)

如果第一個學習的不是Python語言, 常常依照其他語言的語法來寫Python, 這裡紀錄常見語法的Python寫法, 本篇參考網路上的文章, 一些作者整理了Effective Python中相當多值得學習的地方, 完整連結於文章最下方

[Spark] Dataframe資料前處理實作(使用Python)

Spark Dataframe資料前處理語法整理(使用Python)

[Python][Cassandra][Spark] pyspark與Cassandra整合

 

python , pyspark與Cassandra資料交換需要透過特別的套件, 一個是python-cassnadra-driver, 一個是pyspark-cassandra-connector, 這裡介紹使用方法和Spark-Cassandra部屬策略

[NumPy] NumPy Basic

NumPy是大部分Python熱門程式庫的底層, 有龐大的生態體系, 是學習其它套件的入門磚, 學習NumPy的關鍵在於它的矩陣處理, 不同套件之間透過轉換處理之後即可輕鬆整合, 這裡記錄常用語法方便查詢用 

[Pandas] 資料探索與前處理實作(1)

pandas dataframe以類似表格方式展示資料, 相當快速且方便,  也提供豐富的函式庫供資料處理分析使用, 當我們將資料從各種來源匯入後, 因為來源相當多元, 各種系統格式皆不同, 遺漏資料的狀況也屢見不鮮, 必須先對資料進行探索與前處理, 並可搭配matplotlib視覺化函式庫整合, 將探索的結果視覺化

[Flask]FlaskAPI撰寫方法與Decorator檢查參數

Flask是個簡易的WebAPI撰寫框架, 短時間內即可實現網路服務, 這裡使用Flask做個範例, 並且搭配Python Decorator檢查Request參數, 最後用Json回傳結果

[Pandas]Pandas Dataframe與Json相互轉換

Pandas Dataframe可以用簡單的方式與Json相互轉換,舉一個簡單範例實作 ,用來串接API使用