2018年8月14日 星期二

[English] Conference call 必備句

Conference call實用句

[Recommend][Spark][ML] 協同過濾

Spark MLlib支援ALS(alternating least squares)推薦演算法, 是機器學習的協同過濾推薦算法, 透過觀察到所有用戶給的產品評價, 來推斷每個使用者的喜好, 找出與你對產品的評價相近的使用者

[Recommend] 推薦系統觀念

推薦系統概念介紹, 提到數據採集和處裡的一些觀念, 與工程上可能遇到的問題, 然後使用幾個實作範例來感受一下推薦功能的魅力

2018年7月20日 星期五

[Spark] master HA

Spark是屬於master-slaves的架構, master有可能因為某些因素導致壞掉而停止工作, 官網有提到幾個master HA的方法, 這篇使用zookeeper進行HA

2018年7月6日 星期五

[Python] 學習Pythonic的Python - (1)


如果第一個學習的不是Python語言, 常常依照其他語言的語法來寫Python, 這裡紀錄常被遺忘但卻重要的寫法, 節錄自書本Python神乎其技 

[Data Analysis] Data Analysis基本觀念(未完成)


工程人員雖然對於數據處理技術方面相對在行, 但一般不具備數據分析的know how, 不清楚管理階層或user所面臨的難題, 必須花費時間進行溝通, 本篇節錄SQL商業資料分析術部分章節

2018年6月27日 星期三

[Python] 學習Pythonic的Python - (2) (effective Python)


如果第一個學習的不是Python語言, 常常依照其他語言的語法來寫Python, 這裡紀錄常見語法的Python寫法本篇參考網路上的文章, 一些作者整理了Effective Python中相當多值得學習的地方, 完整連結於文章最下方

2018年3月10日 星期六

[Python][Cassandra][Spark] pyspark與Cassandra整合

 
python , pyspark與Cassandra資料交換需要透過特別的套件, 一個是python-cassnadra-driver, 一個是pyspark-cassandra-connector, 這裡介紹使用方法和Spark-Cassandra部屬策略