AI大資料產品經理必懂的基礎技術

一、產品經理崗位是核心關鍵崗位。

國內很多科技公司的名人都是產品經理出身,比如:獵豹的傅盛、滴滴的創業夥伴俞軍等,甚至在矽谷也有很多頂尖科技公司的創始人也確實是產品經理出身,比如:Yahoo 的前 CEO 瑪麗莎 ,谷歌的 CEO 桑德爾 · 皮蔡,蓋茨的夫人梅琳達 · 蓋茨全部都是產品經理出身。

二、產品經理自身帶有複合型技能。

另外根據與矽谷的同行交流,谷歌招聘產品經理是要求產品經理最好有些技術背景的,而亞馬遜是不要求產品經理有技術背景的,由此看來產品經理懂不懂技術至少不會是寫在招聘JD裡面的要求,但是面試谷歌,面試亞馬遜的時候如果懂技術會是加分項。

三、5G時代的到來和IoT裝置的增長加持市場需要AI大資料產品經理。

站在未來看今天,從工資收入來看AI產品經理和大資料產品經理的收入伴隨著5G時代的到來和IoT裝置量增多是會持續增強的,以下來自招聘網站的截圖:

AI大資料產品經理必懂的基礎技術

AI大資料產品經理必懂的基礎技術

從圖上可見。

1)市場對AI產品經理的工作年限要求比資料產品經理低。

2)市場給AI產品經理和資料產品經理的待遇均高於同期的其他產品經理崗位。

這還僅是在5G沒有普及開來的情況下,隨著5G的普及和更多的智慧裝置的聯網,到時會產生更多的資料和需要更多懂AI應用的產品經理。

四、那麼技術那麼多,我們產品經理該懂哪些技術呢?

市場給予了AI產品經理、大資料產品經理如上圖中的好待遇,自然市場對AI產品經理、大資料產品經理的期望和要求也水漲船高。

根據筆者親身經歷,入行AI大資料產品經理至少要會以下三個方面的技能。

第一、懂資料

懂資料首先是懂

1)資料工程的內容

例如:採集、儲存、清洗、分析、視覺化。

其次是懂

2)資料庫的基本概念

資料庫和資料表,CURD操作:Create、Update、Read、Delete,關係型資料庫,非關係型資料庫等。

3)資料的結構

例如:地鐵資料,靜態資料:線路、站點(不一定有時間戳,更新慢),動態資料:刷卡記錄(必有時間戳,不斷產生),資料存放有一定的規則。

4)資料的型別格式

TXT:純文字

CSV:逗號分隔值

JSON:鍵值對

SQL:資料庫檔案等

第二、懂AI機器學習領域

AI的得以突破發展一方面是因為資料量的爆發式增長,另外一方面得益於機器學習,尤其是深度學習演算法的發展。

1)什麼是機器學習

研究如何透過計算的手段,利用經驗來改善系統自身的效能,通俗來講,讓程式碼學著幹活即為機器學習,而深度學習是機器學習的特例。

2)機器學習的種類

有監督學習:提供標籤,分類、迴歸

無監督學習:無標籤,聚類

增強學習:也稱強化學習,馬爾科夫決策過程(Markov Decision Processes,MDP)

主動學習:邊學習邊標註

遷移學習:從一個域(Domain)遷移(Transfer)到另一個域

整合學習:Ensemble,三個臭皮匠賽個諸葛亮,Boosting和Bagging

3)機器學習兩大痛點

維度災難:資料量和特徵數

過擬合:模型泛化能力

4)機器學習的流程

預處理:資料重塑、缺失值處理(補全、統計為缺失特徵)

特徵工程:特徵沒做好,引數調到老。在已有的特徵上生成新的特徵,數值、類別

特徵選擇、降維:基於MIC、Pearson相關係數、正則化方法、模型,PCA、tSNE

訓練模型、調參:單模型,多模型融合,整合

評估模型:正確率(Acurracy)、準確值(Pecision)、召回值(Recall)、F值、AUC

懂以上機器學習的相關內容視為入門了AI大資料產品經理。

第三、懂資料且能進行AI產品化應用以構建機器學習使用者畫像產品為例

什麼叫懂資料處理且能夠進行AI產品化應用呢,下面筆者LineLian一構建使用者畫像實現大資料機器學習推薦為例來講綜合運用資料、演算法和算力的步驟。

(第一步):建模

1)獲取原始資料。例如用到的資料有使用者訪問系統的行為日誌和使用者的基本屬性,透過採集日誌資料,得到使用者的行為資訊;

2)對資料進行預處理,挖掘出事實標籤。對使用者資料進行過濾、清洗、簡化表示,從使用者的基本屬性資訊可以得到使用者的編號、等級、名稱、第一次登入時間等,這些資訊屬於事實標籤;

3)分析使用者行為資訊,構建使用者畫像的模型標籤。透過對使用者的行為進行分析,得到使用者訪問頁面和操作的規律,構建出使用者的行為模型;

4)透過模型標籤進行預測,完善使用者畫像。根據使用者的行為模型可以預測出使用者的操作行為。

AI大資料產品經理必懂的基礎技術

(第二步):多維度刻畫使用者畫像

1):自然屬性,比如:使用者註冊時填寫的姓名、性別、年齡、郵箱、電話、職業等。不同屬性使用者感興趣的點不同,標籤一般比較穩定。

2):興趣屬性,行為偏好資訊,不同時間偏好不同,隨時而變!偏好標籤挖掘演算法有TF-IDF和BM25演算法等

3):地理資訊,移動軌跡資訊,不同區域使用者訪問不同伺服器

4):主機IP、MAC地址、不同瀏覽器等,透過IP地址可以找到使用者所在的區域

5):隱含屬性指從使用者的基本資訊、行為資訊等資料中發掘出使用者資訊中隱含的規律或偏好。例如從使用者上線的頻率計算出使用者的活躍等級,活躍等級可以反映出使用者對系統的粘性。

(第三步):標籤

MECE(Mutually Exclusive Collective Exhaustive)原則,即標籤需要彼此獨立且詳盡無遺。

(1) 使用者需求和使用場景會不斷的更新,所以標籤體系是一個不斷完善的過程,不可能一次性建立完成;

(2) 不同領域的使用者需求和業務場景不同,使用者畫像的標籤系統也不同。關鍵是要從不同層面更透徹地分析特定領域使用者的決策行為。建立標籤系統時,應根據具體業務情況進行切實分析;

(3) 根據具體需求合理劃分標籤的體系結構,一般需要讓標籤體系有結構框架,呈現出一定的層級關係便於標籤管理,也可以增加標籤間的聯絡。

標籤體系結構三種:結構化、半結構化、非結構化

事實標籤和模型標籤舉例 對標題按體系劃分

AI大資料產品經理必懂的基礎技術

(第四步)對映使用者畫像

資料-使用者標籤對映

使用者畫像方法是資料-使用者標籤對映方法,它是以資料來驅動使用者畫像的生成。

AI大資料產品經理必懂的基礎技術

(第五步) : 評估模型

產品經理怎麼評估使用者畫像模型好壞呢?建議從以下幾個方面

使用者畫像評估指標包括:準確性、覆蓋範圍、及時性、可解釋性和可擴充套件性等。

(第六步)資料視覺化

與使用者互動過程視覺化,資料視覺化不僅是統計圖表,基本上可以透過圖形顯示的任何資料、文字、原理、邏輯和法則都可以稱為資料視覺化。資料視覺化具有互動、多維和可見特徵。使用者畫像視覺化後圖如下所示:

AI大資料產品經理必懂的基礎技術

第四、AI大資料產品經理應該懂的技術邊界。

隨著資料量的井噴式發展且伴隨著深度學習的進一步突破,AI大資料產品經理面臨的需要懂的技術資訊越來越多,那麼AI產品經理和大資料產品經理該懂的技術邊界在哪裡呢,且等筆者下回分解,碼字不易,再請各位看官幫LineLian的年度作者評選投上10個贊。

點贊方法一是:(第一步)開啟人人都是產品經理平臺的連結 http://zt。woshipm。com/author/2019/author/detail/0jge。html (第二步)每人每個手機號可以投5個贊,分享後可以再幫投5個贊,有你的支援LineLian定當講系統的AI大資料產品經理知識體系傾囊相投票給LineLian ,好運又連連哦![玫瑰]

點贊方法二是:如下圖

AI大資料產品經理必懂的基礎技術