亚洲激情影院,久久成人资源,亚洲午夜在线

產品簡介

美林新聞/NEWS

首頁美林數據行業資訊

機器學習平臺算法知識分享—7大統計分析算法

2022-10-28 16:35:14 次

?方差分析
方差分析是為了解決一個因素對另外一個因素是否存在顯著性影響提出的，因子為影響因素，因變量為分析因素。方差分析是檢驗多組樣本均值間的差異是否具有統計意義的一種方法。最常見的是單因素方差分析，平臺中的因變量又叫觀測變量，而因子又稱為控制變量或因素。單因素方差分析的過程，其實就是把樣本的總離差平方S_T和與自由度分解為誤差平方和(又稱組內平方和S_e)和因素的效應平方和(又稱組間平方和S_A)兩部分，用于隨機設計實驗中樣本均值的比較。其統計推斷是推斷各組樣本總體均值是否相等。
單因素方差分析(ANOVA)的計算、分析步驟如下。
1、計算三種平方和：S_T，S_A 及S_e；

2、分析上述三種平方和對應的自由度；
3、計算F統計量的值；
4、將計算的結果，列成方差分析表；
5、按照給定的顯著性水平(1-置信水平)，以及F統計量的值，對原假設進行檢驗，給出檢驗結果。

?相關系數
相關系數是用來反映變量之間的相關關系的密切程度的統計指標。相關系數的取值一般介于-1和1之間。當相關系數為正的時候，意味著變量之間是正相關的；當相關系數為負的時候，意味著變量之間是負相關的。常見的相關系數包括Pearson相關系數(有時簡稱為相關系數)以及Spearman相關系數。
Pearson相關系數是最早由統計學家卡爾•皮爾遜設計的統計指標，是研究變量之間線性相關程度的量，一般用字母r表示。其計算公式為：

其中，Cov(X,Y)為變量X與變量Y的協方差；D(X)與D(Y)分別為X和Y的方差。Pearson相關系數的取值范圍是[-1,1]，取值為-1時，表示兩變量完全負相關；取值為1時，表示兩變量完全線性相關；取值為0時，表示兩變量不相關；相關系數的絕對值越接近于1，表示兩變量間相關性越強。
Spearman相關系數，是衡量分級定序變量之間的相關程度的統計量。對不服從正態分布的數據、原始資料等級數據、總體分布未知的數據不符合使用Pearson相關系數來描述關聯性。此時，可采用秩相關(也稱等級相關)，來描述兩個變量的關聯程度與方向，即Spearman相關。
Spearman相關系數的計算公式為：

其中，d_i是x_i和y_i的秩差，n為數據量。Spearman相關系數(ρ_s)的取值范圍是[-1,1]，ρ_s<0為負相關，ρ_s>0為正相關。若數據中無重復值，且兩個變量完全單調相關時，spearman相關系數為1或-1.

?典型相關分析
典型相關分析是研究兩組變量之間相關關系的一種多元統計分析方法。它借用主成分分析降維的思想，分別對兩組變量提取主成分，且使兩組變量提取的主成分之間的相關程度達到最大，而從同一組內部提取的各主成分之間互不相關，用從兩組之間分別提取的主成分的相關性來描述兩組變量整體的線性相關關系。
典型相關分析整個步驟如下：
設X和Y分別為p維和q維隨機向量，已知

的協方差矩陣為：

其中

是兩個常向量，令：

記

，則有：

上式說明：λ^2既是矩陣A的特征根，也是矩陣B的特征根，且u和v分別是對應的一對特征向量。因此，這里先求出各特征值與對應的特征向量對。注意，可證明：

，其中

.
按照特征值大小順序，先取出最大的特征值

，求出其對應的一對特征向量

.接下來做規格化處理，即設：

則令：

此結果即為系數向量的解，即：

此時的z_1和w_1有最大的相關系數。
上述z_1和w_1稱為第一對典型變量。它們之間的相關系數的根值λ_1即為第一典型相關系數。類似地，可以得到X和Y的其它各典型變量和相應的典型相關系數。

?偏相關分析
偏相關分析是常用相關分析的一種，是指當兩個變量同時與第三個變量相關時，將第三個變量的影響剔除，只分析另外兩個變量之間相關程度的過程。偏相關分析也稱凈相關分析，它在空值其它變量的線性影響的條件下分析兩變量間的線性相關性，所采用的工具是偏相關系數(凈相關系數)。控制變量個數為一時，偏相關系數稱為一階偏相關系數；控制變量個數為二時，偏相關系數稱為二階偏相關系數；控制變量個數為零時，偏相關系數稱為零階偏相關系數，也就是相關系數。
平臺中偏相關系數采用迭代法實現，目前支持求一階、二階偏相關系數。其具體計算公式如下：

上面兩式，分別是控制變量z時，x與y的一階偏相關系數，以及控制變量z_1 和z_2后，x與y的二階偏相關系數。

?相似度
相似度計算用于衡量對象之間的相似程度，用來衡量對象之間的差異性的大小。在很多領域，如信息檢索、推薦系統中，都涉及到對象之間的相似度計算。
其中，距離度量用于指定衡量對象之間差異性的距離度量方式，包括歐式距離、曼哈頓距離、余弦距離和Tanimoto距離等方式進行對象的相似度計算。

?描述數據特征
描述數據特征節點用于總結觀測數據，從而盡可能簡單全面地表達數據所蘊含的數值范圍、分布等信息。該節點可統計數值字段的：樣本個數、缺失值個數、平均值、標準差、最小值、最大值、極差、中位數、眾數、峰度、偏度等指標；字符字段的：樣本個數、缺失值個數、最多計數、最少計數、分類計數、分類占比等。

?概率單位回歸
概率單位回歸是將概率轉換為與自變量所對應的標準正態離差，將因變量反應率P轉換為單位概率，然后和協變量建立回歸關系，即完成了概率單位回歸方程構建。
概率單位回歸算法的整個步驟如下：
給定協變量

,以及反應頻數R，觀察單位總數T，其中 R,T∈R^n。對協變量進行變換對數變換，包含以e為底的變換

以及以10為底的變換

。
利用反應頻數和觀察單位總數計算反應比例P=R/T,然后將反應比例P轉換為標準正態分布下左側面積為P時的Z界值，即得到實際的概率單位值；
結合步驟1和步驟2得到的協變量變換值與實際的概率單位值，利用線性回歸擬合概率單位值和協變量的變化值之間的關系。
利用所得的線性回歸模型得到擬合的系數信息：包含系數估計值、系數標準差、T統計量、顯著程度、置信區間最小值和置信區間最大值。

上一篇：企業要做數字化轉型的三個必要原因—大數據分析行業知識分享下一篇：【數據挖掘算法分享】機器學習平臺——回歸算法之保序回歸

女生裸体视频一区二区三区_久久久久九九九_美日韩精品视频_欧美日韩亚洲一区二区三区在线_激情成人亚洲_亚洲一区自拍_日韩亚洲精品在线_国产精品入口66mio_亚洲在线日韩_久久亚洲二区

Tempo大數據分析平臺

Tempo商業智能平臺

Tempo人工智能平臺

Tempo數據工廠平臺

Tempo數據治理平臺

Tempo主數據管理平臺

Tempo指標平臺

自助式可視化分析

算法模型管理

指標管理解決方案

數字指揮中心

湖倉一體解決方案

智能場景應用構建

主數據應用監管

數據中臺

數據資產入表

發電

電網

制造

油氣

煤炭

高校

政企

金融

科研院所

大數據分析師

DAMA認證

美林數據

合作生態

內容中心

幫助中心

美林新聞

行業資訊

產品簡介

Tempo商業智能平臺

Tempo人工智能平臺

Tempo數據工廠平臺

Tempo指標平臺

Tempo數據治理平臺

Tempo主數據管理平臺

相關推薦

美林新聞/NEWS

機器學習平臺算法知識分享—7大統計分析算法

聯系我們

400-608-2558 029-8669-8003

掃碼關注我們

掃碼立即咨詢