- 相關(guān)推薦
社會(huì)調(diào)查數(shù)據(jù)分析方法
針對(duì)現(xiàn)今的社會(huì)調(diào)查數(shù)據(jù)處理與分析中存在的問題，該文通過(guò)三維矩陣建立了社會(huì)調(diào)查數(shù)據(jù)的數(shù)學(xué)模型。下面是小編為大家整理的社會(huì)調(diào)查數(shù)據(jù)分析方法，歡迎閱讀。
一、社會(huì)調(diào)查數(shù)據(jù)的特點(diǎn)
通常情況下,社會(huì)調(diào)查數(shù)據(jù)特點(diǎn)如下。
(1)相關(guān)性
對(duì)于一個(gè)樣本個(gè)體而言，它具有本身的多個(gè)特征，這些特征之間就具有一定的相關(guān)性。對(duì)于多個(gè)樣本而言，個(gè)體與個(gè)體的特征之間具有相關(guān)性。如果樣本隨時(shí)間而變化，那么該樣本在不同時(shí)刻的特征之間又具有相關(guān)性。因此，由于上述多個(gè)原因使得社會(huì)調(diào)查數(shù)據(jù)具有了復(fù)雜的相關(guān)性，傳統(tǒng)的統(tǒng)計(jì)學(xué)調(diào)查難以解決這樣的問題。
(2)離散性
因?yàn)樯鐣?huì)調(diào)查數(shù)據(jù)是通過(guò)自填式問卷、網(wǎng)絡(luò)調(diào)查數(shù)據(jù)庫(kù)等方法得到，所以社會(huì)調(diào)查數(shù)據(jù)一般以離散變量為主，且這些數(shù)據(jù)之間只有標(biāo)示作用，并沒有嚴(yán)格的邏輯關(guān)系。
(3)模糊性
社會(huì)調(diào)查數(shù)據(jù)當(dāng)中不可避免的會(huì)接觸到各種表達(dá)方式和概念，因此,它具有模糊性。因?yàn)橛勺蕴钍絾柧砘蚪Y(jié)構(gòu)式訪問的方法得到的社會(huì)調(diào)查數(shù)據(jù)具有以上特點(diǎn)，所以在實(shí)際應(yīng)用中基于統(tǒng)計(jì)學(xué)的處理方法只能籠統(tǒng)的顯示數(shù)據(jù)的部分特性,如頻數(shù)、離散程度等。對(duì)于數(shù)據(jù)之間的關(guān)系只能分析出維數(shù)極少的大致的關(guān)系。而且利用軟件進(jìn)行數(shù)據(jù)挖掘時(shí)，因?yàn)楝F(xiàn)有的軟件中的數(shù)據(jù)挖掘算法對(duì)于數(shù)據(jù)類型和格式要求較高,所以能應(yīng)用到的數(shù)據(jù)挖掘算法很少。就算是數(shù)據(jù)要求較低的關(guān)聯(lián)分析,其結(jié)果也存在大量的冗余。因此,我們需要建立一個(gè)合適的社會(huì)調(diào)查數(shù)據(jù)的數(shù)學(xué)模型來(lái)完善原先的方法并使跟多的數(shù)據(jù)挖掘方法可以運(yùn)用到其中，使得結(jié)果更準(zhǔn)確。
二、社會(huì)調(diào)查數(shù)據(jù)的建模
研究中我們發(fā)現(xiàn),三維矩陣可適用于社會(huì)調(diào)查數(shù)據(jù)的建模。
1 三維矩陣的定義
三維矩陣的定義:由n個(gè)p×q階的矩陣組成的n×p×q階的矩陣A稱為三維矩陣,又稱立體陣。Ak,i,j表示三維矩陣A的第k層,第i行,第j列上的元素。其中n,p,q分別表示三維矩陣的高度,厚度和寬度。
2 三維矩陣模型的建立
調(diào)查問卷的題目一般有三種類型:單選題、多選題和排序題。這三類題目都可以表示成向量的形式,其中每一道單選題、多選題可以表示成一個(gè)向量,排序題可以表示成多個(gè)向量組成的矩陣。對(duì)于單選題和多選題,可以按選項(xiàng)的順序可以表示成一個(gè)向量,其中選中的用“1”表示,未選中的項(xiàng)用“0”表示。對(duì)于排序題，可以表示成一個(gè)n×n的方陣,,其中n表示該排序題的選項(xiàng)數(shù),。這樣，每一題就可以定義為空間中的一個(gè)維度,從而所有的題目就可以構(gòu)成一個(gè)N維空間。每份調(diào)查問卷的信息用一個(gè)M×N矩陣表示(M為題目的最大選項(xiàng)數(shù)),其在每一維上的選擇稱之為一個(gè)元素,這樣每份問卷的信息就包括了N個(gè)元素。以第1,2,3題數(shù)據(jù)為例,其中第1題為單選題選擇“B”,用向量 (0,1, 0..0)T 表示為一個(gè)元素,第2題為多選題選擇“ACE”,用向量 (1, 0,1, 0,1, 0..0)T 表示為一個(gè)元素,第3題為排序題順序?yàn)镃BADEFIHG,用矩陣表示，每一個(gè)列向量是一個(gè)元素,如圖1所示。
那么，假設(shè)有一問卷信息用一個(gè)大小為M×N的矩陣表示。K份的問卷信息就可以用K個(gè)大小為M×N的矩陣表示。將這K個(gè)矩陣疊加,形成一個(gè)三維矩陣。這個(gè)三維矩陣就是我們建立的三維矩陣數(shù)學(xué)模型,如圖2所示。
在圖2中我們看到,該三維矩陣數(shù)學(xué)模型有三個(gè)坐標(biāo)軸，它們分別是題目、人數(shù)、選項(xiàng)。題目軸以每一道題為一個(gè)單位；人數(shù)軸以每一份問卷為一個(gè)單位；選項(xiàng)軸的刻度A,B,C,D,E,F等題目選項(xiàng),其個(gè)數(shù)為該調(diào)查問卷中選項(xiàng)最多的題目的選項(xiàng)個(gè)數(shù)。在此基礎(chǔ)之上,這樣的三維矩陣具有以下性質(zhì)。
(1) 在題目軸中選取對(duì)應(yīng)的題目，將三維矩陣面向豎切得到截面1，截面2表示每一道題所有人選擇的信息。
(2) 在人數(shù)軸中選取對(duì)應(yīng)的人，將三維矩陣橫切得到橫截面1，橫截面1表示對(duì)應(yīng)的人選擇所有題目的信息。
在得到三維矩陣后，可對(duì)它進(jìn)行像素化處理，置1的元素用黑點(diǎn)代替,置0元素的則空白，在得到像素化三維矩陣后我們可以將三維矩陣沿著人數(shù)維度上向下投影，這樣就可以得到一個(gè)具有濃黑不一的點(diǎn)的平面。通過(guò)這些點(diǎn)的濃度，可以知道每一選項(xiàng)選擇的人數(shù)。接下來(lái)我們可用灰度級(jí)表示點(diǎn)的濃度,篩選出濃度大于一定程度的點(diǎn)，在此基礎(chǔ)上進(jìn)行后續(xù)算法處理。
上述三維矩陣數(shù)學(xué)模型具有數(shù)學(xué)三維矩陣的所有性質(zhì)，可依據(jù)調(diào)查問卷的需求進(jìn)行轉(zhuǎn)置，加權(quán)、相乘、篩選等數(shù)學(xué)處理,另外在數(shù)學(xué)處理的基礎(chǔ)上，采用超圖理論可以大大豐富了調(diào)查問卷的處理方法。
三、基于超圖算法的調(diào)查問卷分析技術(shù)
超圖是離散數(shù)學(xué)中重要的內(nèi)容,是對(duì)圖論的推廣。超圖是有限集合的子系統(tǒng),它是一個(gè)由頂點(diǎn)的集合V和超邊集合E組成的二元對(duì)，超圖的一條邊可以有多個(gè)頂點(diǎn)的特性，這與一般的圖有很大不同。超圖分為有向超圖與無(wú)向超圖兩類,在無(wú)向超圖的每條超邊上添加方向后得到的有向二元對(duì)就是有向超圖。
超圖在許多領(lǐng)域有廣泛的應(yīng)用。大家可以利用無(wú)向超圖表示每一道題的選擇情況，先將這每一題的每一個(gè)選項(xiàng)設(shè)成一個(gè)節(jié)點(diǎn),然后將三維矩陣從上向下投影，如果某一題的若干個(gè)選項(xiàng)同時(shí)被一個(gè)人選擇，就用一條超邊包圍這些節(jié)點(diǎn),那么選這些選項(xiàng)的人越多，投影得到的超邊就越濃。這樣就用超圖表示了問卷中每道題的信息,可以進(jìn)行聚類處理。
利用有向超圖,可以將關(guān)聯(lián)規(guī)則表示成有向超圖的形式，在得到了關(guān)聯(lián)規(guī)則后，設(shè)實(shí)際中得到的關(guān)聯(lián)規(guī)則的形式為：前項(xiàng)和后項(xiàng)都是由多個(gè)項(xiàng)組成的集合。該文定義一條關(guān)聯(lián)規(guī)則由一條有向超邊表示，有向超邊的頭節(jié)點(diǎn)表示關(guān)聯(lián)規(guī)則的前項(xiàng),有向超邊的尾節(jié)點(diǎn)表示關(guān)聯(lián)規(guī)則的后項(xiàng)。每條有向超邊的頭節(jié)點(diǎn)和尾節(jié)點(diǎn)均可以為多個(gè)，如此便成功表示了復(fù)合規(guī)則，從而可以使用相關(guān)算法進(jìn)行冗余規(guī)則檢測(cè)。
通過(guò)基于有向超圖的冗余規(guī)則檢測(cè)就可以將關(guān)聯(lián)規(guī)則之間存在著的大量冗余檢測(cè)出，減少挖掘資源的浪費(fèi)，從而增加了挖掘結(jié)果的有效性。
傳統(tǒng)的聚類方法都對(duì)原始數(shù)據(jù)計(jì)算它們之間的距離來(lái)得到相似度，然后通過(guò)相似度進(jìn)行聚類，這樣的方法對(duì)于低維數(shù)據(jù)有良好的效果，但是對(duì)于高維數(shù)據(jù)卻不能產(chǎn)生很好的聚類效果，因?yàn)楦呔S數(shù)據(jù)的分布有其特殊性。通過(guò)超圖模型的分割實(shí)現(xiàn)對(duì)高維數(shù)據(jù)的聚類卻能產(chǎn)生較好的效果。它先將原始數(shù)據(jù)之間關(guān)系轉(zhuǎn)化成超圖，數(shù)據(jù)點(diǎn)表示成超圖的節(jié)點(diǎn)，數(shù)據(jù)點(diǎn)間的關(guān)系用超邊的權(quán)重來(lái)表示。然后對(duì)超圖進(jìn)行分割，除去相應(yīng)的超邊使得權(quán)重大的超邊中的點(diǎn)聚于一個(gè)類中，同時(shí)使被除去的超邊權(quán)重之和最小。這樣就通過(guò)對(duì)超圖的分割實(shí)現(xiàn)了對(duì)數(shù)據(jù)的聚類。具體的算法流程如下。
首先，將數(shù)據(jù)點(diǎn)之間的關(guān)系轉(zhuǎn)化為超圖，數(shù)據(jù)點(diǎn)表示為超圖節(jié)點(diǎn)。如果某幾個(gè)數(shù)據(jù)點(diǎn)的支持度大于一定閾值，則它們能構(gòu)成一個(gè)頻繁集，就將它們用一條超邊連接，超邊的權(quán)重就是這一頻繁集的置信度，重復(fù)同樣的方法就可以得超邊和權(quán)重。
然后，在基礎(chǔ)此上，通過(guò)超圖分割實(shí)現(xiàn)數(shù)據(jù)的聚類。若設(shè)將數(shù)據(jù)分成k類，則就是對(duì)超圖的k類分割，不斷除去相應(yīng)的超邊，直到將數(shù)據(jù)分為k類，且每個(gè)分割中數(shù)據(jù)都密切相關(guān)為止，同時(shí)保持每次被除去的超邊權(quán)重和最小，最終得到的分割就是聚類的結(jié)果。
首先，將數(shù)據(jù)點(diǎn)之間的關(guān)系轉(zhuǎn)化為超圖，數(shù)據(jù)點(diǎn)表示為超圖節(jié)點(diǎn)。如果某幾個(gè)數(shù)據(jù)點(diǎn)的支持度大于一定閾值，則它們能構(gòu)成一個(gè)頻繁集，就將它們用一條超邊連接，超邊的權(quán)重就是這一頻繁集的置信度，重復(fù)同樣的方法就可以得超邊和權(quán)重。
然后，在基礎(chǔ)此上，通過(guò)超圖分割實(shí)現(xiàn)數(shù)據(jù)的聚類。若設(shè)將數(shù)據(jù)分成k類，則就是對(duì)超圖的k類分割，不斷除去相應(yīng)的超邊，直到將數(shù)據(jù)分為k類，且每個(gè)分割中數(shù)據(jù)都密切相關(guān)為止，同時(shí)保持每次被除去的超邊權(quán)重和最小，最終得到的分割就是聚類的結(jié)果。
如圖3所示是基于超圖算法的選題型調(diào)查問卷的分析技術(shù)的流程圖,主要包括4個(gè)主要部分,一是用向量表示調(diào)查問卷結(jié)果,二是將向量表示的調(diào)查問卷轉(zhuǎn)化為三維矩陣數(shù)學(xué)模型表示調(diào)查問卷結(jié)果,三是使用超圖算法進(jìn)行優(yōu)化,四是根據(jù)要求顯示調(diào)查問卷結(jié)果。
四、結(jié)語(yǔ)
該文針對(duì)社會(huì)調(diào)查數(shù)據(jù)處理與分析中存在的問題，建立了基于三維矩陣的數(shù)學(xué)模型,將單選題和多選題表示成向量，將排序題表示成多個(gè)列向量，從而每一題可以表示成空間的一個(gè)維度，每一個(gè)向量就是一個(gè)元素，這樣每一張問卷就可以表示成一個(gè)矩陣，通過(guò)將多個(gè)矩陣疊加就可以得到三維矩陣。該數(shù)學(xué)模型可以
利用三維矩陣的性質(zhì)對(duì)其進(jìn)行多種數(shù)學(xué)處理，如豎切、橫切、像素化后投影等。在數(shù)學(xué)處理的基礎(chǔ)上，該文又提出超圖理論對(duì)數(shù)據(jù)進(jìn)行聚類和檢測(cè)冗余規(guī)則的分析。
【社會(huì)調(diào)查數(shù)據(jù)分析方法】相關(guān)文章：
數(shù)據(jù)整理分析方法10-22
銷售數(shù)據(jù)的分析方法07-25
數(shù)據(jù)分析與辦公軟件：數(shù)據(jù)分析方法07-10
數(shù)據(jù)分析常用方法07-26
多維數(shù)據(jù)分析方法04-07
醫(yī)學(xué)數(shù)據(jù)分析方法10-24
銷售數(shù)據(jù)分析的方法07-03
銷售數(shù)據(jù)分析方法07-03