C語言 如何用堆解決Topk問題

前言

本篇將詳細講解如何利用小根堆的方法解決TopK問題,這麼多數據要處理,

該算法時間復度居然隻需

TopK問題

TopK問題介紹:在N個數中找出最大的前K個 (比如在1000個數中找出最大的前10個)

解題方法

方法1:先排降序,前N個就是最大的。 

時間復雜度:  

方法2:N個數依次插入大堆,HeapPop K次,每次取堆頂的數據,即為前K個。

時間復雜度:

假設N非常大,N是10億,內存中存不下這些數,它們存在文件中的。K是100,方法1 和 方法2 就都不能用瞭……

話說 10 億個整數,大概占用多少空間?

1G = 1024MB

1G = 1024*1024KB

1G = 1024*1024*1024Byte

要占用10億字節!所以我們來看看方法3。

方法3:

① 用前個K數建立一個K個數的小堆。

② 剩下的N-K個數,依次跟堆頂的數據進行比較。如果比堆頂的數據大,就替換堆頂的數據,再向下調整。

③ 最後堆裡面的K個數就是最大的K個數。

時間復雜度: 

這裡為什麼使用小堆而不使用大堆?

最大的前K個數一定會比其他數要大,隻要進來的數比堆頂數據大,就替代它。因為是小堆(小的在上大的在下),最大的數進去後一定會沉到下面,所以不可能存在大的數堵在堆頂導致某個數進不去的情況,數越大沉得越深。對應地,如果使用大堆就會出現一個大數堵在堆頂,剩下的數都比這個大數小,導致其他數進不來,最後隻能選出最大的那一個。

代碼實現與講解

由於還沒開始講 C++ ,這裡我們沒法用優先級隊列,我們得手動自己寫一個堆來使用。當然,如果自己懶得寫,以下是 C語言 實現堆的代碼。

Heap.h

#define _CRT_SECURE_NO_WARNINGS 1
#pragma once
#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include <stdbool.h>
 
typedef int HPDataType;
 
typedef struct Heap {
    HPDataType* array;  //指向動態開辟的數組
    int size;           //有效數據的個數
    int capacity;       //容量空間的大小
} HP;
 
/* 堆的初始化 */
void HeapInit(HP* php);
 
/* 堆的銷毀 */
void HeapDestroy(HP* php);
 
/* 堆的打印 */
void HeapPrint(HP* php);
 
/* 判斷堆是否為空 */
bool HeapIfEmpty(HP* hp);
 
/* 堆的插入 */
void HeapPush(HP* php, HPDataType x);
    /* 檢查容量 */
    void HeapCheckCapacity(HP* php);
        /* 交換函數 */
        void Swap(HPDataType* px, HPDataType* py);
    /* 大根堆上調 */ 
    void BigAdjustUp(int* arr, int child);
    /* 小根堆上調 */ 
    void SmallAdjustUp(int* arr, int child);
 
/* 堆的刪除 */
void HeapPop(HP* php);
    /* 小根堆下調*/ 
    void SmallAdjustDown(int* arr, int n, int parent);
    /* 大根堆下調 */
    void BigAdjustDown(int* arr, int n, int parent);
 
/* 返回堆頂數據*/
HPDataType HeapTop(HP* php);
 
/* 統計堆的個數 */
int HeapSize(HP* php);

Heap.c

#define _CRT_SECURE_NO_WARNINGS 1
#include "Heap.h"
 
/* 堆的初始化 */
void HeapInit(HP* php) {
    assert(php);
    php->array = NULL;
    php->size = php->capacity = 0;
}
 
/* 堆的銷毀 */
void HeapDestroy(HP* php) {
    assert(php);
    free(php->array);
    php->capacity = php->size = 0;
}
 
/* 堆的打印 */
void HeapPrint(HP* php) {
    for (int i = 0; i < php->size; i++) {
        printf("%d ", php->array[i]);
    }
    printf("\n");
}
 
/* 判斷堆是否為空 */
bool HeapIfEmpty(HP* php) {
    assert(php);
 
    return php->size == 0; // 如果為size為0則表示堆為空
}
 
/* 堆的插入 */
    /* 檢查容量 */ 
    void HeapCheckCapacity(HP* php) {
        if (php->size == php->capacity) {
            int newCapacity = php->capacity == 0 ? 4 : (php->capacity * 2); //第一次給4,其他情況擴2倍
            HPDataType* tmpArray = (HPDataType*)realloc(php->array, sizeof(HPDataType) * newCapacity); // 數組擴容
            if (tmpArray == NULL) {  //檢查realloc
                printf("realloc failed!\n");
                exit(EXIT_FAILURE);
            }
            //更新他們的大小
            php->array = tmpArray;
            php->capacity = newCapacity;
        }
    }
 
        /* 交換函數 */ 
        void Swap(HPDataType* px, HPDataType* py) {
            HPDataType tmp = *px;
            *px = *py;
            *py = tmp;
        } 
 
    /* 大根堆上調 */ 
    void BigAdjustUp(int* arr, int child) {
        assert(arr);
        // 首先根據公式計算算出父親的下標
        int parent = (child - 1) / 2;
        // 最壞情況:調到根,child=parent 當child為根節點時結束(根節點永遠是0)
        while (child > 0) {
            if (arr[child] > arr[parent]) {  // 如果孩子大於父親(不符合堆的性質)
                // 交換他們的值
                Swap(&arr[child], &arr[parent]);
                // 往上走
                child = parent;
                parent = (child - 1) / 2;
            } else {  // 如果孩子小於父親(符合堆的性質)
            // 跳出循環
                break;
            }
        }
    }
 
    /* 小根堆上調 */ 
    void SmallAdjustUp(int* arr, int child) {
        assert(arr);
        // 首先根據公式計算算出父親的下標
        int parent = (child - 1) / 2;
        // 最壞情況:調到根,child=parent 當child為根節點時結束(根節點永遠是0)
        while (child > 0) {
            if (arr[child] < arr[parent]) {  // 如果孩子大於父親(不符合堆的性質)
                // 交換他們的值
                Swap(&arr[child], &arr[parent]);
                // 往上走
                child = parent;
                parent = (child - 1) / 2;
            } else {  // 如果孩子小於父親(符合堆的性質)
            // 跳出循環
                break;
            }
        }
    }
void HeapPush(HP* php, HPDataType x) {
    assert(php);
    // 檢查是否需要擴容
    HeapCheckCapacity(php);
    // 插入數據
    php->array[php->size] = x;
    php->size++;
    // 向上調整 [目標數組,調整位置的起始位置(剛插入的數據)]
    SmallAdjustUp(php->array, php->size - 1);
}
 
/* 堆的刪除 */
 
    /* 小根堆下調*/ 
    void SmallAdjustDown(int* arr, int n, int parent) {
        int child = parent * 2 + 1; // 默認為左孩子
        while (child < n) { // 葉子內
            // 選出左右孩子中小的那一個
            if (child + 1 < n && arr[child + 1] < arr[child]) {
                child++;
            }
            if (arr[child] < arr[parent]) { // 如果孩子小於父親(不符合小堆的性質)
                // 交換它們的值
                Swap(&arr[child], &arr[parent]);
                // 往下走
                parent = child;
                child = parent * 2 + 1;
            } else { // 如果孩子大於父親(符合小堆的性質)
                // 跳出循環
                break;
            }
        }
    }
 
    /* 大根堆下調 */
    void BigAdjustDown(int* arr, int n, int parent) {
        int child = parent * 2 + 1; // 默認為左孩子
        while (child < n) { // 葉子內
            // 選出左右孩子中大的那一個
            if (child + 1 < n && arr[child + 1] > arr[child]) {
                child++;
            }
            if (arr[child] > arr[parent]) { // 如果孩子大於父親(不符合大堆的性質)
                // 交換它們的值
                Swap(&arr[child], &arr[parent]);
                // 往下走
                parent = child;
                child = parent * 2 + 1;
            } else { // 如果孩子小於父親(符合大堆的性質)
                // 跳出循環
                break;
            }
        }
    }
void HeapPop(HP* php) {
    assert(php);
    assert(!HeapIfEmpty(php));
    // 刪除數據
    Swap(&php->array[0], &php->array[php->size - 1]);
    php->size--;
    // 向下調整 [目標數組,數組的大小,調整位置的起始位置]
    SmallAdjustDown(php->array, php->size, 0);
}
 
/* 返回堆頂數據 */
HPDataType HeapTop(HP* php) {
    assert(php);
    assert(!HeapIfEmpty(php));
 
    return php->array[0];
}
 
/* 統計堆的個數 */
int HeapSize(HP* php) {
    assert(php);
 
    return php->size;
}
 

第三種方法的參考代碼:

#define _CRT_SECURE_NO_WARNINGS 1
#include "Heap.h"
 
/* 在N個數中找出最大的前K個 */
void PrintTopK(int* arr, int N, int K) {
 
    HP hp;                             // 創建堆
    HeapInit(&hp);                     // 初始化堆
 
    for (int i = 0; i < K; i++) {      // Step1: 創建一個K個數的小堆
        HeapPush(&hp, arr[i]);
    }
 
    for (int i = K; i < N; i++) {      // Step2: 剩下的N-K個數跟堆頂的數據比較
        if (arr[i] > HeapTop(&hp)) {   // 如果比堆頂的數據大就替換進堆
            HeapPop(&hp);              // 此數確實比堆頂大,刪除堆頂
            HeapPush(&hp, arr[i]);     // 將此數推進堆中,數越大下沉越深
            /* 另一種寫法: 手動替換
            hp.array[0] = arr[i];
            SmallAdjustDown(hp.array, hp.size, 0);
            */
        }
    }
    HeapPrint(&hp);                    // 打印K個數的堆
    HeapDestroy(&hp);                  // 銷毀堆
}
 
/* 模擬測試 TopK */
void TestTopK() {
    int N = 1000000;
    int* arr = (int*)malloc(sizeof(int) * N);
 
    srand(time(0)); // 置隨機數種子
    for(size_t i = 0; i < N; i++) {
        // 產生隨機數,每次產生的隨機數都mod100w,這樣產生的數一定是小於100w的
        arr[i] = rand() % 1000000; 
    }
    
    // 再去設置10個比100w大的數
    arr[5] = 1000000 + 1;
	arr[1231] = 1000000 + 2;
	arr[5355] = 1000000 + 3;
	arr[51] = 1000000 + 4;
	arr[15] = 1000000 + 5;
	arr[2335] = 1000000 + 6;
	arr[9999] = 1000000 + 7;
	arr[76] = 1000000 + 8;
	arr[423] = 1000000 + 9;
	arr[3144] = 1000000 + 10;
 
    PrintTopK(arr, N, 10); //測試用,所以給10個
}
 
int main(void) {
    TestTopK();
 
	return 0;
}
 

運行結果

函數解讀

PrintTopK 解讀

① 準備好我們實現好的堆之後,我們就可以寫TopK的算法瞭。我們創建一個 PrintTopK 函數,函數需要接收存放數據的數組、數組的大小(N)和要找前多少個(K)。

② 首先創建一個堆,用來存放K 。按照規矩我們先把 HeapInit(初始化)和 HeapDestroy(銷毀)先寫好,防止自己不小心忘記銷毀。

③ 核心步驟1:創建一個K個數的小堆,我們直接用 for 循環將數組中前K個值先逐個 HeapPush (堆的插入)進去。

這裡不代表最後的結果,我們隻是相當於 “默認” 認為這前K個數是最大的,方便我們後續進行比較替代。經過 HeapPush (堆的插入)後,這些數據會通過 SmallAdjustDown (小堆下調接口) 對數據進行相應的調整:

for (int i = 0; i < K; i++) {      // Step1: 創建一個K個數的小堆
    HeapPush(&hp, arr[i]);
}

④ 核心步驟2:除去K,將剩下的N-K個數據進行比較。我們再利用 for 循環將數組中剩下的N-K個數據進行遍歷。

這裡逐個進行判斷,如果該數堆頂的數據 i<K(max),我們就進行替換操作。調用 HeapPop(堆的刪除)刪除堆頂的數據,給  讓位。之後將其 HeapPush (堆的插入)推到堆中,就完成瞭替換的工作。值得一提的是,我們還可以不調用 Pop 和 Push 這兩個操作,手動進行替換。hp.array [ 0 ] 就表示棧頂,我們將  賦值給它,隨後再手動進行 SmallAdjustDown (小堆下調操作),傳入相應的值即可:

for (int i = K; i < N; i++) {      // Step2: 剩下的N-K個數跟堆頂的數據比較
    if (arr[i] > HeapTop(&hp)) {   // 如果比堆頂的數據大就替換進堆
        HeapPop(&hp);              // 此數確實比堆頂大,刪除堆頂
        HeapPush(&hp, arr[i]);     // 將此數推進堆中,數越大下沉越深
        /* 另一種寫法: 手動替換
        hp.array[0] = arr[i];
        SmallAdjustDown(hp.array, hp.size, 0);
        */
    }
}

⑤ 當 for 遍歷完所有數據之後,小堆中就保留瞭N個數據中最大的前K個數瞭。此時我們調用堆打印接口將小堆裡的數據打印出來就大功告成瞭。

TestTopK 解讀

① 這是用來測試我們寫的TopK算法的函數。設置 N 的大小為 100w,動態內存開辟一塊可以存下這麼多數據的空間:

int N = 1000000;
int* arr = (int*)malloc(sizeof(int) * N);

② 隨後根據時間來置隨機數種子,將每個元素都進行隨機數的填充,每次產生的隨機數都模上100w,這樣可以保證產生的隨機數一定是小於100w的。

srand(time(0));
for(size_t i = 0; i < N; i++) {
    arr[i] = rand() % 1000000; 
}

③ 隨便寫幾個大於100w的數,便於測試:

// 再去設置10個比100w大的數
arr[5] = 1000000 + 1;
arr[1231] = 1000000 + 2;
arr[5355] = 1000000 + 3;
arr[51] = 1000000 + 4;
arr[15] = 1000000 + 5;
arr[2335] = 1000000 + 6;	
arr[9999] = 1000000 + 7;	
arr[76] = 1000000 + 8;
arr[423] = 1000000 + 9;
arr[3144] = 1000000 + 10;

④ 調用我們剛才實現好的 PrintTopK 函數,遞交對應的參數後就可以進行測試瞭。這裡為瞭方便測試,我們的K設置為10:

PrintTopK(arr, N, 10);

到此這篇關於C語言 如何用堆解決Topk問題的文章就介紹到這瞭,更多相關Topk問題內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀: