20230420

這里的 (T)->T 和 (T)->U 是 Spark 中經(jīng)常用到的兩種函數(shù)類型，其中 T 和 U 分別表示輸入和輸出數(shù)據(jù)類型。它們通常被用來(lái)定義 Spark RDD 上的轉(zhuǎn)換和操作。

(T)->T 表示一個(gè)接受 T 類型輸入并返回 T 類型輸出的函數(shù)，也就是說(shuō)，這個(gè)函數(shù)將一個(gè) T 類型的數(shù)據(jù)作為輸入，并把它轉(zhuǎn)換成另一個(gè) T 類型的數(shù)據(jù)。在 PySpark 中，這種函數(shù)通常被用于對(duì) RDD 進(jìn)行轉(zhuǎn)換，例如 map()、filter() 等函數(shù)。

(T)->U 表示一個(gè)接受 T 類型輸入并返回 U 類型輸出的函數(shù)，也就是說(shuō)，這個(gè)函數(shù)將一個(gè) T 類型的數(shù)據(jù)作為輸入，并把它轉(zhuǎn)換成一個(gè)不同類型的 U 類型數(shù)據(jù)。在 PySpark 中，這種函數(shù)通常被用于對(duì) RDD 進(jìn)行聚合或計(jì)算，例如 reduceByKey()、aggregateByKey() 等函數(shù)。

需要注意的是，在 Spark 中，函數(shù)類型通常是通過(guò) lambda 表達(dá)式或者普通函數(shù)進(jìn)行定義和傳遞。例如，可以使用如下的語(yǔ)法定義一個(gè) (T)->T 的 lambda 函數(shù)：

復(fù)制代碼

lambda x: x + 1 # 將輸入值加 1 并返回

或者定義一個(gè) (T)->U 的普通函數(shù)：

復(fù)制代碼

def my_func(x): return len(str(x)) # 返回輸入值的長(zhǎng)度

然后可以將這些函數(shù)作為參數(shù)傳遞給 Spark RDD 相關(guān)函數(shù)，例如：

復(fù)制代碼

rdd = sc.parallelize([1, 2, 3, 4, 5]) result = rdd.map(lambda x: x + 1)

在上述代碼中，我們定義了一個(gè)包含 5 個(gè)整數(shù)的 RDD，然后使用 map() 方法將 lambda 函數(shù)作為參數(shù)傳遞給它。map() 方法會(huì)將 RDD 中的每個(gè)元素傳遞給 lambda 函數(shù)進(jìn)行處理（即將輸入值加 1），并返回一個(gè)新的 RDD 包含處理后的結(jié)果。

20230423

從2022年7月份開(kāi)始看，到現(xiàn)在2023年4月23日看完。中間斷斷續(xù)續(xù)看了很久，像里面有些模塊，pycharets跳過(guò)去了，因?yàn)镻ython的第三方模塊是很多的，想要去哪方面發(fā)展，你就對(duì)哪方面深度學(xué)習(xí)。前面從開(kāi)始helloWord一直到py的包制作都是自己動(dòng)手實(shí)操了的，（其實(shí)到這里已經(jīng)是Python的基礎(chǔ)的基礎(chǔ)了，從這里我停了很久才看視頻，在這期間我自己動(dòng)手開(kāi)發(fā)了一個(gè)原神客戶端官B服切換的小程序〈項(xiàng)目地址：https://github.com/Ealsen/Genshin_launcher_toggle

〉，里面有很多不懂的部分都問(wèn)了ai，AI是一個(gè)好工具，但只是個(gè)工具)后面講了很多，我都是看了一遍，沒(méi)有實(shí)操，不過(guò)以后學(xué)算法應(yīng)該會(huì)接觸很多的。黑馬的曹老師講的很好，很清楚，比我在大一的Python老師講的好多了。B站不愧是嗶哩嗶哩大學(xué)！