說明：

1. Kernel版本：4.14

2. ARM64處理器，Contex-A53，雙核

3. 使用工具：Source Insight 3.5， Visio

1. 概述

中斷子系統(tǒng)中有一個重要的設計機制，那就是Top-half和Bottom-half，將緊急的工作放置在Top-half中來處理，而將耗時的工作放置在Bottom-half中來處理，這樣確保Top-half能盡快完成處理，那么為什么需要這么設計呢？看一張圖就明白了：

• ARM處理器在進行中斷處理時，處理器進行異常模式切換，此時會將中斷進行關閉，處理完成后再將中斷打開；

• 如果中斷不分上下半部處理，那么意味著只有等上一個中斷完成處理后才會打開中斷，下一個中斷才能得到響應。當某個中斷處理處理時間較長時，很有可能就會造成其他中斷丟失而無法響應，這個顯然是難以接受的，比如典型的時鐘中斷，作為系統(tǒng)的脈搏，它的響應就需要得到保障；

• 中斷分成上下半部處理可以提高中斷的響應能力，在上半部處理完成后便將中斷打開（通常上半部處理越快越好），這樣就可以響應其他中斷了，等到中斷退出的時候再進行下半部的處理；

• 中斷的Bottom-half機制，包括了softirq、tasklet、workqueue、以及前文中提到過的中斷線程化處理等，其中tasklet又是基于softirq來實現(xiàn)的，這也是本文討論的主題；

在中斷處理過程中，離不開各種上下文的討論，了解不同上下文的區(qū)分有助于中斷處理的理解，所以，還是來一張老圖吧：

• task_struct結構體中的thread_info.preempt_count用于記錄當前任務所處的context狀態(tài)；

• PREEMPT_BITS：用于記錄禁止搶占的次數(shù)，禁止搶占一次該值就加1，使能搶占該值就減1；

• SOFTIRQ_BITS：用于同步處理，關掉下半部的時候加1，打開下半部的時候減1；

• HARDIRQ_BITS：用于表示處于硬件中斷上下文中；

【文章福利】小編推薦自己的Linux內核技術交流群:【749907784】整理了一些個人覺得比較好的學習書籍、視頻資料共享在群文件里面，有需要的可以自行添加哦！?。。ê曨l教程、電子書、實戰(zhàn)項目及代碼)? ?

2. softirq

2.1 初始化

softirq不支持動態(tài)分配，Linux kernel提供了靜態(tài)分配，關鍵的結構體描述如下，可以類比硬件中斷來理解：

來一張圖吧：

• softirq_vec[]數(shù)組，類比硬件中斷描述符表irq_desc[]，通過軟中斷號可以找到對應的handler進行處理，比如圖中的tasklet_action就是一個實際的handler函數(shù)；

• 軟中斷可以在不同的CPU上并行運行，在同一個CPU上只能串行執(zhí)行；

• 每個CPU維護irq_cpustat_t狀態(tài)結構，當某個軟中斷需要進行處理時，會將該結構體中的__softirq_pending字段或上1UL << XXX_SOFTIRQ；

2.2 流程分析

2.2.1 軟中斷注冊

中斷處理流程中設備驅動通過request_irq/request_threaded_irq接口來注冊中斷處理函數(shù)，而在軟中斷處理流程中，通過open_softirq接口來注冊，由于它實在是太簡單了，我忍不住想把代碼貼上來：

也就是將軟中斷描述符表中對應描述符的handler函數(shù)指針指向對應的函數(shù)即可，以便軟中斷到來時進行回調。

那么，問題來了，什么時候進行軟中斷函數(shù)回調呢？

2.2.2 軟中斷執(zhí)行之一：中斷處理后

先看第一種情況，用圖片來回答問題：

• 深入分析Linux中斷子系統(tǒng)之通用框架處理文章中講述了整個中斷處理流程，在接收到中斷信號后，處理器進行異常模式切換，并跳轉到異常向量表處進行執(zhí)行，關鍵的流程為：el0_irq->irq_handler->handle_arch_irq(gic->handle_irq)->handle_domain_irq->__handle_domain_irq；

• 在__handle_domain_irq函數(shù)中，irq_enter和irq_exit分別用于來標識進入和離開硬件中斷上下文處理，這個從preempt_count_add/preempt_count_sub來操作HARDIRQ_OFFSET可以看出來，這也對應到了上文中的Context描述圖；

• 在離開硬件中斷上下文后，如果!in_interrupt() && local_softirq_pending為真，則進行軟中斷處理。這個條件有兩個含義：1）!in_interrupt()表明不能處在中斷上下文中，這個范圍包括in_nmi、in_irq、in_softirq（Bottom-half disable）、in_serving_softirq，凡是處于這幾種狀態(tài)下，軟中斷都不會被執(zhí)行；2）local_softirq_pending不為0，表明有軟中斷處理請求；

軟中斷執(zhí)行的入口就是invoke_softirq，繼續(xù)分析一波：

• invoke_softirq函數(shù)中，根據(jù)中斷處理是否線程化進行分類處理，如果中斷已經(jīng)進行了強制線程化處理（中斷強制線程化，需要在啟動的時候傳入?yún)?shù)threadirqs），那么直接通過wakeup_softirqd喚醒內核線程來執(zhí)行，否則的話則調用__do_softirq函數(shù)來處理；

• Linux內核會為每個CPU都創(chuàng)建一個內核線程ksoftirqd，通過smpboot_register_percpu_thread函數(shù)來完成，其中當內核線程運行時，在滿足條件的情況下會執(zhí)行run_ksoftirqd函數(shù)，如果此時有軟中斷處理請求，調用__do_softirq來進行處理；

上圖中的邏輯可以看出，最終的核心處理都放置在__do_softirq函數(shù)中完成：

• local_softirq_pending函數(shù)用于讀取__softirq_pending字段，可以類比于設備驅動中的狀態(tài)寄存器，用于判斷是否有軟中斷處理請求；

• 軟中斷處理時會關閉Bottom-half，處理完后再打開；

• 軟中斷處理時，會打開本地中斷，處理完后關閉本地中斷，這個地方對應到上文中提到的Top-half和Bottom-half機制，在Bottom-half處理的時候，是會將中斷打開的，因此也就能繼續(xù)響應其他中斷，這個也就意味著其他中斷也能來打斷當前的Bottom-half處理；

• while(softirq_bit = ffs(pending))，循環(huán)讀取狀態(tài)位，直到處理完每一個軟中斷請求；

• 跳出while循環(huán)之后，再一次判斷是否又有新的軟中斷請求到來（由于它可能被中斷打斷，也就意味著可能有新的請求到來），有新的請求到來，則有三個條件判斷，滿足的話跳轉到restart處執(zhí)行，否則調用wakeup_sotfirqd來喚醒內核線程來處理：

1. time_before(jiffies, MAX_SOFTIRQ_TIME)，軟中斷處理時間小于兩毫秒；

2. !need_resched，當前沒有進程調度的請求；

3. max_restart = MAX_SOFTIRQ_RESTART，跳轉到restart循環(huán)的次數(shù)不大于10次；這三個條件的判斷，是基于延遲和公平的考慮，既要保證軟中斷盡快處理，又不能讓軟中斷處理一直占據(jù)系統(tǒng)，正所謂trade-off的藝術；

__do_softirq既然可以在中斷處理過程中調用，也可以在ksoftirqd中調用，那么softirq的執(zhí)行可能有兩種context，插張圖吧：

讓我們來思考最后一個問題：硬件中斷觸發(fā)的時候是通過硬件設備的電信號，那么軟中斷的觸發(fā)是通過什么呢？答案是通過raise_softirq接口：

• 可以在中斷處理過程中調用raise_softirq來進行軟中斷處理請求，處理的實際也就是上文中提到過的irq_exit退出硬件中斷上下文之后再處理；

• raise_softirq_irqoff函數(shù)中，最終會調用到or_softirq_pending，該函數(shù)會去讀取本地CPU的irq_stat中__softirq_pending字段，然后將對應的軟中斷號給置位，表明有該軟中斷的處理請求；

• raise_softirq_irqoff函數(shù)中，會判斷當前的請求的上下文環(huán)境，如果不在中斷上下文中，就可以通過喚醒內核線程來處理，如果在中斷上下文中處理，那就不執(zhí)行；

• 多說一句，在軟中斷整個處理流程中，會經(jīng)?？吹?code>in_interrupt()的條件判斷，這個可以確保軟中斷在CPU上的串行執(zhí)行，避免嵌套；

2.2.3 軟中斷執(zhí)行之二：Bottom-half Enable后

第二種軟中斷執(zhí)行的時間點，在Bottom-half使能的時候，通常用于并發(fā)處理，進程空間上下文中進行調用：

• 在討論并發(fā)專題的時候，我們談到過Bottom-half與進程之間能產生資源爭奪的情況，如果在軟中斷和進程之間有臨界資源（軟中斷上下文優(yōu)先級高于進程上下文），那么可以在進程上下文中調用local_bh_disable/local_bh_enable來對臨界資源保護；

• 圖中左側的函數(shù)，都是用于打開Bottom-half的接口，可以看出是spin_lock_bh/read_lock_bh/write_lock_bh等并發(fā)處理接口的變種形式調用；

• __local_bh_enable_ip函數(shù)中，首先判斷調用該本接口時中斷是否是關閉的，如果已經(jīng)關閉了再操作BH接口就會告警；

• preempt_count_sub需要與preempt_count_add配套使用，用于操作thread_info->preempt_count字段，加與減的值是一致的，而在__local_bh_enable_ip接口中，將cnt值的減操作分成了兩步：preempt_count_sub(cnt-1)和preempt_count_dec，這么做的原因是執(zhí)行完preempt_count_sub(cnt-1)后，thread_info->preempt_count字段的值保留了1，把搶占給關閉了，當do_softirq執(zhí)行完畢后，再調用preempt_count_dec再減去剩下的1，進而打開搶占；

• 為什么在使能Bottom-half時要進行軟中斷處理呢？在并發(fā)處理時，可能已經(jīng)把Bottom-half進行關閉了，如果此時中斷來了后，軟中斷不會被處理，在進程上下文中打開Bottom-half時，這時候就會檢查是否有軟中斷處理請求了；

3. tasklet

從上文中分析可以看出，tasklet是軟中斷的一種類型，那么兩者有啥區(qū)別呢？先說結論吧：

• 軟中斷類型內核中都是靜態(tài)分配，不支持動態(tài)分配，而tasklet支持動態(tài)和靜態(tài)分配，也就是驅動程序中能比較方便的進行擴展；

• 軟中斷可以在多個CPU上并行運行，因此需要考慮可重入問題，而tasklet會綁定在某個CPU上運行，運行完后再解綁，不要求重入問題，當然它的性能也就會下降一些；

3.1 數(shù)據(jù)結構

• DEFINE_PER_CPU(struct tasklet_head, tasklet_vec)為每個CPU都分配了tasklet_head結構，該結構用來維護struct tasklet_struct鏈表，需要放到該CPU上運行的tasklet將會添加到該結構的鏈表中，內核中為每個CPU維護了兩個鏈表tasklet_vec和tasklet_vec_hi，對應兩個不同的優(yōu)先級，本文以tasklet_vec為例；

• struct tasklet_struct為tasklet的抽象，幾個關鍵字段如圖所示，通過next來鏈接成鏈表，通過state字段來標識不同的狀態(tài)以確保能在CPU上串行執(zhí)行，func函數(shù)指針在調用task_init()接口時進行初始化，并在最終觸發(fā)軟中斷時執(zhí)行；

3.2 流程分析

• tasklet本質上是一種軟中斷，所以它的調用流程與上文中討論的軟中斷流程是一致的；

• 調度tasklet運行的接口是tasklet_schedule，如果tasklet沒有被調度則進行調度處理，將該tasklet添加到CPU對應的鏈表中，然后調用raise_softirq_irqoff來觸發(fā)軟中斷執(zhí)行；

• 軟中斷執(zhí)行的處理函數(shù)是tasklet_action，這個在softirq_init函數(shù)中通過open_softirq函數(shù)進行注冊的；

• tasklet_action函數(shù)，首先將該CPU上tasklet_vec中的鏈表挪到臨時鏈表list中，然后再對這個list進行遍歷處理，如果滿足執(zhí)行條件則調用t->func()執(zhí)行，并continue跳轉遍歷下一個節(jié)點。如果不滿足執(zhí)行條件，則繼續(xù)將該tasklet添加回原來的tasklet_vec中，并再次觸發(fā)軟中斷；

3.3 接口

簡單貼一下接口吧：

原文作者：LoyenWang