服務器的概念幾乎與網絡本身一樣古老。畢竟，網絡的意義在于允許一臺計算機與另一臺計算機通信并分配工作或資源。從那時起，計算已經發展，產生了幾種類型的服務器結構和硬件。

大型機或小型機 (AS/400)

可以說，最初的服務器、大型機，以及后來的小型機，幾乎處理了所有的計算任務，除了通過屏幕和鍵盤與用戶進行交互，這些任務都留給了客戶端系統。

計算機硬件服務器

下一個主要的服務器浪潮包括基于計算機的服務器。在許多方面，這些服務器只不過是更大、更強大的臺式計算機。這種服務器通常比大多數客戶端計算機更昂貴，并且擁有更多的內存和磁盤空間。每臺服務器仍然是一個獨立的單元，有自己的主板、處理器、內存、磁盤驅動器和電源。像這樣的服務器通常存放在稱為服務器機房的空調房中，后來被固定在機架上，以便更好地存儲和訪問。

刀片服務器

最初的計算機服務器硬件很大，存放在可以容納數百磅的機架中。然而，隨著時間的推移，更快的硬件連接方式導致部分服務器從單個獨立設備中提取出來。通過移除硬盤驅動器、消除內部冷卻以及計算部件的持續小型化，服務器最終被簡化為稱為刀片服務器的單個瘦服務器。雖然仍然存儲在服務器機房的機架中，但刀片服務器更小，更容易更換。

合并服務器

甚至在虛擬化之前，服務器就是從安裝在硬件機器上的單一服務器操作系統的標準模型中提取出來的。諸如網絡附加存儲之類的技術消除了服務器擁有自己的存儲的需要。其他技術，如鏡像和集群，使硬件能夠組合成更大、更強大的服務器。這樣的服務器可能由幾個刀片、幾個附加的存儲設備和一個外部電源組成，并且每個部件都可以在服務器仍在運行時更換為另一個。

虛擬服務器

虛擬服務器仍然需要硬件，但該硬件現在運行一個不同的進程，稱為管理程序。在某些情況下，例如 Microsoft 的 Hyper-V，完整的操作系統會繼續在硬件本身上運行。在其他情況下，可以將所謂的裸機管理程序直接安裝到服務器硬件上。在這兩種情況下，硬件本身通常分布在刀片服務器、網絡存儲和電源陣列中，從而導致無法判斷單個服務器在哪里結束而另一個服務器從哪里開始的環境。