高端電商網站建設架構分析
2019.04.19
電商行業(yè)技術特點；
①技術新：(NoSql推廣首在社區(qū)網站和電商項目)，發(fā)展快，需求推動技術的革新。
②技術范圍廣：除了java，像淘寶前端還使用了PHP，數據庫MySQL或者oracle，nosql，服務器端使用Linux，服務器安全、系統(tǒng)安全
③分布式：以前是在一臺機器上做運算，現在是分散到很多機器上，最后匯總起來。(集中式向分布式進行考慮)由需求來推動
④高并發(fā)、集群、負載均衡、高可用：由并發(fā)問題采用集群進行處理，其中，集群會涉及服務器的主從以及分布問題，使用負載均衡。(權重高低)高可用是對用戶而言，用戶的服務不中斷(系統(tǒng)升級，服務不中斷，淘寶每周更新2次)。
⑤海量數據：雙11,570億的背后，訂單有多少？瀏覽次數有多少？商品會有多少？活動相關數據？
⑥業(yè)務復雜：不要簡單的認為是：商品展示出來后，加入購物車后購買就完成了。后臺特別復雜，比如優(yōu)惠(包郵、滿減)
⑦系統(tǒng)安全：系統(tǒng)上線必須通過系統(tǒng)安全部門審核通過。前年CSDN數據泄露。快捷酒店數據泄露(通過身份證就可以查看你的開房記錄)。近幾年，安全意識逐步在提高。
電商網站需求；
客戶需求：
建立一個全品類的電子商務網站（B2C），用戶可以在線購買商品，可以在線支付，也可以貨到付款；
用戶購買時可以在線與客服溝通；
用戶收到商品后，可以給商品打分，評價；
目前有成熟的進銷存系統(tǒng)；需要與網站對接；
希望能夠支持3~5年，業(yè)務的發(fā)展；
預計3~5年用戶數達到1000萬；
定期舉辦雙11，雙12,三八男人節(jié)等活動；
其他的功能參考京東或國美在線等網站。
客戶就是客戶，不會告訴你具體要什么，只會告訴你他想要什么，我們很多時候要引導，挖掘客戶的需求。好在提供了明確的參考網站。因此，下一步要進行大量的分析，結合行業(yè)，以及參考網站，給客戶提供方案。
需求功能矩陣
需求管理傳統(tǒng)的做法，會使用用例圖或模塊圖（需求列表）進行需求的描述。這樣做常常忽視掉一個很重要的需求（非功能需求），因此推薦大家使用需求功能矩陣，進行需求描述。
圖片存儲的要求（海量小圖片）用戶可以在線購買商品會員管理，購物車，結算功能良好購物體驗（可用性，性能）在線支付或貨到付款多種在線支付方式支付過程要安全，數據加密（安全性）多種支付接口靈活切換（靈活性，擴展性）可以在線與客服溝通在線客服功能可靠性：即時通訊商品打分評價商品評論 目前有成熟的進銷存系統(tǒng)對接進銷存屬于約束條件對接時要考慮數據一致性，魯棒性支持3~5年，業(yè)務的發(fā)展 屬于約束條件伸縮性，可擴展性3~5年用戶數達到1000萬 約束條件舉辦雙11，雙12,三八男人節(jié)等活動活動管理，秒殺突增訪問流量（可伸縮）實時性要求（高性能）參考京東或國美在線 參考條件
以上是對電商網站需求的簡單舉例，目的是說明（1）需求分析的時候，要全面，大型分布式系統(tǒng)重點考慮非功能需求；（2）描述一個簡單的電商需求場景，使大家對下一步的分析設計有個依據。
、網站初級架構
一般網站，剛開始的做法，是三臺服務器，一臺部署應用，一臺部署數據庫，一臺部署NFS文件系統(tǒng)。
這是前幾年比較傳統(tǒng)的做法，之前見到一個網站10萬多會員，垂直服裝設計門戶，N多圖片。使用了一臺服務器部署了應用，數據庫以及圖片存儲。出現了很多性能問題。
如下圖：
但是，目前主流的網站架構已經發(fā)生了翻天覆地的變化。一般都會采用集群的方式，進行高可用設計。至少是下面這個樣子。
（1） 使用集群對應用服務器進行冗余，實現高可用；（負載均衡設備可與應用一塊部署）
使用數據庫主備模式，實現數據備份和高可用；
、系統(tǒng)容量預估
預估步驟：
注冊用戶數-日均UV量-每日的PV量-每天的并發(fā)量；
峰值預估：平常量的2~3倍；
根據并發(fā)量（并發(fā)，事務數），存儲容量計算系統(tǒng)容量。
客戶需求：3~5年用戶數達到1000萬注冊用戶；
每秒并發(fā)數預估：
每天的UV為200萬（二八原則）；
每日每天點擊瀏覽30次；
PV量：200*30=6000萬；
集中訪問量：24*0.2=4.8小時會有6000萬*0.8=4800萬（二八原則）；
每分并發(fā)量：4.8*60=288分鐘，每分鐘訪問4800/288=16.7萬（約等于）；
每秒并發(fā)量：16.7萬/60=2780（約等于）；
假設：高峰期為平常值的三倍，則每秒的并發(fā)數可以達到8340次。
1毫秒=1.3次訪問；
沒好好學數學后悔了吧？?。ú恢酪陨纤闶欠裼绣e誤，呵呵~~）
服務器預估：（以tomcat服務器舉例）
按一臺web服務器，支持每秒300個并發(fā)計算。平常需要10臺服務器（約等于）；[tomcat默認配置是150]
高峰期：需要30臺服務器；
容量預估：70/90原則
系統(tǒng)CPU一般維持在70%左右的水平，高峰期達到90%的水平，是不浪費資源，并比較穩(wěn)定的。內存，IO類似。
以上預估僅供參考，因為服務器配置，業(yè)務邏輯復雜度等都有影響。在此CPU，硬盤，網絡等不再進行評估。
、網站架構分析
根據以上預估，有幾個問題：
需要部署大量的服務器，高峰期計算，可能要部署30臺Web服務器。并且這三十臺服務器，只有秒殺，活動時才會用到，存在大量的浪費。
所有的應用部署在同一臺服務器，應用之間耦合嚴重。需要進行垂直切分和水平切分。
大量應用存在冗余代碼
服務器SESSION同步耗費大量內存和網絡帶寬
數據需要頻繁訪問數據庫，數據庫訪問壓力巨大。
大型網站一般需要做以下架構優(yōu)化（優(yōu)化是架構設計時，就要考慮的，一般從架構/代碼級別解決，調優(yōu)主要是簡單參數的調整，比如JVM調優(yōu)；如果調優(yōu)涉及大量代碼改造，就不是調優(yōu)了，屬于重構）：
業(yè)務拆分
應用集群部署（分布式部署，集群部署和負載均衡）
多級緩存
單點登錄（分布式Session）
數據庫集群（讀寫分離，分庫分表）
服務化
消息隊列
其他技術
、網站架構優(yōu)化
1業(yè)務拆分
根據業(yè)務屬性進行垂直切分，劃分為產品子系統(tǒng)，購物子系統(tǒng)，支付子系統(tǒng)，評論子系統(tǒng)，客服子系統(tǒng)，接口子系統(tǒng)（對接如進銷存，短信等外部系統(tǒng)）。
根據業(yè)務子系統(tǒng)進行等級定義，可分為核心系統(tǒng)和非核心系統(tǒng)。核心系統(tǒng)：產品子系統(tǒng)，購物子系統(tǒng)，支付子系統(tǒng)；非核心：評論子系統(tǒng)，客服子系統(tǒng)，接口子系統(tǒng)。
業(yè)務拆分作用：提升為子系統(tǒng)可由專門的團隊和部門負責，專業(yè)的人做專業(yè)的事，解決模塊之間耦合以及擴展性問題；每個子系統(tǒng)單獨部署，避免集中部署導致一個應用掛了，全部應用不可用的問題。
等級定義作用：用于流量突發(fā)時，對關鍵應用進行保護，實現優(yōu)雅降級；保護關鍵應用不受到影響。
2應用集群部署（分布式，集群，負載均衡）
分布式部署：將業(yè)務拆分后的應用單獨部署，應用直接通過RPC進行遠程通信；
集群部署：電商網站的高可用要求，每個應用至少部署兩臺服務器進行集群部署；
負載均衡：是高可用系統(tǒng)必須的，一般應用通過負載均衡實現高可用，分布式服務通過內置的負載均衡實現高可用，關系型數據庫通過主備方式實現高可用。
3 多級緩存
緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級緩存的方式，進行緩存的設計。一級緩存為本地緩存，二級緩存為分布式緩存。（還有頁面緩存，片段緩存等，那是更細粒度的劃分）
一級緩存，緩存數據字典，和常用熱點數據等基本不可變/有規(guī)則變化的信息，二級緩存緩存需要的所有緩存。當一級緩存過期或不可用時，訪問二級緩存的數據。如果二級緩存也沒有，則訪問數據庫。
緩存的比例，一般1:4，即可考慮使用緩存。（理論上是1:2即可）。
4，單點登錄（分布式Session）
系統(tǒng)分割為多個子系統(tǒng)，獨立部署后，不可避免的會遇到會話管理的問題。一般可采用Session同步，Cookies，分布式Session方式。電商網站一般采用分布式Session實現。
再進一步可以根據分布式Session，建立完善的單點登錄或賬戶管理系統(tǒng)。
流程說明
用戶第一次登錄時，將會話信息（用戶Id和用戶信息），比如以用戶Id為Key，寫入分布式Session；
用戶再次登錄時，獲取分布式Session，是否有會話信息，如果沒有則調到登錄頁；
一般采用Cache中間件實現，建議使用Redis，因此它有持久化功能，方便分布式Session宕機后，可以從持久化存儲中加載會話信息；
存入會話時，可以設置會話保持的時間，比如15分鐘，超過后自動超時；
結合Cache中間件，實現的分布式Session，可以很好的模擬Session會話。
數據庫集群（讀寫分離，分庫分表）
大型網站需要存儲海量的數據，為達到海量數據存儲，高可用，高性能一般采用冗余的方式進行系統(tǒng)設計。一般有兩種方式讀寫分離和分庫分表。
讀寫分離：一般解決讀比例遠大于寫比例的場景，可采用一主一備，一主多備或多主多備方式。
本案例在業(yè)務拆分的基礎上，結合分庫分表和讀寫分離
業(yè)務拆分后：每個子系統(tǒng)需要單獨的庫；
如果單獨的庫太大，可以根據業(yè)務特性，進行再次分庫，比如商品分類庫，產品庫；
分庫后，如果表中有數據量很大的，則進行分表，一般可以按照Id，時間等進行分表；（高級的用法是一致性Hash）
在分庫，分表的基礎上，進行讀寫分離；
相關中間件可參考Cobar（阿里，目前已不在維護），TDDL（阿里），Atlas（奇虎360），MyCat（在Cobar基礎上，國內很多牛人，號稱國內第一開源項目）。
電商網站后臺功能模塊分析；
后臺：各類主要信息的概要統(tǒng)計，包括客戶信息、 訂單信息、商品信息、庫存信息、評論和最近反饋等。
商品模塊：
1.商品管理：商品和商品包的添加、修改、 刪除、復制、批處理、商品計劃上下架、SEO、商品多媒體上傳等，可以定義商品是實體還是虛擬，可以定義是否預訂、是否缺貨銷售等。
2.商品目錄管理：樹形的商品目錄組織管理，并可以設置關聯/商品推薦。
3.商品類型管理：定義商品的類型，設置自定義屬性項、SKU項和商品評論項。
4.品牌管理：添加、修改、刪除、上傳品牌 LOGO。
5.商品評論管理：回復、刪除。
銷售模塊：
1.促銷管理：分為目錄促銷、購物車促銷和 優(yōu)惠券促銷三類，可以隨意定義不同的促銷規(guī)則，滿足日常促銷活動：購物折扣、購物贈送積分、購物贈送優(yōu)惠券、購物免運輸費、特價商品、特定會員購買特定商品、折上折、買二送一等。 2.禮券管理：添加、發(fā)送禮券
3.關聯/推薦管理――基于規(guī)則引擎，可以支持多種推薦類型，可手工添加或者自動評估商品。
訂單模塊：
1.訂單管理：可以編輯、解鎖、取消訂單、 拆分訂單、添加商品、移除商品、確認可備貨等，也可對因促銷規(guī)則發(fā)生變化引起的價格變化進行調整。訂單處理完可發(fā)起退貨、換貨流程。
2.支付：常用于訂單支付信息的查看和手工 支付兩種功能。手工支付訂單，常用于“款到發(fā)貨”類型的訂單，可理解為對款到發(fā)貨這類訂單的一種補登行為。
3.結算：提供商家與第三方物流公司的結算 功能，通常是月結。同時，結算功能也是常用來對“貨到付款”這一類型訂單支付后的數據進行對帳
庫存模塊：
1.庫存管理：引入庫存的概念，不包括銷售 規(guī)則為永遠可售的商品，一個SKU對應一個庫存量。庫存管理提供增加、減少等調整庫存量的功能;另外，也可對具具體的SKU設置商品的保留數量、***小庫存量、再進貨數量。每條SKU商品的具體庫存操作都會記錄在庫存明細記錄里邊。
2.查看庫存明細記錄。
3.備貨/發(fā)貨：創(chuàng)建備貨單、打印備貨單、打印發(fā)貨單、打印EMS快遞單、完成發(fā)貨等一系列物流配送的操作。
4.退/換貨：對退/換貨的訂單進行收貨流程的處理。
內容模塊：
1.內容管理：包括內容管理以及內容目錄管理。內容目錄由樹形結構組織管理。類似于商品目錄的樹形結構，可設置目錄是否為鏈接目錄。
2.無限制創(chuàng)建獨立內容網頁，比如關于我們，聯系我們。
3.廣告管理：添加、修改、刪除、上傳廣告、 定義廣告有效時限。
4.可自由設置商城導航欄目以及欄目內容、欄目鏈接。
客戶模塊：
1.客戶管理：添加、刪除、修改、重設密碼、 發(fā)送郵件等。 2.反饋管理：刪除、回復。
3.消息訂閱管理：添加、刪除、修改消息組 和消息、分配消息組、查看訂閱人。 4.會員資格：添加、刪除、修改。
系統(tǒng)模塊：
1.安全管理：管理員、角色權限分配和安全日志
2.系統(tǒng)屬性管理：用于管理自定義屬性?？申P聯模塊包括商品管理、商品目錄管理、內容管理、客戶管理。
3.運輸與區(qū)域：運輸公司、運輸方式、運輸 地區(qū)。 4.支付管理：支付方式、支付歷史。 5.包裝管理：添加、修改、刪除。
6.數據導入管理：商品目錄導入、商品導入、 會員資料導入。 7.郵件隊列管理：監(jiān)控郵件發(fā)送情況，刪除 發(fā)送異常郵件。
報表模塊：
缺省數個統(tǒng)計報表，支持時間段過濾、支持按不同狀態(tài)過濾、支持HTML、PDF和Excel格式的導出和打印。 1.用戶注冊統(tǒng)計 2.低庫存匯總 3.缺貨訂單 4.訂單匯總 5.退換貨
400-7808-893 / 010-64913142
我想要個更針對我需求的方案
也許您需要專業(yè)的服務，歡迎來電咨詢
您的需求，是我們前進最大的動力
關于我們
北京分形科技有限公司成立于2003年，是一家以AI為核心驅動力，提供網絡品牌策劃、AI互聯網服務、WEB3服務、AI人工智能解決方案的綜合服務商
我們一直秉承的經營理念：責任、熱情、品質、包容
主要業(yè)務范圍：AI互聯網服務（網站建設,網站群,短視頻社交平臺,APP,小程序）AI人工智能行業(yè)解決方案（智慧博物館,智慧公園,智慧景區(qū),智慧社區(qū),智慧醫(yī)療,智慧校園,）IoT智能物聯產品（智能步道,AR太極,AI健身,AI導覽,AI單車,智慧樹）WEB3（區(qū)塊鏈,元宇宙,NFT數字藏品）