一般的視頻會議系統包括MCU多點控制器(視頻會議服務器)、視頻會議終端(會議室型硬件終端、PC桌面型硬件終端、軟件視頻會議終端)、網關(Gateway)、Gatekeeper(網閘)等幾個部分。各種不同的終端都連入MCU進行集中交換，組成一個視頻會議網絡。
(1)多點處理單元(MCU)
多點處理單元(MCU)由多點控制器(MC)和多點處理器(MP)組成。
MC能提供支持多點會議的控制功能。在多點會議中，MC與每一會議終端進行能力交換，最終確定會議中的公共能力。MC還為會議選定通信模式，使會議中各個終端工作在選定的通信模式上。
MP可以處理視頻、音頻和數據碼流。MP對視頻碼流的處理有兩種方式：視頻切換和視頻復合。MP對音頻的處理主要是混合，它可以將M個通道的輸入經過處理后得到N個通道的輸出。在數據處理方面，MP主要處理的對象是T.120數據（目前只在軟件中有使用，硬件視頻會議主要采用雙硫協議實現數據交互）。
    MCU是視頻會議系統的核心部分，為用戶提供群組會議、多組會議的連接服務。目前主流廠商的MCU一般可以提供單機多達100個用戶以上的接入服務，并且可以進行級聯，可以基本滿足用戶的使用要求。MCU的使用和管理不應該太復雜，要使客戶方技術部甚至行政部的一般員工能夠操作。目前主流的MCU（如POLYCOM DST MCS4200系列MCU）操作界面非常人性化，全中文，使用非常方便，并符合中國企業和政府會議的需要。
(2)大中小型會議室硬件視頻會議終端產品
大中小型會議室硬件視頻會議終端產品是提供給用戶在會議室內使用的，視頻會議終端有的設備自帶攝像頭和遙控器（如POLYCOM VSX系列視頻會議終端），有的設備不帶攝像頭（如POLYCOM DST系列視頻會議終端出廠時不帶攝像頭，但這樣也增加了用戶選擇的余地，配置可以更加靈活），視頻會議終端可以通過電視機或者投影儀進行視頻顯示，用戶可以根據會場的大小選擇不同的設備及數量。一般視頻會議會議室設備帶SONY EVI-D100P/EVI-D70P或CANON的專用攝像頭，可以通過遙控方式前后左右轉動從而覆蓋參加會議的任何人和物。
(3)桌面型硬件視頻會議終端產品
桌面型硬件視頻會議終端一般集成顯示器和攝像機，直接在該桌面型硬件視頻會議終端上舉行視頻會議，常規情況下只能1-4人使用，以1人使用為好（主要是給企業領導在自己辦公室使用或政府領導在自己辦公室使用），該設備的典型是POLYCOM V500視頻會議終端設備。
    (4)軟件視頻會議終端
    直接在電腦安裝客戶端軟件就可以舉行視頻會議，一般配置費用比較低的PC攝像頭（USB攝像頭），和使用耳麥實現音頻采集和輸出，常規情況下只能一個人使用。
(5)網關(Gateway)
在基于IP網的視頻會議系統中，網關是跨接在兩個不同網絡之間的設備，把位于兩個不同網絡上的會議終端連接起來組成一組會議。網關有三大主要功能：
    ①通信格式的轉換，例如，IP網上的會議終端要和電路交換網上的會議終端實現互訪，就需通過網關來完成H.225.0碼流和H.221碼流之間的互譯；
    ②視頻、音頻和數據信息編碼格式之間的互譯，以完成表示層之間的相互通信；
    ③通信協議和通信規程的互譯，以完成應用層的通信。
    目前，用戶直接通過電話或手機在移動的情況下加入視頻會議，這點對國內許多領導和出差多的人尤其重要。可以說電話接入網關(PSTN Gateway)今后將成為視頻會議不可或缺的功能。
    (6)Gatekeeper(網閘)
    與電路交換網絡上的會議系統不同，基于IP網的視頻會議系統，面向的是分組交換的質量不能保證的IP網，從而導致了網閘這一特殊角色的出現。網閘是一個可選的角色，但基于IP網的實際視頻會議系統，如果沒有網閘，則難以很好地工作。
網閘有以下三個主要的功能：
①用戶別名和運輸層地址的翻譯。在實際應用中，用戶很難記住對方會議終端的網絡地址(運輸層地址)，而比較容易記住用戶的別名。在此情況下，網閘的作用就十分明顯了。
②用戶進入會場許可的管理和控制。網閘對每一個要進入會場的用戶進行檢察和論證，以確定用戶的合法性。
③網絡帶寬的管理和控制。通過對帶寬的控制能根據網絡實際情況來控制用戶數或者用戶的使用帶寬，以此保證會議有一個基本的質量。
RAS信道，就是為了網閘工作而在H.323中專門設計的一個信道。