เจาะลึก · การประมวลผลและพื้นที่เก็บข้อมูล

ตู้เซิร์ฟเวอร์

กล่องสามเครื่องทำงานคิดทั้งหมด และไม่มีเครื่องไหนเสียงดัง เครื่อง Intel สองจีพียูคือเซิร์ฟเวอร์ประมวลผล มินิพีซี Strix Halo คือเครื่อง AI ที่มีโมเดล 3 หมื่นล้านพารามิเตอร์ค้างอยู่ตลอด 24 ชั่วโมง และเซิร์ฟเวอร์ Unraid 16 ช่องคือพื้นที่เก็บข้อมูล ชุดสื่อ บ้านของการมอนิเตอร์ และ — ตอนนี้ — เครื่องที่โฮสต์เครื่องเสมือนของบ้านเอง รวมกันแล้ว: 52 คอร์ RAM 384 GB แขกไฮเปอร์ไวเซอร์กว่าหนึ่งโหลบนสามเครื่อง Docker host สี่เครื่อง และดิสก์ดิบราว 335 TB

ตู้ในตัวเลข

3
เซิร์ฟเวอร์จริง
บวกเราเตอร์ไร้พัดลม
52 / 76
คอร์ / เธรด
Intel, Intel และ AMD
384 GB
RAM
192 + 64 + 128
~335 TB
ดิสก์ดิบ
ใช้งานได้ 231 TB บนอาร์เรย์หลัก
13
VM และ LXC ที่ทำงานอยู่
บนไฮเปอร์ไวเซอร์สามเครื่อง
~100
คอนเทนเนอร์
58 + 20 + 16 + 8 บน Docker host สี่เครื่อง

กล่องที่หนึ่ง — เซิร์ฟเวอร์ประมวลผล

Proxmox VE 9 บน Intel สร้างขึ้นรอบจีพียูสองใบ นี่คือที่ที่งานหนักเกิดขึ้น: AI กล้อง machine learning ของรูปภาพ ตัวสร้างซับไตเติล และการทดลองต่าง ๆ ล้วนรันบนการ์ดคู่ที่ส่งผ่านให้เครื่องเสมือนเครื่องเดียว

Proxmox host

สเปก Intel สองจีพียู · เซิร์ฟเวอร์ GPU โฮสต์แกนเครือข่าย และ DNS
  • โปรเซสเซอร์Intel Core Ultra 9 285K24 คอร์ / 24 เธรด, Arrow Lake
  • หน่วยความจำ192 GB DDR5
  • GPUNVIDIA RTX A5000 + RTX 309024 GB ต่อใบ ส่งผ่านทั้งตัวให้ VM เซิร์ฟเวอร์ GPU ทั้งคู่ โมเดลภาษาสองตระกูลจึงค้างอยู่พร้อมกัน
  • พื้นที่เก็บข้อมูลNVMe ราว 2 TBพูล LVM-thin สำหรับดิสก์ของ VM บวกรูทของโฮสต์ ข้อมูลจำนวนมากอยู่บน NAS
  • เมนบอร์ดASUS ProArt Z890-Creator WiFi
  • เครือข่าย2.5 GbE แบบเดินสาย

แขกตัวเด่นคือเซิร์ฟเวอร์ GPU (20 vCPU, 152 GB) ที่ครอบครองการ์ดทั้งสองใบ: AI กล้องพร้อมการจดจำใบหน้า machine learning ของรูปภาพ mlsubgen ตัวสร้างซับไตเติลโอเพนซอร์สของเรา งานตามกำหนดเวลาของบ้าน และชุดทดลองแก้โค้ดด้วยสองโมเดลที่ให้โมเดลภาษาหนึ่งตระกูลค้างอยู่บนการ์ดแต่ละใบ ข้าง ๆ กันมี Docker host เล็ก ๆ สำหรับแกนเครือข่าย — ตัวควบคุมสวิตช์ ตัวจัดการคอนเทนเนอร์ และบริดจ์มอนิเตอร์ (10 vCPU) — และ Pi-hole ตัวหลัก บริการของบ้านเคยรันที่นี่ แต่ได้ย้ายไปเซิร์ฟเวอร์เก็บข้อมูลแล้ว ทำให้เครื่องนี้ว่างไว้ประมวลผลอย่างเดียว

กล่องที่สอง — เครื่อง AI

Proxmox host เครื่องที่สองบน Minisforum N5 MAX นี่คือชุดอ้างอิงของผลิตภัณฑ์บนเว็บไซต์นี้: GPU หน่วยความจำรวมถูกส่งผ่านตรงไปยัง VM CachyOS และระบบเสียงทั้งหมดอยู่ในหน่วยความจำถาวร

Minisforum N5 MAX

AMD Strix Halo · เครื่องเสมือนห้าตัว รวมถึง Unraid ตัวที่สอง
  • โปรเซสเซอร์AMD Ryzen AI Max+ 39516 คอร์ / 32 เธรด, Zen 5
  • หน่วยความจำLPDDR5X แบบรวม 64 GBบัดกรีติดบอร์ด ทำงานที่ 8533 MT/s — ราว 273 GB/s โดย GPU เข้าถึงได้ 41 GB
  • GPUAMD Radeon 8060Sกราฟิกในตัว RDNA 3.5 ส่งผ่านทั้งตัว รันโมเดลภาษาผ่าน Vulkan และเสียงไทยผ่าน ROCm
  • พื้นที่เก็บข้อมูลKingston NVMe 2 TB (PCIe 4.0 ×4)สำหรับดิสก์ของ VM บวกไดรฟ์ระบบ 128 GB
  • ช่องใส่ไดรฟ์ไดรฟ์ 20 TB สามลูก ในตัวเครื่องห้าช่องตัวควบคุม SATA ถูกส่งผ่านให้ VM Unraid ด้านล่าง

VM ของเครื่อง AI ได้ 16 คอร์และ 40 GB และเก็บราว 25 GB ไว้ในหน่วยความจำ: Typhoon 2.5 — โมเดล mixture-of-experts ขนาด 30B ที่เน้นภาษาไทยเป็นหลักของ SCB 10X — ระบบรู้จำเสียง Qwen3-ASR และเสียงตอบกลับ รวมถึงเสียงไทยที่เราโคลนเอง บริบทของไมโครโฟนแต่ละห้องถูกอุ่นใหม่ทุกสิบห้านาที คำแรกของคำตอบจึงไม่ต้องจ่ายสองครั้ง คอนเทนเนอร์สิบหกตัวรันข้างโมเดล: ตัวกระจายที่เขียนเองสามตัวที่ทำให้ไปป์ไลน์เดียวพูดได้สามภาษา เซิร์ฟเวอร์รูปภาพ สื่อ และไฟล์ของบ้านเดโม และเอเจนต์มอนิเตอร์

ข้าง ๆ กันคือ Unraid ตัวที่สองที่มีไลเซนส์เต็มในรูปแบบ VM — ดีไซน์ AI NAS ที่พิสูจน์บนฮาร์ดแวร์จริง ไดรฟ์ 20 TB สามลูก เป็นข้อมูลสองลูกหลัง parity หนึ่งลูก (ใช้งานได้ 40 TB) ให้บริการชุดเดโมผ่าน NFS — บวก Home Assistant สำหรับเดโม เซิร์ฟเวอร์สำรองข้อมูลขนาดเล็กที่ดึงประวัติเครื่องของบ้านออกนอกสถานที่ และ Pi-hole ตัวที่สอง

กล่องที่สาม — เซิร์ฟเวอร์เก็บข้อมูล

Unraid Pro 7.3.3 บน Intel มันคือพื้นที่เก็บข้อมูลหลักของทั้งบ้าน แต่ยังกลายเป็น Docker host ที่งานยุ่งที่สุด บ้านของชุดมอนิเตอร์ reverse proxy สาธารณะ เซิร์ฟเวอร์สำรองข้อมูล และ — ตั้งแต่เซิร์ฟเวอร์ประมวลผลถูกปล่อยให้ทำงาน GPU — เครื่องที่โฮสต์เครื่องเสมือนของบ้านเอง

เซิร์ฟเวอร์ Unraid

อาร์เรย์ 16 ช่อง · 58 คอนเทนเนอร์ · เครื่องเสมือนของบ้าน
  • โปรเซสเซอร์Intel Core i7-1270012 คอร์ / 20 เธรด, Alder Lake
  • หน่วยความจำ128 GB DDR4
  • กราฟิกIntel UHD 770แปลงไฟล์ด้วยฮาร์ดแวร์สำหรับ Plex และสำหรับ Jellyfin ในฐานะเซิร์ฟเวอร์สำรอง
  • อาร์เรย์16 ไดรฟ์ — ใช้งานได้ 231 TBparity คู่ 20 TB หน้าไดรฟ์ข้อมูล 14 ลูกขนาด 8–20 TB รวมดิบราว 271 TB
  • แคชSamsung 990 Pro NVMe 1 TBเก็บข้อมูลแอปและวิดีโอจากกล้อง การเขียนซ้ำ ๆ จึงไม่แตะอาร์เรย์
  • เมนบอร์ดASRock Z790 PG Lightning
  • เครือข่าย2.5 GbE แบบเดินสาย

สื่อ รูปภาพ เอกสาร ข้อมูลสำรอง และคลังเกมย้อนยุคอยู่บนอาร์เรย์ แชร์ผ่าน NFS และ SMB ไปยังทุกเครื่องในบ้าน คอนเทนเนอร์ 58 ตัวที่นี่คือเซิร์ฟเวอร์สื่อ — Plex และ Jellyfin บนคลังเดียวกัน — พร้อมชุดดาวน์โหลดและระบบรับคำขอ คลังรูปภาพและเอกสารของครอบครัว reverse proxy สาธารณะที่อยู่หน้าเว็บไซต์ และ Prometheus กับ Grafana สำหรับทั้งระบบ ภายใต้ไฮเปอร์ไวเซอร์ของ Unraid เองยังรันเครื่องเสมือนของบ้าน — สมองของสมาร์ตโฮม เกมเซิร์ฟเวอร์ ระบบเฝ้าระวังความปลอดภัย และเซิร์ฟเวอร์เกมกระดาน — และ Proxmox Backup Server ที่มีที่เก็บข้อมูลอยู่บนอาร์เรย์ ว่ามันเก็บอะไรและส่งไปไหน อยู่ในหน้าการสำรองข้อมูล ไดรฟ์ใหม่ล่าสุดคือ 20 TB ที่เพิ่งแทนลูก 8 TB ที่เก่าที่สุด — เป็นการ rebuild ไม่ใช่การกู้คืน ซึ่งคือประโยชน์ของ parity

อะไรรันที่ไหน

เครื่องเสมือนโฮสต์ขนาดหน้าที่
เซิร์ฟเวอร์ GPUประมวลผล (pve)20 vCPU · 152 GB · A5000 + 3090Frigate พร้อมการจดจำใบหน้า Immich ML งานตามกำหนดเวลา mlsubgen และชุดถกเถียง
แกนเครือข่ายประมวลผล (pve)10 vCPUตัวควบคุมสวิตช์ ตัวจัดการคอนเทนเนอร์ Arcane และบริดจ์มอนิเตอร์
Pi-holeประมวลผล (pve)LXCตัวกรอง DNS หลัก
Home Assistant OSที่เก็บข้อมูล (Unraid)VMมันสมองของสมาร์ทโฮม — ราว 1,285 เอนทิตี, Zigbee, Thread, Music Assistant
เกมเซิร์ฟเวอร์ที่เก็บข้อมูล (Unraid)VMAMP: Minecraft Bedrock, Valheim, Terraria, Wreckfest 2, Windrose
Wazuhที่เก็บข้อมูล (Unraid)VMSIEM พร้อมเอเจนต์ที่ลงทะเบียนทั่วทั้งระบบ
Foundry VTTที่เก็บข้อมูล (Unraid)VMเซิร์ฟเวอร์เกมกระดาน
Proxmox Backup Serverที่เก็บข้อมูล (Unraid)VMที่เก็บข้อมูลสำรองของ VM สำหรับทุกไฮเปอร์ไวเซอร์ — ดูการสำรองข้อมูล
มีเดียและบริการที่เก็บข้อมูล (Unraid)58 คอนเทนเนอร์Plex, Jellyfin, รูปภาพ, เอกสาร, reverse proxy และชุดมอนิเตอร์
เครื่อง AIN5 MAX16 vCPU · 40 GB · 8060Sชุดเสียงสามภาษาและชุดเดโม — 16 คอนเทนเนอร์ # -- setup.html --
Unraid (AI NAS)N5 MAX3 × 20 TBชุดอ้างอิงของ AI NAS ให้บริการชุดเดโม
Home Assistant สำหรับเดโมN5 MAXVMบ้านตัวอย่างที่ลูกค้าเห็น
เซิร์ฟเวอร์สำรองข้อมูลN5 MAXVMตัวดึงข้อมูลออกนอกสถานที่ — ดูการสำรองข้อมูล
Pi-holeN5 MAXLXCตัวกรอง DNS ตัวที่สอง

ขนาดคือทรัพยากรที่จัดสรรให้แต่ละเครื่อง ไม่ใช่ที่ใช้จริง ไฮเปอร์ไวเซอร์เหลือพื้นที่ว่างเผื่อไว้สบาย ๆ

พื้นที่เก็บข้อมูล

ทั้งหมดนี้สำรองข้อมูลอย่างไร — ทุกเครื่องเสมือนทุกคืน ทุกคอนเทนเนอร์ทุกวันจากสแนปช็อต ประวัติเครื่องดึงออกนอกสถานที่ไปยัง Cloudflare R2 ไฟล์เก็บและรูปภาพมิเรอร์ไปยัง Dropbox และทั้งหมดตรวจสอบโดยการอ่านกลับ — มีหน้าของมันเอง

ตัวดิสก์เองก็ถูกเฝ้าดู: อุณหภูมิของดิสก์แต่ละลูกป้อนเข้า Home Assistant และบ้านระบายความร้อนให้ดิสก์ของตัวเองด้วยแอร์ห้องนั่งเล่นเมื่อหน้าร้อนทำให้มันร้อนเกินไป บริการที่อยู่บนพื้นที่เก็บข้อมูลในเครือข่ายมีด่านไฟล์เครื่องหมาย หลังรีบูตจึงรอ NAS แทนที่จะเริ่มบนโฟลเดอร์ว่าง — ตัวเฝ้าการเมานต์มีคู่มือแยกต่างหาก

การมอนิเตอร์

Prometheus เก็บค่าจากเป้าหมายกว่ายี่สิบแห่งทั่วทุกโฮสต์และ VM — เมตริกของเครื่อง GPU คอนเทนเนอร์ API ของไฮเปอร์ไวเซอร์เอง ไฟร์วอลล์ และ NAS — และแดชบอร์ด Grafana หน้าเดียวแสดงสุขภาพของทั้งระบบในแวบเดียว เส้นทางแจ้งเตือนผ่าน Telegram แบบกำหนดแน่นอนจะทำงานเมื่อเกิดเงื่อนไขที่สำคัญจริง และเครื่อง AI ยังเก็บบันทึกการบินรายนาทีของการใช้หน่วยความจำและ GPU ซึ่งจับการรั่วช้า ๆ ได้มากกว่าหนึ่งครั้งก่อนจะกลายเป็นระบบล่ม งานดูแลก็อัตโนมัติ: ทุกโฮสต์หมุนเวียนล็อกของตัวเองด้วยตัวจับเวลารายสัปดาห์ และทุกตัวจับเวลาที่ล้มเหลวได้จะรายงานไปที่ Telegram ทันทีที่มันล้มเหลว