Колекція комп'ютерів

Про що

Про колекцію комп'ютерів, шину PCIe і побутову електроніку DIY PC.

Даний текст — це багатоцільова спроба розповісти історію комп'ютерної техніки: задокументувати розвиток та виділити генеалогію, спробувати розповісти про комп'ютер з погляду споживчої електроніки, сформувати список найкращих колекційних екземплярів для будівництва шоурумів чи ютуб каналів.

Історія цього тексту

Цей текст з'явився завдяки носталігії за PC культурою та повернення до її DIY витоків. Тепер, коли прийшла старість, можу собі дозволити відтворити колекцію комп'ютерів, якими володів у цьому житті. Авторський період 2010-2018 років, який вимагав лише друкарську машинку та процесор рівня ARM32, давно позаду і тепер хочеться зайнятися справжніми обчислювальними завданнями, які потребують ресурсів рівня робочих станцій. В основному, я планую зайнятися системами зберігання на SSD/NVMe з використанням spdk та RocksDB/NVMe, а для будівництва цих масивів потрібні бажано невіртуальні диски, і більше, адже йдеться про 32 лінії PCI Express (PCIe) для дискової підсистеми. Тому грошей все це споживатиме багато, особливо з урахуванням бажання працювати на сучасному залізі версії PCIe 4.0. Також хочу поекспериментувати із системами індексації, які працюють у просторі GPU (такими як Uber AresDB). Для цього потрібні відеокарти з максимальною кількістю пам'яті, а це зазвичай карти рівня Titan. На щастя, nVidia з анонсом 30-ї серії знизила ціни на такі карти втричі (до $1500 за 24ГБ). Починаючи з планів купівлі цих сучасних дорогих компонентів, я плавно увійду в рестроспективу комп'ютерної техніки (у тому числі і свою особисту) і простежу історію її розвитку з точки зору стандарту PCIe, перша версія якого була створена в 2003 році. Все що до PCIe 2.0 не є для мене архівною цінністю, а лише колекційною.

Визначення, що таке комп'ютер

Спочатку хочу розповісти, що таке комп'ютер, з погляду яких критеріїв ми його представляємо в цьому випуску. Комп'ютер — це система з таких пристроїв: 1) процесор; 2) пам'ять; 3) відеокарта; 4) диск; 5) мережна картка; 6) система живлення та інші технічні модулі; які з'єднані певним чином (зазвичай це шина або безпосереднє з'єднання точка-точка чере хаб (InfiniBand, PCIe, QPI, HyperTransport, etc.) Ці з'єднання є видимими доріжками на материнській платі, де компонується вся електроніка. У разі PCIe такий хаб називається кореневим комплексом, куди сходяться всі лінії PCIe. Основний принцип DYI електроніки — це максимально гнучка система розширень, що дозволяє додавати додаткові пристрої у вигляді плат у спеціальні місця, які підключені до шини або до хаба.

Види таких систем з'єднання компонентів називаються платформи. Розрізняють електричні (PCI, PCIe) і форм-факторні специфікації (PC/104, PCIe, mPCIe) платформ. PCIe переторилась на народну шину, яка стала стандартом де-факто при побудові датацентрів на ринку споживчої електроніки, витіснивши такі, раніше здавалося перспективні, стандарти, як InfiniBand чи RapidIO. Тепер PCIe використовується не тільки як з'єднання для масових (Intel і AMD), але і для інших (POWER9, ARM, RISC-V) мікропроцесорних архітектур.

Причини успіху PCIe

Причини такої популярності у справді гарній архітектурі електричної специфікації PCIe. На відміну від шини PCI, яка працює в загальному випадку як апаратний брокер каналів, PCIe є системою з кореневого комплексу і набору свічів, які можна підключати до нього каскадами. Ці пристрої можна налаштувати таким чином, щоб вони передавали дані один одному без участі посередників, запрограмувавши певним чином роутинг кореневого комплексу та системи PCIe свічів. Налаштовані певним чином, пристрої можуть використовувати спільну пам'ять і синхронізувати передачу даних між своїми буферами (DMA). Уявіть собі, що коли копіюється файл із диска на диск, CPU при цьому не пересилає жодних байтів. Приблизно те саме відбувається коли ви підключили дві відеокарти в режим SLI, вони спілкуються між собою по PCIe шині і здатні обмінюватися даними не вимагаючи відволікання процесора. Теоретично можливе підключення мережевих карт до будь-яких PCIe пристроїв, які сумісні за атрибутами підключення. Так, наприклад, мережева карта може складати пакети на диск автоматично без участі процесора, який можливо пізніше прочитає ці дані асинхронним чином. На жаль, архітектурні обмеження асинхронної природи TCP/IP не дозволяють робити такі чудеса в промисловому оточенні, для цього бажано повністю перепроектувати мережевий рівень. Завдяки цим особливостям, які раніше були доступні тільки в дорожчих оптичних стандартах типу InfiniBand, разом із зрозумілою та гнучкою системою масштабування, яка збільшує пропускну здатність двічі кожну версію, стандарт PCI Express протримався на ринку 17 років і ще протримається до моменту згортання закону Мура у 2024 році, коли ми досягнемо 2нм техпроцесу.

Проблеми масштабування PCIe в побутовій електроніці

За допомогою PCIe свічів розпаюється система вводу-виводу для підключення зовнішніх пристроїв. Зазвичай це підключається до пропрієтарного мосту та власного протоколу, що з'єднує кореневий комплекс із системою свічів для зовнішніх пристроїв. У випадку Intel такий протокол називається DMI і має архітектурне обмеження в 4/8 PCIe ліній і це не дає можливості будувати ефективні RAID NVMe масиви на Intel платформі, які зазвичай підключаються до пропрієтарного мосту для зовнішніх пристроїв через DMI bottleneck, яке, у свою чергу, підключено до кореневого комплексу – це перша проблема масштабування. На щастя на материнських платах розпаюються слоти для відеокарт, які під'єднані не через DMI інтерконнект, а безпосередньо до кореневого комплексу через високопродуктивний свіч, який зазвичай видно як PCI-to-PCI міст. Ви можете використовувати ці слоти для будівництва дискового масиву, але ви позбавляєтеся можливості використовувати GPU.

Друга проблема, яка може виникнути при масштабуванні дискового масиву — це дифіцит кількості PCIe ліній, які можна підключити до кореневого комплексу, які в сучасних системах знаходяться прямо в процесорі.

І нарешті існує третя проблема — це кількість ядер у процесорі. Якщо їх дуже мало, то кожне переривання на лінії вимагатиме відволікання процесора, що створюватиме багато зайвих переключень контекстів процесора та знижуватиме загальну теоретичну продуктивність. В ідеальній синхронній системі, для контролю кожної PCIe лінії потрібно виділяти окреме ядро процесора, щоб у разі переривання виниклого при обміні даними між пристроями це жодним чином не впливало на роботу інших потоків системи (QoS на рівні ліній PCIe). Таким чином хотілося б процесор у якого ядер вдвічі більше ніж PCIe ліній, тому що хочеться ще щось рахувати. Це, звичайно, оверкіл, але тільки так можна досягти гарантій рівня систем реального часу. Саме такі експерименти з дисковими масивами мене цікавлять як продовження мого дослідження високопродуктивних систем реального часу.

Системи

Свій архів я бачу як підрешітку кількох вимірів:

1) форм-фактор материнської плати: Mini-ITX, Micro-ATX, ATX, E-ATX;
2) тип мікропроцесорної архітектури: Intel, AMD, ARM, POWER9, RISC-V;
3) версії PCIe: 2.0 і 3.0+ з підтримкою NVMe M.2 дисків.

Перші колекційні, розглянуті мною, чіпсети — це перші чіпсети для PCIe, які мали графічну шину 16 ліній PCIe і були створені для перших процесорів Intel Core Duo. Збиратимемо комплектами по типу сокетів і чіпсетів: материнська плата, максимальний процесор, максимальний обсяг ОЗУ.

Багатосокетний період IA-32

Intel Core веде свою родословну від процесорів Intel Pentium Pro (P6). Покоління 32-бітних x86 процесорів Intel: 1) i386; 2) i486, перші мої процесори і перший Intel Datasheet, який я прочитав від першої до останньої сторінки, у мене були і чіпи Intel і AMD, а також версія AMD i586 з множником FSB x5); 3) Pentium (P5, 1994), який попав на ринок майже одночасно зі своїми серверними, більш потужними аналогами P6; 4) Pentium Pro (P6, 1995), Pentium II, Pentium III — ці процесори мали загальне архітектурне ядро, і розвивалися в основному в напрямку мультимедійних розширень (MMX, SSE, які стали прекурсорами сучасних інструкцій AVX, NNI), експериментах із сокетами і картриджами. У цей час з'явилися процесори Xeon, зі збільшеним об'ємом кеша.

У мене були двопроцесорні материнські плати для картриджних (TYAN Tiger 133, Slot 1) і сокетних (TYAN Thunder, Socket 370) P6 процесорів, колекція материнських плат на чіпсеті i440BX (ABit BP6, ASUS P2B), дві легендарні оверклокерскі плати TUSL2 і CUSL2.

П'ята за рахунком архітектура 32-бітових процесорів Intel — Pentium 4 NetBurst виявилася абсолютно невдалою, хотіли навіть змінити стандарт на блоки живлення (з ATX на BTX) через збільшені показники потужності, що розсіюється, але вернулися назад до архітектури P6 1995 року.

Цікавим екземпляром мені бачиться зв'язка материнської плати ASUS P4P800 SE для P4 на чіпсеті 865PE, яка через перехідник ASUS CT-479 сумісна з процесорами Pentium M. Саме на цій платі можна побачити, що Pentium M швидші аналогічних процесорів Pentium 4.

Наступна архітектура була вже 64-бітною, ліцензованою у AMD і отримала назву EM64T, вперше з'явилися VT-x, SSE3. Ця архітектура досі живе в процесорах Intel і саме з процесорів Intel Core та чіпсетів X48 і P45 почнеться моя колекція.

Компактні клієнтські системи EM64T

Компактними ми називаємо системи з кількістю PCIe ліній менше ніж 32. Спочатку з Intel Core стало зрозуміло, що мости, відеокарти, корневі комплекси, котроллери пам'яті, когерентний кеш — все це краще розміщувати прямо на кристалічному процесорі. Багатопроцесорні системи стали однопакетними і популярною стала мінітюаризація, ринок наповнився Mini-ITX платами, а енергоефективність стала важливим показником на шляху прогресу.

Тут зібрано дев'ять плат на дев'яти чіпсетах, що покривають споживчі клієнтські процесори Intel. Це така гра: зібрати мінімальну кількість материнських плат, в які можна вставити будь-який процесор. Після Z370 я оновився до Z690, потім планую оновитися на наступний чіпсет після Z890, або плату на Z890, якщо вона буде підтримувати дві Core Ultra генерації 15 (Series 2) і 16 (Series 3). Поза увагою опинилися плати Z390, Z490, Z790.

Кожен сокет в номенклатурі ASUS має свій номер після бувки P: 1) Socket 8 (P1); 2) Slot 1 (P2); 3) Socket 370 (P3); 4) Socket 478 (P4); 5) LGA755 (P5); 6) LGA1366 (P6); 7) LGA1156 (P7); 8) LGA1155 (P8); 9) LGA1150 (P9); 10) LGA1151 (P10). До скайлейків, після цього нумерація перейшла на префікси чіпсетів Intel (X — воркстейшин без ECC, Z — клієнт без ECC, W — воркстейшин з ECC, С — клієнт з ECC) і власні імена типу STRIX, RAMPAGE, DOMINUS.

Повний перелік всіх емісій процесорів на 14нм техпроцесі (6-9 покоління) дивіться в дослідженні Intel Skylake.

Робочі станції

Робочими станціями ми називаємо системи з кількістю PCIe ліній більше ніж 32 (SLI). На ринку серверних процесорів збільшення ядер йшло ще більш бадьорими темпами, для збільшення кількості PCIe ліній, потрібно було більше ядер, і це стало основним пріоритетом для еволюції дійсно багатоядерних архітектур.

Архів робочих станцій (PCIe 2.0) починається для сокета 775 на чіпсеті X48. Кожна з них подвоює число доступних PCIe у порівнянні з клієнтськими платформами.

Xeon Scalable (Platinum 8x80) процесори для робочих станцій випускалися для сокетів: LGA3647 (1-SKL, 2-CSL), LGA4189 (3-ICL), LGA4677 (4-SPR, 5-EMR), були окремі емісії процесорів в сегменті робочих станції (Xeon W). Процесори Xeon на ядрах після Sunny Cove ведуть свій родовід не від Pentium Pro (P6), а від багатоядерних Xeon Phi (Knights Landing), де кожне ядро — це Atom процесор (E-core починаючи з 12 серії), представлений раніше як енергоефективний x86 конкурент ARM процесора. З початком Skylake перша генерація отримала продуктивні P6 ядра (P-core починаючи з 12 серії).

З початком Sierra Forest процесори Xeon Scalable знов випускаються у варіації лише з E-core ядрами (як Xeon Phi). Але Xeon 6 процесори потребують нових сокетів LGA7529 (Granite Rapids) і LGA4710 (Sierra Forest). Emerald Rapids підтримують той самий сокет, що ї Sapphire Rapids.

AMD почала випускати енергоефективні багатоядерні (від 32) процесори на Zen 3 архітектурі лише через 8 років (2020) після появи Xeon Phi процесорів (2012). Зате одразу дали 88 PCIe ліній, версію 4.0 і без пропрієтарного мосту (DMI), майже всі лінії заведені одразу на кореневий комплекс.

Intel довелося зробити крок у відповідь на Threadripper і випустити 10-е покоління Cascade Lake для платформи X299, щоб продовжити свій цейтнот. Я думаю спеціально для цієї емісії 10-го покоління X-серії ASUS випустила додаткову серію плат RAMPAGE VI, підкреслюючи швидкоплинний момент HEDT (High-End Desktop) платформи з процесорами Core X.

E-Cores (Atom) і P-Cores (P6)

[1]. Intel® 200 Series: B250, Q250, H270, Q270, Z270, X299, Z370 PCHs #1
[2]. Intel® 200 Series: B250, Q250, H270, Q270, Z270, X299, Z370 PCHs #2

Відеокарти

Що стосується експериментів із системами індексації, які розташовуються в пам'яті GPU, то тут має сенс гратиcя тільки з пам'яттю від 10ГБ, тобто не нижче 1080 Ti.

Відеокарти — це другий вид обчислювальних потужностей після CPU. Сучасні комп'ютери є аналогом таких систем як BeBox або Cell/BE, які можуть поєднувати обчислювальні CISC, RISC, SIMD або VLIW блоки. Процесори відеокарт називаються GPU і, як і звичайні процесори CPU, мають свій набір інструктій і свою локальну пам'ять. Аналог інструкції MOV виступає команда копіювання в/з DMA буфера DDR пам'яті по PCIe. Як і в CPU, в GPU є ALU інструкції (додавання, множення) та інструкції управління потоками виконання.

CUDA и RDNA

Головні ядра CUDA [1] називаються потоковими процесорами (SM), їхня кількість визначає продуктивність. Кожен SM складається з багатьох скалярних процесорів, кожен із яких можна виділити для обробки вершин, фіугр, або пікселів. Для управління скалярними процесорами як потоками виконання використовується високорівнева модель паралельного програмування на кшталт SIMD, лише джерела й цілі операцій це клітинки пам'яті, а потоки виконання — SIMT.

У картах AMD використовується інший набір інструкцій [2], але дуже схоже. Буфери пам'яті поділяються на три типи: вершини, фігури та пікселі. Команди GPU - це обчислення, які використовують один тип пам'яті як джерело, і інший тип пам'яті як мета команди. Вершинні шейдери роблять обчислення на вершинах і записують результат у кільцевий буфер примітивів (масиви фігур). Геометричні шейдери проводять обчислення на буферах геометричних примітивів і записують результат на згадку про фрагменти, які представляють собор розтеризований шматок екрану в буфері. Фрагмен стає пікселем, коли переноситься в реальний буфер екрану (піксельні шейдери). На кожному етапі такого пайпа лайна обчислювальні ядра користуються текстурами, які вже завантажені в пам'ять GPU.

[1]. PTX ISA 7.0 (2020)
[2]. RDNA ISA 1.0 (2020)
[3]. CMU CS 15-462 Lecture 19 (2011)

Дискові масиви

Для експериментів у рамках проекту RocksDB/NVMe нам знадобляться карти PCIe x16 (4 слоти M.2 кожен по x4 лінії), для версій PCIe 3.0 та 4.0. Кожна така карта конфігурується як RAID-0 масив і таким чином збільшується швидкість передачі лінійно в 4 рази. Нам потрібні саме RAID-0 масиви, тому що продуктивність – це головна мотивація проекту RocksDB/NVMe. Звичайно, такі карти це потрібно вставляти в PCIe слот, підключений безпосередньо до кореневого комплексу, а не до пропрієтарного мосту для підключення периферії. Зазвичай половина слотів (а на mITX іноді і все) M.2 розташовані на материнських платах платформи Intel, підключені саме по такій шині DMI, яка має пропускну здатність всього 4 PCIe лінії, тому RAID-0 на таких слотах будувати сенсу немає. У випадку ATX і EATX плат для побудови RAID-0 найкраще вставляти плати розширення для M.2 масивів у PCIe x16 слоти, підключені до кореневого комплексу. У разі mITX систем доведеться витягувати тимчасово GPU і вставляти M.2 RAID-0 в єдиний x16 слот.

M.2 Hyper x16 SW VROC RAID

M.2 слоти підключені до пропрієтарного мосту DMI, можна використовувати для поодиноких x4 NVMe інстансів, як завантажувальні диски для альтернативних ОС і т.д. Я планую використати Haiku, FreeBSD, Linux, Windows. Не пропадати ж M.2 слотам.

SATA VDM HW RAID-0

Є ще варіант використання RocksDB/SATA: будуємо масив на дисках, максимальна пропускна спроможність яких лише 600МБ/c. Для цього на mITX системах можна побудувати масив із 3-4 дисків, а для великих ATX/EATX систем я раджу купувати материнські плати, де є 10 портів SATA. Ці 10 портів зазвичай використовують для RAID систем, але не апаратних (бо відновлювати будь-який RAID це нетривіальне завдання), а програмних комплексів типу Unraid, Ceph, GlusterFS. Ceph до речі використовує RocksDB/NVMe бекенд для одного з типів своїх сховищ BlueStore). Ці системи пропонують зручніший ніж апаратний спосіб роботи з масивами: якщо один диск полетів, ви просто його витягуєте і вставляєте новий.

Твердотілі накопичувачі не варто використовувати для бекапа. Замість механічних та SSD накопичувачів зазвичай для бекапа використовували магнітні стрічки або магнітооптику, яка досі є найактуальнішим способом зберігання даних, як, наприклад SONY PRO ODS-D380U.

За 10 років ціна на SSD знизилася з $1 за 1ГБ до $1 за 10ГБ. Твердотільні накопичувачі NVMe складаються з DRAM кешу, SLC кешу та зазвичай 64-шарових TLC або QLC чіпів. Деякі виробники (ADATA, Transcend) використовують технологію HMB і постачають диски без DRAM кешу, натомість передбачається використання пам'яті хоста, яка підключена до PCIe. Такі диски не працюють у Thunderbolt перехідниках USB-to-PCIe. Потрібно купувати тільки ті NVMe, які пропонують показники продуктивності близькі до теоретичної межі PCIe 3.0 x4 (3938.5МБ/с), і максимально не залежать від об'єму даних, що передаються (SLC кеш), DRAM кеш на 1Т зазвичай становить 1ГБ. У 2020 році купувати NVMe менше 1Т сенсу немає, вони швидше, у них більше SLC кешу, якісніші мікросхеми, вигідна питома вартість одиниці обсягу.

Колекційними вважаються чотирьохканальні RAID-0 переходники на 16 ліній PCIe, тобто чотири диски (якшо менше — не беріть). Якщо на материнській платі залишаються вільні слоти х8 і хочеться їх використовувати для RAID, то можна використовувати адаптери x8 M.2 на двох дисках.

[1]. SPDK.IO/DOC
[2]. NVMe 1.4
[3]. Yan Beyer. A fast kvstore based on spdk programing framework.
[4]. T.Yoshimura, T.Chiba, H.Horii. EvFS: User-level, Event-Driven File System for Non-Volatile Memory.

Корпуса

Як видно з таблиць, всі плати можна розділити на дві категорії: малі та великі. У категорії малих корпусів мені найбільше сподобалися DeepCool Tristellar, NZXT H200i, AZZA Pyramyd 804. Для повнорозмірних великих CEB/EEB/XLATX плат Lian Li O11D XL, а для EATX плат і дискових масивів DeepCool Quadstellar. Усього 5 корпусів. Якщо вистачає грошей, можна ще купити стіл Lian Li.

Операційні системи