Bagaimanakah Pelayan AI dan NIC Pintar Boleh Menyokong Beban Kerja Edge AI?

Beban kerja Edge AI memerlukan sumber pengkomputeran dan pergerakan data yang cekap. Pelayan AI menyediakan platform pengkomputeran untuk aplikasi AI, manakala a NIC Pintar boleh mengendalikan fungsi rangkaian, storan dan keselamatan tertentu di luar CPU hos. Menggabungkan dua lapisan perkakasan ini boleh mewujudkan pembahagian yang lebih jelas antara pengkomputeran aplikasi dan pemprosesan infrastruktur.

Nilai gabungan ini bergantung pada beban kerja, trafik rangkaian, sambungan PCIe dan antara muka yang diperlukan. Daripada menganggap pelayan AI dan Smart NIC sebagai peranti yang boleh ditukar ganti, adalah lebih berguna untuk mempertimbangkan bagaimana fungsinya sesuai bersama dalam seni bina pengkomputeran pinggir.

Apa yang Disediakan oleh Pelayan AI?

Pelayan AI menyediakan persekitaran pengkomputeran untuk beban kerja yang memerlukan sumber pemprosesan yang besar. Laman web tersebut menyenaraikan Pelayan AI Berbilang GPU produk dalam rangkaian produk Awan & Pusat Datanya, di samping penyelesaian pelayan universal.

Untuk penggunaan AI pinggir, pemilihan pelayan melibatkan lebih daripada sekadar kapasiti pengkomputeran. Memori, storan, pengembangan PCIe, antara muka rangkaian, kuasa dan penyejukan juga boleh mempengaruhi cara data bergerak melalui sistem.

Seni bina tipikal boleh dilihat sebagai:

Sumber Data → Rangkaian → Pelayan AI → Aplikasi AI

Pelayan AI digunakan untuk pemprosesan bahagian aplikasi, manakala lapisan rangkaian mengurus komunikasi antara platform pengkomputeran dan peranti yang disambungkan.

Perbezaan ini penting apabila sistem pinggir menerima data daripada pelbagai sumber dan memproses maklumat tersebut secara tempatan.

Apa Adakah Pemegang NIC Pintar?

A NIC Pintar menggabungkan sambungan rangkaian dengan keupayaan pemprosesan tambahan. Bergantung pada konfigurasinya, fungsi rangkaian, storan dan keselamatan tertentu boleh dialihkan daripada sistem hos.

Rangkaian Smart NIC laman web ini merangkumi kad pemecut dengan antara muka Ethernet dan PCIe berkelajuan tinggi. Siri NR06, sebagai contoh, tersedia dengan konfigurasi 10GbE SFP+ atau 25GbE SFP28 bergantung pada model.

Maklumat yang diterbitkannya juga merangkumi fungsi rangkaian, storan dan pemindahan muatan keselamatan. Ini memberikan NIC Pintar peranan melangkaui sambungan rangkaian konvensional.

Dalam sistem AI pinggir, hubungan tersebut boleh diwakili sebagai:

Trafik Rangkaian → NIC Pintar → Pelayan AI

NIC Pintar mengendalikan tugas infrastruktur yang ditetapkan, manakala platform hos kekal bertanggungjawab untuk beban kerja aplikasi utama.

Bagaimana AI Pelayan dan NIC Pintar Bekerjasama?

Kedua-dua produk ini mempunyai fungsi yang berbeza dalam sistem yang sama.

Seorang Pelayan AI menyediakan persekitaran pengkomputeran untuk aplikasi AI. NIC Pintar menyediakan sambungan rangkaian dan boleh memproses fungsi infrastruktur tertentu.

Oleh itu, seni bina gabungan boleh distrukturkan seperti berikut:

Sensor / Peranti Bersambung
↓
Rangkaian Ethernet
↓
NIC Pintar
↓
Sambungan Hos PCIe
↓
Pelayan AI
↓
Aplikasi AI

Pembahagian ini boleh berguna apabila sistem pinggir perlu mengendalikan kedua-dua aplikasi intensif pengkomputeran dan trafik rangkaian yang ketara.

NIC Pintar tidak perlu melaksanakan aplikasi AI itu sendiri. Sebaliknya, pemprosesan rangkaian, storan atau keselamatan yang sesuai boleh diberikan kepada NIC sementara pelayan menumpukan pada tugas peringkat aplikasi.

Bagaimana Boleh Pemprosesan Penyingkiran NIC Pintar?

Trafik rangkaian boleh menggunakan sumber hos melalui pemprosesan paket, operasi keselamatan, pergerakan data dan fungsi infrastruktur yang lain.

Laman web ini menerangkan seni bina Smart NIC dengan keupayaan penyingkiran untuk fungsi rangkaian, storan dan keselamatan, serta pemisahan antara pemprosesan satah kawalan dan satah data.

Bagi pelayan AI, pemisahan ini mungkin relevan apabila trafik rangkaian dan pemprosesan aplikasi bersaing untuk sumber hos.

Laluan pemprosesan boleh dilihat sebagai:

Data Masuk → NIC Pintar → Pemindahan / Pemprosesan Data → Pelayan AI

Objektifnya bukanlah untuk mengalihkan setiap tugas infrastruktur daripada CPU. Sebaliknya, sistem ini boleh menetapkan fungsi yang sesuai kepada Smart NIC mengikut keupayaan perkakasan dan seni bina perisiannya.

Ini menjadikan keperluan beban kerja satu pertimbangan penting apabila memilih NIC Pintar.

Mengapa Adakah Perkara PCIe?

PCIe menyediakan sambungan hos antara NIC Pintar dan platform pelayan.

Spesifikasi produk NR06 menyenaraikan antara muka PCIe 4.0 ×8 dan PCIe 3.0 ×8 melalui MCIO, bersama-sama dengan sambungan jari emas PCIe 4.0 ×8.

Bagi pelayan AI yang dilengkapi dengan NIC Pintar, antara muka PCIe perlu sepadan dengan platform hos dan keperluan pemindahan data yang dijangkakan.

Apabila menilai sesuatu kad antara muka rangkaian PCIe penyelesaian, beberapa faktor perlu dikaji bersama:

• Penjanaan PCIe
• Konfigurasi lorong
• Keserasian hos
• Lebar jalur rangkaian
• Bilangan port rangkaian
• Keperluan pemindahan data

Kelajuan rangkaian sahaja tidak menentukan prestasi keseluruhan sistem. Sambungan antara NIC Pintar dan platform hos juga merupakan sebahagian daripada keseluruhan laluan data.

Bagaimana Lakukan Antara Muka Ethernet Mempengaruhi Edge AI?

Lebar jalur rangkaian menjadi relevan apabila sistem AI menerima sejumlah besar maklumat daripada peralatan yang disambungkan.

Siri NR06 merangkumi konfigurasi yang menyokong antara muka 10GbE SFP+ dan 25GbE SFP28, bergantung pada model. Spesifikasi yang diterbitkan juga mengenal pasti keupayaan Ethernet berkelajuan tinggi dan sokongan RDMA dalam konfigurasi yang berkaitan.

Oleh itu, seni bina rangkaian boleh diwakili sebagai:

Peranti Tersambung → Ethernet Berkelajuan Tinggi → NIC Pintar → Pelayan AI

Pemilihan antara muka hendaklah berdasarkan keperluan trafik sebenar. Kiraan port, jenis Ethernet, lebar jalur, sumber PCIe dan aliran data yang dijangkakan semuanya mempengaruhi konfigurasi yang sesuai.

Contohnya, sistem dengan beberapa sumber data jalur lebar tinggi mungkin mempunyai keperluan rangkaian yang berbeza daripada pemasangan tepi yang lebih kecil dengan trafik tempatan yang terhad.

Bagaimana Adakah Pengkomputeran Tepi Padan Ini?

Pengkomputeran pinggir meletakkan sumber pengkomputeran lebih dekat dengan sumber data. Laman web ini mengenal pasti pengkomputeran pinggir antara hala tuju teknologi dan aplikasinya dan membincangkan inferens AI di pinggir.

Dalam seni bina jenis ini, Smart NIC boleh menjadi sebahagian daripada lapisan pemprosesan rangkaian, manakala pelayan AI menyediakan lapisan pengkomputeran aplikasi:

Sumber Data → NIC Pintar → Pelayan AI → Inferens Tempatan

Memproses data lebih dekat dengan sumbernya boleh menjadi relevan apabila analisis tempatan, keadaan rangkaian atau keperluan pemindahan data menjadikan pemprosesan berpusat kurang sesuai untuk penggunaan tertentu.

Seni bina sebenar bergantung kepada faktor seperti jumlah data, keperluan pemprosesan, ketersediaan rangkaian dan persekitaran aplikasi.

Bilakah seorang NIC Pintar Berguna Dengan Pelayan AI?

NIC Pintar mungkin bernilai dinilai apabila pelayan AI juga perlu mengendalikan pemprosesan rangkaian atau infrastruktur yang besar.

Pengkomputeran Pinggir Perindustrian

Sistem perindustrian boleh menjana data daripada peralatan yang disambungkan dan peranti tempatan. Pelayan AI boleh memproses beban kerja aplikasi manakala Smart NIC menyediakan sambungan rangkaian dan fungsi penyingkiran beban terpilih.

Tepi Data Pemprosesan

Apabila data perlu diproses berhampiran dengan sumbernya, rangkaian dan pengkomputeran menjadi bahagian yang berkait rapat dalam infrastruktur yang sama. NIC Pintar boleh menyediakan lapisan menghadap rangkaian antara trafik masuk dan sistem hos.

Diedarkan AI Tepi

Pelaksanaan tepi teragih mungkin menggunakan berbilang nod pengkomputeran dengan keperluan rangkaian berkelajuan tinggi. NIC Pintar boleh menyediakan keupayaan pemprosesan rangkaian sementara pelayan AI mengendalikan beban kerja aplikasi.

Senario ini menerangkan kemungkinan seni bina sistem dan bukannya aplikasi produk tetap. Pemilihan perkakasan harus mengikut keperluan setiap penggunaan.

Bagaimana Sepatutnya Pelayan AI dan NIC Pintar Akan Dipilih?

Pemilihan harus bermula dengan beban kerja dan kemudian beralih ke antara muka perkakasan.

1. Tentukan Beban Kerja AI

Tentukan jenis pemprosesan yang diperlukan, seperti inferens AI atau analisis data peringkat aplikasi yang lain.

2. Kenal pasti Rangkaian Keperluan

Semak bilangan peranti yang disambungkan, trafik yang dijangkakan, lebar jalur yang diperlukan dan jenis antara muka rangkaian.

3. Semak PCIe Keserasian

Sahkan bahawa pelayan AI menyediakan sambungan PCIe yang sesuai untuk NIC Pintar yang dipilih.

4. Semakan Data Pergerakan

Pertimbangkan bagaimana maklumat bergerak antara antara muka rangkaian, memori, storan dan sumber aplikasi.

5. Tentukan Keperluan Penurunan Muatan

Kenal pasti sama ada fungsi rangkaian, storan, keselamatan atau infrastruktur lain sesuai untuk pemunggahan perkakasan.

6. Pertimbangkan Kelebihannya Alam Sekitar

Untuk penggunaan tepi, penggunaan kuasa, penyejukan, pemasangan fizikal, penyelenggaraan dan keadaan operasi juga boleh mempengaruhi konfigurasi.

Bukan setiap sistem AI pinggir memerlukan kombinasi yang sama. Sesetengah beban kerja mungkin hanya memerlukan pelayan AI, manakala yang lain mungkin mendapat manfaat daripada NIC Pintar apabila pemprosesan rangkaian menjadi bahagian penting dalam keseluruhan sistem.

Konfigurasi akhir harus mencerminkan hubungan sebenar antara keperluan pengkomputeran, trafik rangkaian, antara muka dan keadaan penggunaan tepi.

Soalan Lazim

Apakah fungsi pelayan AI dalam AI pinggir?

Ia menyediakan persekitaran pengkomputeran untuk aplikasi AI dan pemprosesan data tempatan.

Apa yang dilakukan oleh Pintar TIADA APA-APA yang perlu dilakukan?

Ia menyediakan sambungan rangkaian dan boleh mengurangkan beban pemprosesan infrastruktur tertentu.

Bagaimana PCIe sambungkan NIC Pintar ke pelayan AI?

PCIe menyediakan sambungan hos antara Smart NIC dan platform pelayan.

Mengapa menggabungkan Pintar NIC dengan pelayan AI?

Gabungan ini boleh memisahkan pemprosesan rangkaian daripada tugas pengkomputeran peringkat aplikasi.

Adakah setiap tepi AI sistem memerlukan NIC Pintar?

Tidak. Keperluan ini bergantung pada trafik rangkaian, jenis beban kerja dan seni bina sistem.