Layanan mikro NIM yang baru memungkinkan bisnis, lembaga pemerintah, dan universitas untuk meng-host LLM asli di lingkungan mereka sendiri, sehingga memungkinkan pengembang untuk membangun copilot, chatbot, dan asisten AI yang c
Mengembangkan Aplikasi dengan Layanan Mikro NIM Sovereign AI
Pengembang dapat dengan mudah menggunakan model AI Sovereign, yang dikemas sebagai layanan mikro NIM, ke dalam produksi sambil mencapai peningkatan kinerja.
Layanan mikro, yang tersedia dengan NVIDIA AI Enterprise, dioptimalkan untuk inferensi dengan pustaka sumber terbuka NVIDIA TensorRT-LL
Layanan mikro NIM untuk Llama 3 70B – yang digunakan sebagai model dasar untuk layanan mikro NIM Llama-3-Swallow-70B dan Llama-3-Taiwan-70B yang baru – dapat memberikan throughput hingga 5x lebih tinggi. Hal ini menurunkan total biaya untuk menjalankan model dalam produksi dan memberikan pengalaman pengguna yang lebih baik dengan mengurangi latensi.
Layanan mikro NIM yang baru tersedia saat ini sebagai antarmuka pemrograman aplikasi yang dihosting (API).
Memanfaatkan NIM NVIDIA untuk Hasil AI Generatif yang Lebih Cepat dan Akurat
Layanan mikro NIM mempercepat penerapan, meningkatkan kinerja secara keseluruhan, dan memberikan keamanan yang diperlukan bagi organisasi di seluruh industri global, termasuk perawatan kesehatan, keuangan, manufaktur, pendidikan, dan hukum.
Tokyo Institute of Technology menyempurnakan Llama-3-Swallow 70B dengan menggunakan
Data berbahasa Jepang.
“LLM bukanlah alat mekanis yang memberikan manfaat yang sama untuk semua orang. LLM lebih merupakan alat intelektual yang berinteraksi dengan budaya dan kreativitas manusia. Pengaruhnya bersifat timbal balik di mana model tidak hanya dipengaruhi oleh data yang kita latih, tetapi juga budaya kita dan data yang kita hasilkan akan dipengaruhi oleh LLM,” kata Rio Yokota, profesor di Global Scientific Information and Computing Center di
Tokyo Institute of Technology. “Oleh karena itu, sangat penting untuk mengembangkan model AI yang berdaulat yang mematuhi norma-norma budaya kita. Ketersediaan Llama-3-Swallow sebagai layanan mikro NVIDIA NIM akan memungkinkan para pengembang untuk dengan mudah mengakses dan menggunakan model ini untuk aplikasi Jepang di berbagai industri.”
Sebagai contoh, sebuah perusahaan AI Jepang, Preferred Networks, menggunakan model ini untuk mengembangkan model khusus perawatan kesehatan yang dilatih dengan korpus data medis Jepang yang unik, yang disebut Llama3-Preferred-MedSwallow-70B, yang memiliki nilai tertinggi dalam Ujian Nasional Dokter Jepang.
Chang Gung Memorial Hospital (CGMH), salah satu rumah sakit terkemuka di Taiwan, membangun AI Inference Service (AIIS) yang dibuat khusus untuk memusatkan semua aplikasi LLM di dalam sistem rumah sakit. Dengan menggunakan Llama 3-Taiwan 70B, rumah sakit ini meningkatkan efisiensi staf medis di garis depan dengan bahasa me
“Dengan menyediakan panduan instan dan sesuai konteks, aplikasi AI yang dibangun dengan LLM berbahasa lokal merampingkan alur kerja dan berfungsi sebagai alat pembelajaran yang berkelanjutan untuk mendukung pengembangan staf dan meningkatkan kualitas perawatan pasien,” ujar Dr. Changfu Kuo, direktur Pusat Kecerdasan Buatan di bidang Kedokteran di CGMH, Cabang Linko. “NVIDIA NIM menyederhanakan pengembangan aplikasi-aplikasi ini, memungkinkan akses yang mudah dan penyebaran model-model yang dilatih dengan bahasa-bahasa regional dengan keahlian teknik yang minimal.”
Pegatron yang berbasis di Taiwan, pembuat perangkat elektronik, akan mengadopsi layanan mikro Llama 3-Taiwan 70B NIM untuk aplikasi yang menghadap ke internal dan eksternal. Pegatron telah mengintegrasikannya dengan PEGAAi Agentic AI System untuk mengotomatisasi proses, meningkatkan efisiensi dalam manufaktur dan operasi.”
Llama-3-Taiwan 70B NIM juga digunakan oleh produsen petrokimia global
Chang Chun Group, perusahaan papan sirkuit cetak terkemuka di dunia Unimicron, perusahaan media yang berfokus pada teknologi TechOrange, perusahaan layanan kontrak online LegalSign.ai, dan perusahaan rintisan AI generatif APMIC. Perusahaan-perusahaan ini juga berkolaborasi dalam model terbuka.
Menciptakan Model Perusahaan Khusus Dengan NVIDIA AI Foundry
Meskipun model AI regional dapat memberikan respons yang bernuansa budaya dan terlokalisasi, perusahaan masih perlu menyempurnakan model tersebut untuk proses bisnis dan keahlian domain mereka.
NVIDIA AI Foundry adalah platform dan layanan yang mencakup model fondasi populer, NVIDIA NeMo untuk penyempurnaan, dan kapasitas khusus pada NVIDIA DGX Cloud untuk memberikan solusi lengkap bagi para pengembang dalam membuat model fondasi khusus yang dikemas dalam bentuk layanan mikro NIM.
Selain itu, para pengembang yang menggunakan NVIDIA AI Foundry memiliki akses ke platform perangkat lunak NVIDIA AI Enterprise, yang memberikan keamanan, stabilitas, dan dukungan untuk penerapan produksi.
NVIDIA AI Foundry memberikan para pengembang alat yang diperlukan untuk membangun dan menggunakan layanan mikro NIM berbahasa daerah mereka sendiri dengan lebih cepat dan mudah untuk mendukung aplikasi AI, memastikan hasil yang sesuai dengan budaya dan bahasa bagi para penggunanya.
