Sakana AI Mengumumkan AI CUDA INGINEER yang dapat mempercepat pengembangan dan penyebaran model

Sakana AI, berbasis Tokyo kecerdasan buatan (AI) perusahaan, memperkenalkan kerangka kerja agen buatan (AI) yang baru yang dapat meningkatkan kecepatan pengembangan dan penyebaran model bahasa besar (LLM). Diumumkan pada hari Kamis, perusahaan meluncurkan insinyur AI CUDA yang meningkatkan kecepatan pra-pelatihan dan inferensi dari model AI dengan mengoptimalkan basis kode. Perusahaan AI menyoroti bahwa seluruh proses ini didorong oleh agen AI dan otomatis. Khususnya, Sakana Ai diperkenalkan Ilmuwan AI tahun lalu yang dapat melakukan penelitian ilmiah.

Sacanils Uvelils adalah cudiner

Di sebuah posperusahaan AI Jepang menyatakan bahwa setelah mengembangkan sistem AI yang dapat membuat model baru, dan sepenuhnya mengotomatiskan proses penelitian AI, ia mulai bekerja pada cara untuk mempercepat kecepatan penyebaran dan inferensi dari LLM.

Perusahaan mengatakan bahwa penelitian ini mengarah pada pengembangan insinyur AI Cuda. Ini adalah kerangka kerja agen yang sepenuhnya otomatis dan komprehensif untuk CUDA (Compute Unified Device Architecture) Kernel Discovery and Optimization.

Kernel CUDA dapat dipahami sebagai fungsi khusus yang berjalan pada NVIDIA GPU, memungkinkan pelaksanaan kode paralel di beberapa utas. Karena paralelisme, ini lebih dioptimalkan daripada metode tradisional dan memungkinkan untuk percepatan tugas komputasi, terutama yang memiliki set data besar. Dengan demikian, ini dianggap sebagai cara yang bagus untuk mengoptimalkan penyebaran dan inferensi model AI.

Sakana Ai mengatakan insinyur AI CUDA dapat secara otomatis mengubah modul Pytorch menjadi kernel CUDA yang dioptimalkan, untuk secara signifikan meningkatkan speedup penyebaran. Ini dapat menghasilkan kernel yang dikatakan 10-100 kali lebih cepat dari rekan Pytorch-nya.

Prosesnya mencakup empat langkah. Pertama, kerangka kerja agen mengubah kode Pytorch menjadi kernel yang berfungsi. Kemudian, agen mengimplementasikan teknik optimasi untuk memastikan hanya kernel terbaik yang dihasilkan. Kemudian, prompt crossover kernel ditambahkan, yang menggabungkan beberapa kernel yang dioptimalkan untuk membuat kernel baru. Akhirnya, agen AI mempertahankan kernel CUDA berkinerja tinggi dalam arsip, yang digunakan untuk memberikan peningkatan kinerja. Perusahaan juga telah menerbitkan a belajar yang lebih lanjut merinci prosesnya.

Di samping kertas ini, Sakana AI juga menerbitkan arsip AI Cuda Engineer, yang merupakan dataset yang terdiri dari lebih dari 30.000 kernel yang dihasilkan oleh AI. Kernel ini dirilis di bawah lisensi CC-by-4.0 dan dapat diakses melalui wajah memeluk.

Selain itu, perusahaan Jepang juga meluncurkan situs web yang memungkinkan pengunjung secara interaktif mengeksplorasi 17.000 kernel terverifikasi dan profil mereka. Situs web ini memungkinkan pengguna untuk menjelajahi kernel ini di 230 tugas, dan juga memungkinkan mereka membandingkan kernel CUDA di seluruh percobaan individu.