Meski telah dapat menguji kemampuan AI, termasuk CPU, GPU, dan NPU, namun Geekbench AI masih baru bisa menguji ONNX, CoreML, TensorFlow Lite, dan OpenVINO.
Saat ini, untuk melihat kemampuan sebuah perangkat untuk menjalankan AI masih sangat sulit. Belum ada sebuah aplikasi yang dapat dengan setara menguji kemampuan sebuah hardware untuk dapat menjadi acuan oleh para penguji.
Tapi, belakangan ini, Geekbench baru saja mengumumkan sebuah fitur pengujian baru yang ditujukan untuk menguji kemampuan perangkat untuk menjalankan AI. Mereka menyebut fitur baru ini sebagai Geekbench AI.
Dilansir dari laman The Verge (16/8), Geekbench AI nantinya akan mengukur CPU, GPU, dan NPU di dalam perangkat untuk menentukan seberapa baik sebuah perangkat untuk menangani aplikasi berbasis pembelajaran mesin.
Pengembang Geekbench, Primate Labs, telah mengerjakan alat yang satu ini selama beberapa tahun, dengan nama Geekbench ML. Aplikasi ini diluncurkan sebagai pratinjau pada tahun 2021 tetapi kemudian namanya diganti.
Namun, masih ada batasan dalam cara pengujian AI dari Geekbench AI. Soalnya, aplikasi ini hanya baru mendukung beberapa kerangka kerja, termasuk ONNX, CoreML, TensorFlow Lite, dan OpenVINO. Tapi, untuk proses pengujian, mereka menguji beberapa parameter penting termasuk kinerja berdasarkan akurasi dan kecepatan.
Aplikasi ini memberikan tiga skor, presisi penuh, setengah presisi, dan terkuantisasi. Primate Labs mengatakan skor tersebut juga memiliki pengukuran akurasi untuk mengevaluasi seberapa dekat keluaran beban kerja dengan kebenaran, “atau seberapa akurat model tersebut dapat melakukan apa yang seharusnya dilakukan”.
Tapi, masih harus dilihat apakah hasil pengujian ini akan selaras dengan bagaimana pengalaman pengguna saat menggunakan Copilot Plus atau aplikasi AI lainnya. Memeriksa frame rate atau waktu pemuatan adalah satu hal, namun memeriksa keakuratan teks prediktif, atau apa yang dihasilkan oleh editor gambar yang mendukung AI generatif akan lebih dekat dengan penggunaan dunia nyata.
Aplikasi Geekbench AI sudah dapat diunduh dan digunakan di berbagai platform, termasuk di Windows, macOS, Linux, Android, dan iOS.
