AI di perangkat: mengapa tidak semuanya harus ke cloud?

Saat mendengar AI, kita mungkin membayangkan pertanyaan dikirim melalui internet ke pusat data yang jauh. Cara itu memang digunakan banyak layanan, tetapi ada juga pemrosesan AI yang dijalankan langsung pada ponsel atau komputer. Perbedaannya terletak pada tempat model menjalankan tugasnya.

Apa arti pemrosesan di perangkat?

Pada pemrosesan lokal, perangkat menjalankan model untuk suatu tugas tanpa harus menyerahkan setiap proses tersebut kepada server. Google AI Edge menjelaskan penggunaan model pada perangkat bergerak, web, dan perangkat tertanam, termasuk kemungkinan penggunaan luring serta pengurangan waktu tunggu jaringan.

“Di perangkat” tetap perlu dibaca sesuai fitur yang dibahas. Sebuah aplikasi dapat menggunakan proses lokal untuk satu fungsi dan layanan cloud untuk fungsi lain. Nama atau label AI saja belum cukup untuk menjelaskan ke mana seluruh data aplikasi dikirim.

Mengapa lokasi pemrosesan berarti?

Dokumentasi Gemini Nano pada Android menjelaskan bahwa pemrosesan prompt secara lokal menghindari panggilan server untuk tugas itu dan mendukung fungsi luring. Kecepatan inferensi tetap bergantung pada perangkat keras. Jadi, berkurangnya waktu jaringan tidak berarti setiap pekerjaan otomatis lebih cepat di semua ponsel.

Dalam penggunaan sehari-hari, pertanyaan yang bisa kamu ajukan adalah: tugas apa yang perlu tersedia saat koneksi tidak ada? Misalnya, kamu ingin mengolah catatan milik sendiri ketika bepergian. Gunakan kebutuhan tersebut sebagai dasar membaca daftar kemampuan aplikasi yang sedang dipertimbangkan.

Periksa fitur, bukan hanya labelnya

Buat daftar tiga hal: apakah fitur dapat berjalan luring, perangkat apa yang didukung, dan bahan apa yang diproses secara lokal. Cari jawaban pada dokumentasi penyedia. Bila satu hal belum dijelaskan, tandai sebagai pertanyaan terbuka sebelum memasukkan dokumen pribadi.

Sebagai percobaan sederhana, pilih bahan rekaan yang tidak sensitif dan satu tugas kecil. Ikuti petunjuk penggunaan luring dari penyedia, lalu catat bagian yang tetap bekerja serta bagian yang meminta koneksi. Pengalaman itu membantu kamu memahami batas fitur pada perangkatmu sendiri.

Pilih berdasarkan pekerjaan yang ingin dibantu

Untuk sebagian kebutuhan, ketersediaan saat bepergian mungkin lebih penting. Untuk kebutuhan lain, kemampuan layanan yang dipakai bersama tim bisa menjadi pertimbangan utama. Tuliskan kebutuhanmu sebelum membandingkan istilah teknis atau klaim pemasaran.

Kamu tidak harus memilih satu pendekatan untuk semua pekerjaan. Yang berguna adalah mengetahui cara fitur tertentu bekerja dan kapan ia sesuai dengan kebutuhan. Mulai dari tugas yang jelas, pahami aliran datanya melalui dokumentasi, lalu tentukan tempatnya dalam kebiasaan kerjamu.