Beberapa minggu yang lalu, saya melihat dua pengantar barang berdebat di luar sebuah toko kecil. Salah satu bersikeras bahwa pesanan sudah diambil, yang lainnya mengatakan bahwa sistem masih menunjukkan statusnya sebagai tertunda. Keduanya mengandalkan aplikasi yang sama, namun tidak ada yang benar-benar mempercayai apa yang diberitahukan oleh aplikasi tersebut. Momen kecil itu teringat oleh saya karena menunjukkan betapa rapuhnya koordinasi dapat terjadi ketika orang atau mesin bergantung pada sistem yang tidak bisa mereka verifikasi secara langsung.
Hal serupa muncul dalam jaringan yang dibangun di sekitar ROBO dan mesin otonom. "Otonom" hanya berarti perangkat lunak yang dapat membuat keputusan dan melakukan tugas tanpa seseorang yang membimbing setiap langkah. Dalam teori, itu terdengar efisien. Satu sistem mengumpulkan informasi, yang lain memprosesnya, yang lain membayar untuk pekerjaan tersebut. Tetapi ketika Anda mundur sejenak, muncul pertanyaan sederhana: bagaimana satu mesin tahu bahwa mesin lain benar-benar melakukan apa yang mereka klaim?
Beberapa proyek mencoba menyelesaikan ini dengan meninggalkan jejak tindakan yang terlihat di jaringan. Anggap saja seperti buku catatan publik. Jika sebuah mesin secara konsisten menyelesaikan tugas dengan benar, sistem mencatat pola itu. Seiring waktu, semacam reputasi terbentuk. Ini tidak jauh berbeda dari bagaimana orang membaca sinyal keterlibatan atau metrik visibilitas di tempat-tempat seperti Binance Square. Ketika analis tertentu berulang kali membagikan wawasan yang berguna, kiriman mereka mulai muncul lebih sering, dan pembaca perlahan-lahan belajar siapa yang komentarnya tampak dapat diandalkan.
Namun, sistem reputasi adalah hal yang aneh. Saya telah melihat akun tumbuh kredibilitas secara online bukan karena mereka benar, tetapi karena mereka belajar bagaimana algoritma memperhatikan mereka. Mesin mungkin akhirnya belajar trik yang sama. Jika itu terjadi, kepercayaan antara sistem otonom mungkin mulai terlihat kurang seperti masalah teknis dan lebih seperti masalah manusia yang akrab yang merupakan mencari tahu sinyal mana yang sebenarnya berarti sesuatu, dan mana yang hanya pandai berpura-pura.