Saya sedang mengamati bagaimana infrastruktur berperilaku ketika pasar menjadi sulit. Saya menunggu momen ketika lalu lintas meningkat dan sistem berhenti terlihat bersih. Saya melihat di mana tekanan sebenarnya jatuh ketika beban kerja nyata muncul. Saya telah melihat cukup banyak pemadaman untuk mengetahui bahwa sebagian besar tumpukan tenang hingga tiba-tiba tidak. Saya fokus pada pilihan desain yang menentukan apakah stres menyebar ke seluruhnya atau terkontrol lebih awal.
Protokol Fabric dibangun di sekitar ide sederhana: mesin dan agen perangkat lunak pada akhirnya akan membutuhkan sistem bersama untuk mengoordinasikan pekerjaan, memverifikasi hasil, dan mencatat apa yang terjadi. Protokol ini menggunakan komputasi yang dapat diverifikasi sehingga tugas yang dilakukan oleh robot dapat diperiksa tanpa mengulangi seluruh komputasi. Pada saat yang sama, infrastruktur memperlakukan agen dan robot sebagai peserta asli alih-alih hanya pengguna eksternal yang mengirim permintaan.
Begitu mesin nyata mulai berinteraksi dengan jaringan seperti ini, sistem berhenti bersifat teoretis. Robot menghasilkan data. Agen meminta komputasi. Operator menyediakan daya pemrosesan dan penyimpanan. Buku besar mencatat hasil dan menjaga garis waktu yang dapat diverifikasi. Tata kelola mendefinisikan bagaimana aturan berkembang.
Setiap peran terdengar sederhana sendiri. Robot membuat tugas dan data. Operator infrastruktur memproses beban kerja dan menyimpan informasi. Protokol memverifikasi hasil dan menuliskannya ke buku besar. Pengembang dan aplikasi membaca data itu melalui lapisan akses.
Masalah biasanya dimulai ketika peran-peran itu terlalu dekat satu sama lain. Banyak jaringan memungkinkan ingest, eksekusi, penyimpanan, pengindeksan, dan kueri berjalan melalui jalur yang sama. Pada awalnya terasa efisien. Segalanya cepat karena semuanya terhubung erat. Tetapi koneksi itu menjadi pengikatan yang tersembunyi.
Ketika beban tiba, satu titik lemah menjadi domino pertama.
Kaskade kegagalan yang realistis terlihat familiar. Lonjakan lalu lintas dan titik akhir mulai terkena lebih keras dari yang diharapkan. Cache berhenti menyajikan data segar dengan cukup cepat. Klien mencoba ulang permintaan dan tanpa sengaja menciptakan badai percobaan ulang. Node penyimpanan mulai merasakan tekanan disk saat antrean penulisan tumbuh. Pengindeks tertinggal dari kepala rantai. Di layar, konfirmasi terlihat beku. Transaksi tampak hilang. Saldo bahkan mungkin terlihat salah untuk sesaat. Konsensus mungkin masih benar di bawahnya, tetapi sistem terasa rusak bagi orang-orang yang menggunakannya.
Protokol Fabric mencoba mengurangi radius ledakan itu dengan menggambar batas yang lebih jelas antara bagian-bagian sistem.
Buku besar fokus pada pengurutan peristiwa dan memverifikasi hasil. Lingkungan eksekusi menangani komputasi robotik berat secara terpisah. Lapisan akses mengelola ingest data dan kueri. Tata kelola sumber daya menetapkan batasan pada seberapa banyak bandwidth, penyimpanan, dan komputasi yang dapat digunakan oleh berbagai peserta.
Pemisahan itu mengubah cara skala bekerja. Alih-alih mendorong semuanya melalui satu titik penyumbatan, kapasitas dapat tumbuh di tempat yang tepat. Lapisan cache menyerap permintaan berulang. Penyeimbang beban mendistribusikan lalu lintas di seluruh penyedia. Batas laju memperlambat beban kerja yang merugikan. Jalur ingest tetap terpisah dari sistem kueri sehingga pembacaan tidak memblokir penulisan. Mekanisme catch-up memungkinkan pengindeks untuk tertinggal dengan aman dan pulih nanti.
Penyimpanan dan pengindeksan mengikuti logika yang sama. Aliran acara mentah tetap sederhana dan hanya append. Indeks dan pandangan yang diturunkan berada di luar lapisan inti itu. Jika pengindeksan melambat selama lalu lintas berat, buku besar dasar dapat terus bergerak sementara lapisan kueri secara bertahap mengejar.
Tidak ada yang secara ajaib menghilangkan bagian-bagian sulit ini. Kepercayaan bergeser menuju lapisan akses yang paling banyak berinteraksi dengan pengguna. Konsistensi data di seluruh penyedia yang berbeda menjadi masalah operasional nyata. Perbedaan latensi menciptakan kebingungan tentang apa yang sebenarnya dimaksud dengan “keadaan terbaru”. Titik akhir default dapat dengan tenang menjadi gerbang terpusat. Meningkatnya keberagaman operator membantu ketahanan tetapi seringkali membuat pengalaman pengembang lebih rumit.
Sistem yang mengoordinasikan robot dan agen otonom akan menghadapi beban yang tidak terduga secara desain. Mesin tidak berperilaku seperti pengguna normal. Mereka menghasilkan lonjakan aktivitas yang dapat menekan infrastruktur dengan cara yang tidak biasa.
Arsitektur yang baik tidak berpura-pura bahwa masalah itu menghilang. Ia menerimanya dan membangun batas sehingga tekanan tidak dapat menyebar ke mana-mana sekaligus.
Sistem yang kuat dimulai dengan batasan yang jelas. Ketika satu lapisan menjadi keras, lapisan lainnya harus tetap bernafas.
