Pagination: Rapi di Mata, Berat di Database

Pernah ngerasa aplikasi udah pakai pagination, tapi kok data tetap aja lambat muncul? 🤔 Ternyata pagination itu nggak selalu secepat yang kita bayangkan. Kalau salah strategi, bukannya bikin aplikasi ringan, malah jadi sumber bottleneck yang bikin user nunggu loading lebih lama. Di video ini, Pak Eko dari Programmer Zaman Now kupas tuntas kenapa pagination bisa jadi masalah performa, plus trik gimana cara ngakalinnya biar aplikasi tetap ngebut meskipun harus nampilin ribuan data. 🚀

📺 Sumber: KENAPA PAGINATION ITU LAMBAT (YouTube)

---

Sorotan Utama #

• Pagination awalnya cepat, tapi makin dalam makin lambat karena database harus melewati (skip) semua data sebelumnya untuk mencapai offset yang diinginkan.
• Hampir semua database populer (MySQL, MariaDB, PostgreSQL, hingga database terdistribusi seperti Elasticsearch dan Apache Solr) mengalami masalah serupa dengan teknik pagination berbasis offset dan limit.
• Solusi terbaik adalah menghindari pagination menggunakan offset yang dalam, dan mengganti pola query ke metode lain seperti lazy loading atau query berbasis rentang waktu/ID.
• Perusahaan besar seperti Google dan Amazon juga membatasi jumlah halaman yang bisa diakses pengguna untuk menghindari masalah performa ini.
• Teknik lazy load, yang menggunakan query berkelanjutan berdasarkan ID atau timestamp, jauh lebih efisien dan scalable dibandingkan pagination tradisional.
• Edukasi kepada tim non-teknis sangat penting agar mereka memahami keterbatasan pagination dan mengubah ekspektasi terkait bagaimana data sebaiknya ditampilkan.

Penjelasan Proses Pagination #

Tahap	Penjelasan
Query awal (offset 0)	Mengambil data halaman pertama (misal 10 record dari 0-9) cepat karena langsung mengambil data.
Offset naik (misal 10.000)	Database harus melewati (skip) 10.000 record sebelum mengambil 10 record berikutnya, jadi lambat.
Offset sangat dalam (100.000)	Database harus melewati 100.000 record, membuat query sangat lambat dan boros memori.
Pagination di distributed DB	Query harus dijalankan di banyak shard, mengambil data dari tiap shard, digabung dan disortir.
Akibatnya	Memori dan waktu proses meningkat drastis, performa menurun signifikan.

Penjelasan Masalah Pagination Offset #

• Pagination menggunakan limit dan offset adalah metode standar untuk membatasi data yang ditampilkan per halaman.
• Saat offset tinggi, database harus melewati (skip) semua record sebelum offset tersebut, yang membutuhkan waktu dan sumber daya besar.
• Contoh: Jika offset 100.000 dan limit 10, database harus men-skip 100.000 data dulu baru mengambil 10 data.
• Ini menyebabkan penurunan performa signifikan saat pengguna mengakses halaman jauh ke belakang.
• Masalah ini terjadi di hampir semua database relasional (MySQL, MariaDB, PostgreSQL) dan juga database terdistribusi yang menggunakan sharding (Elasticsearch, Apache Solr).
• Database terdistribusi malah lebih parah karena harus mengambil data dari banyak shard, kemudian menggabungkan dan menyortirnya di memori.

Studi Kasus Perusahaan Besar #

Perusahaan	Jumlah Data yang Dicari	Jumlah Halaman yang Bisa Diakses	Pendekatan Pagination / Batasan
Google	~600 juta hasil	Hanya 15 halaman pertama	Membatasi jumlah halaman agar tidak akses dalam offset besar
Amazon	~5.000 hasil	Halaman terbatas ke 7-8	Batasi jumlah halaman dan gunakan penyaringan kategori

• Google dan Amazon membatasi jumlah halaman yang bisa diakses untuk menghindari masalah performa pagination dalam.
• Pengguna diarahkan untuk menggunakan filter atau kriteria pencarian yang lebih spesifik agar data yang diambil tidak terlalu besar.

Solusi dan Alternatif Pagination #

• Hindari pagination dengan offset yang besar.
• Gunakan lazy loading dengan query yang terus mengambil data berdasarkan nilai unik terakhir, misal ID atau timestamp.
• Contoh metode lazy loading:
  • Query pertama mengambil 10 data teratas.
  • Query selanjutnya mengambil data dengan kondisi WHERE id < last_id untuk data berikutnya.
  • Query ini selalu mengambil data terbaru/telah diurutkan, sehingga tidak perlu skip banyak data.
• Gunakan filter waktu (range date) atau filter lain untuk membatasi data yang ditampilkan.
• Terapkan indeks pada kolom yang digunakan untuk filter agar query tetap cepat.
• Contoh nyata lazy load di aplikasi e-commerce seperti beli-beli, di mana daftar order diurutkan berdasarkan ID dan saat scroll bawah, query mengambil data yang id < last_id sehingga performa tetap baik.

Perbandingan Pagination Tradisional vs Lazy Load #

Aspek	Pagination Tradisional (Offset + Limit)	Lazy Load (Query Berdasarkan ID atau Timestamp)
Performa	Lambat saat offset besar, karena harus skip banyak data	Cepat karena query selalu menggunakan nilai unik terbaru
Penggunaan Memori	Tinggi, terutama di database terdistribusi	Rendah, hanya data yang diperlukan diambil
Kompleksitas Query	Sederhana	Ada sedikit modifikasi query tapi lebih efisien
Skalabilitas	Kurang baik untuk data besar dan offset tinggi	Sangat baik, dapat menangani data dalam jumlah besar
Pengalaman Pengguna	Bisa lambat dan tidak responsif	Responsif, data muncul secara bertahap saat scroll

FAQ (Pertanyaan yang Sering Muncul) #

Q: Kenapa pagination dengan offset besar sangat lambat?
A: Karena database harus melewati (skip) semua data sebelum offset tersebut, yang memakan waktu dan sumber daya besar.

Q: Apakah semua database mengalami masalah ini?
A: Hampir semua database relasional dan terdistribusi mengalami masalah performa saat pagination dengan offset besar.

Q: Apa solusi terbaik untuk mengatasi masalah ini?
A: Hindari pagination offset besar. Gunakan lazy load dengan query berdasarkan ID/timestamp, atau batasi data yang diambil dengan filter lebih spesifik.

Q: Bagaimana perusahaan besar seperti Google dan Amazon menangani hal ini?
A: Mereka membatasi jumlah halaman yang bisa diakses oleh pengguna dan mendorong penggunaan filter pencarian yang lebih spesifik.

Q: Apakah ada cara mempercepat pagination offset?
A: Tidak ada solusi instan yang sempurna. Perbaikan bisa dilakukan dengan index dan query yang lebih baik, tapi masalah dasar skip data besar tetap ada.

Penutup #

Pagination yang lambat itu bukan sekadar PR kecil, tapi realita yang juga dihadapi perusahaan teknologi besar. Kabar baiknya, kita nggak sendirian. Dengan trik seperti lazy loading, filter data lebih presisi, dan teknik query yang tepat, performa aplikasi bisa tetap gesit walaupun datanya bejibun.

Semoga video dari Pak Eko bikin kita dapat insight baru buat bikin aplikasi yang responsif, scalable, dan enak dipakai user.

---

Referensi & Bahan Bacaan #

Kalau kamu ingin mendalami lebih jauh soal performa pagination di berbagai teknologi database dan search engine, berikut beberapa sumber yang bisa jadi bacaan tambahan:

1. MariaDB Docs: Pagination Optimization
   Panduan resmi dari MariaDB tentang bagaimana mengoptimalkan query dengan LIMIT dan OFFSET.

2. Stack Overflow: Optimize query with OFFSET on large table
   Diskusi praktis dari komunitas developer soal cara mengatasi masalah pagination di tabel besar.

3. Elasticsearch Docs: Paginate search results
   Dokumentasi Elasticsearch yang menjelaskan strategi efisien untuk paginasi hasil pencarian.

4. Apache Solr Docs: Pagination of Results
   Catatan tentang masalah performa deep pagination di Solr dan solusi alternatifnya.

5. Medium: MongoDB Pagination — Fast & Consistent
   Artikel yang membahas pendekatan berbeda untuk pagination di MongoDB agar tetap cepat dan konsisten.