Cara Kerja Crawler

-

 1.Relevansi Suatu Halaman

Crawler tidak mengindeks semua yang ada di internet, namun memprioritaskan halaman web berdasarkan berapa banyak halaman lain yang terhubung dengan internal atau eksternal link, tampilan halaman web, dan jumlah pengunjung web. Jika banyak tautan yang mengarah ke halaman, maka bisa jadi halaman tersebut penting dan relevan untuk ditampilkan di search engine.

2. Meninjau Kembali Halaman

Konten-konten di internet mengalami perubahan setiap waktunya, bisa karena update, penambahan, pengurangan, dan penghapusan. Maka penting bagi crawler untuk meninjau kembali halaman untuk memastikan konten terbaru sudah diindeks.

3. Keinginan Robots.txt

Crawler halaman mana yang perlu diindeks berdasarkan robots.txt. Sebelum crawling dilakukan, file robots,txt pada server website akan di cek terlebih dahulu. Robots.txt merupakan file pada sebuah website yang berisi informasi mengenai halaman mana yang boleh di indeks dan tidak.

Komentar

Posting Komentar

Postingan populer dari blog ini

Cicada 3301, Teka-teki Paling Misterius di Internet yang Sulit Terpecahkan

-
  Pada Januari 2012, dunia  internet  digegerkan dengan kemunculan teka-teki misterius. Orang-orang menyebutnya sebagai Cicada 3301. Angka ‘3301’ merupakan nama samaran pihak yang membuat teka-teki tersebut. Sementara itu, ‘cicada’ yang dalam bahasa Indonesia berarti ‘serangga tonggeret’ adalah nama yang diberikan orang-orang karena teka-teki yang ditampikan memiliki bentuk yang serupa dengan hewan tersebut. Awal Mula Cicada 3301 Cicada 3301 memulai teka-tekinya melalui situs gambar 4chan. Dalam sebuah poster berlatar hitam, mereka menjelaskan bahwa mereka sedang mencari orang yang jenius. Untuk mencarinya, mereka mengadakan tes atau teka-teki yang harus dipecahkan. Banyak orang yang beranggapan bahwa teka-teki tersebut merupakan perekrutan terselubung bagi calon anggota organisasi rahasia, seperti Secret Intelligence Service (SIS), National Security Agency (NSA), Central Intelligence Agency, dan Freemason. Namun, tak sedikit pula yang beranggapan bahwa teka-tek...
Baca selengkapnya

Apa itu Golang framework dan bagaimana dampaknya bagi developer

-
  Banyak developer yang memanfaatkan Golang untuk mempersingkat waktu dalam membuat aplikasi  web . Hal ini dimungkinkan sebab Golang menyediakan  coding  agar developer tinggal menyusunnya sesuai dengan kebutuhan aplikasi yang dibuat. Fitur andalan Golang di antaranya keamanan memori, koleksi sampah, dan  structural typing  atau pengetikan terstruktur. Dengan kemiripan tinggi dengan bahasa C dan C ++, developer akan lebih mudah dalam memahami bahasa pemrograman Go. Fungsi lain Golang adalah sebagai berikut: Front end: Golang berguna untuk membuat bagian antarmuka aplikasi  website. Libraries/Tools: Golang menyediakan alat ini dimana di dalamnya merangkum semua kode untuk kemudian dipakai membangun aplikasi. Command Line Interface (CLI): Dengan Golang, Anda bisa memanfaatkan CLI yang memfasilitasi developer mengetikkan kode perintah untuk kemudian dijalankan oleh komputer. Pengembangan dan Operasi: Golang bahkan membantu proses pengembangan dan operasi...
Baca selengkapnya

Pengenalan User Interface (UI)

-
Gambar
        Baiklah di Era Industri 4.0 ini dan adanya pandemic Covid-19 ini mengharuskan kita untuk belajar dari rumah dan melakukan aktifitas kerja yang memungkinkan dikerjakan dari jarak jauh (tapi tambal ban sama memasak ndak bisa online ya kecuali pesan lewat driver). Tentunya dalam pekerjaan yang menggunakan software atau perangkat lunak atau system informasi dan terhubung secara daring (dalam jaringan) sebagai contoh adalah website, sangat penting bagi Programmer untuk bisa membuat desain interface atau tampilan tatap muka yang menarik pengunjung agar pengunjung dapat betah serta tidak bosan saat bekerja atau sekedar mencari artikel. Sehingga sangat penting bagi programmer untuk melihat tata letak, jenis font, besar font, lebar halaman, warna dan tentunya animasi dalam desain. Salah satu bahasa pemrograman yang digunakan untuk mendesain serta mempercantik desain dalam pemrograman web adalah css dan javascript. Tampilan tatap muka sistem informasi atau aplikasi yan...
Baca selengkapnya