إتقان الاكتشاف والزحف والفهرسة: السجلات، robots.txt، خرائط الموقع، الترقيم/الفلاتر، وتحديد الأولويات.