sCrawler 1.0
است تعداد بی شماری از دلایلی است که چرا یک فرد یا شرکت را می خواهید به استفاده از نرم افزار خزنده وب وجود دارد. این نوع از برنامه مرور وب در مد شده که می تواند به صورت خودکار، روشمند و یا در یک روش قانونی. اگر شما جدید به مدت نرم افزار خزنده وب هستید، شاید شما از عنکبوت، رباتها، مورچه ها، شاخص خودکار، روبات یا...