در این نرم افزار Methabot سرعت بهینه سازی شده، وب متنی و بسیار قابل تنظیم، FTP و محلی خزنده فایل سیستم است. این پشتیبانی از تجزیه نوع فایل اسکریپت، طیف گسترده ای از گزینه های سفارشی سازی شده است و به راحتی پیکربندی مناسب نیازهای خاص anyones.
با استفاده از سیستم ماژول و زبان برنامه نویسی، کاربران قادر به کنترل کامل یا جزئی از فرایند خزنده و تصمیم گیری با این حال باید Methabot داده وب، آمار و خیلی بیشتر را ذخیره کنید.
فقط با اجرای Methabot از خط فرمان شما قادر خواهید بود فایلی سفارشی پیکربندی، فیلتر عبارات، رفتار، و خیلی بیشتر
ویژگی هستند، بنابراین شما لازم نیست که به یک scripter:!
این برنامه سریع و طراحی از زمین و با سرعت بهینه سازی در ذهن داشته باشند.
دستخط از طریق جاوا اسکریپت با E4X
تعریف شده توسط کاربر نوع فایل فیلتر (با توجه به نوع MIME، پسوند فایل و یا بیان UMEX)
چند موضوعی
بسیار از خط فرمان با قابلیت تنظیم
سیستم ماژول توسعه، حمایت از تجزیه کننده های داده های سفارشی و فیلتر.
ساده اما قدرتمند فیلترینگ آدرس ها از طریق UMEX.
دانلود خودکار
پشتیبانی از کوکی برای دست زدن به صورت خودکار در هنگام اجرای بیش از HTTP
قابل اعتماد، شبکه های تحمل پذیر خطا
قابل حمل، مورد آزمایش با موفقیت در 32 بیتی / 64 بیتی لینوکس 2.6، 32 بیتی / 64 بیتی بورس 6.x / 7.0، ویندوز XP و Mac OS X. باید کار بر روی تقریبا هر سیستم عامل شبه یونیکس.
در چه در این نسخه جدید است:
به اشکالات، هنگامی که خارجی-زیرچشمی نگاه کردن مورد استفاده قرار گرفت محدودیت عمق تا خراب شد.
استفاده از حافظه رفع پاکسازی
گزینه پویا URL دیگر مجموعه به مراجعه به طور پیش فرض، از آن به طور قابل توجهی پایین خزنده را کند می کند
سیستم ساخت در حال حاضر ایجاد و نصب بعضی از فایل هدر که ماژول می تواند هنگامی که ارتباط استفاده
ابزار metha-پیکربندی اضافه
lmm_mysql در خارج از این بسته نقل مکان کرد
در نسخه 1.5.0 چه جدید است:
به تغییرات و ویژگی های جدید:
پشتیبانی از خواندن بافر اولیه از STDIN
--type و --base-URL گزینه های خط فرمان اضافه شده است، همراه با گزینه initial_filetype در فایل های پیکربندی
کوکی ها و اطلاعات DNS در حال حاضر به درستی بین کارگران که در حال اجرا چند رشته مشترک
اضافه شده برخی از دستورات مثال طریقه استفاده به --examples
پیشرفت های بزرگی به ارتباط بین موضوع، در حال حاضر سریع تر و سازمان یافته
اضافه شدن پشتیبانی از توابع 'init انجام به اسکریپت. اطلاعات بیشتر در مورد توابع init انجام در http://bithack.se/projects/methabot/docs/e4x/init_functions.html
libmetha می کند یخ نمی هنگام انجام چند درخواست HTTP HEAD همزمان دیگر. به این دلیل برای انجماد یک اشکال در libcurl که در حال حاضر ثابت بود. برخی از راه حل برای جلوگیری از یخ می زند از رخ دادن در هنگام استفاده از نسخه های libcurl نقص هست به libmetha اضافه شده است.
پشتیبانی از نسخه های قدیمی تر libcurl 7.17.x و 7.16.x
اطلاعات جدید در دسترس است و & quot؛ این ها & quot؛ هدف از جاوا اسکریپت کدها، نوع محتوا و وضعیت انتقال کد. ادامه مطلب در http://bithack.se/projects/methabot/docs/e4x/this.html
گزینه --verbose جایگزین با --silent، از حالت طولانی در حال حاضر به طور پیش فرض
حمایت اولیه برای خزیدن FTP و گزینه خزنده ftp_dir_url
عمق محدود در حال حاضر خزنده خاص است
اضافه شدن گزینه های خط فرمان --crawler و --filetype
پشتیبانی از گسترش و لغو خزنده و فایلی از قبل تعریف شده
پشتیبانی از کلمه کلیدی کپی در یک فایل پیکربندی
پشتیبانی از پویا تغییر خزنده فعال، این به شما امکان خزیدن وب سایت های مختلف در راه های کاملا متفاوت در یک جلسه خزنده. اطلاعات بیشتر در مورد سوئیچینگ خزنده در http://bithack.se/projects/methabot/docs/crawler_switching.html
نسخه libev ارتقاء به 3.51
بخشنامه شامل فایل های پیکربندی در حال حاضر مطمئن شوید که فایل پیکربندی شامل حال حاضر نمی پر شده است، برای جلوگیری از شامل حلقه و تعاریف نوع فایل / خزنده های متعدد می سازد.
مختلف SpiderMonkey رفع جمع آوری زباله، libmetha سقوط نمی هنگام تمیز کردن پس از یک جلسه چند رشته ای
اضافه شده برخی از اطلاعات اضافی به گزینه --info
گزینه 'خارجی' در حال حاضر ثابت و دوباره فعال
گزینه جدید --spread کارگران
جدید فعالیت libmetha API lmetha_global_setopt () اجازه می دهد تا تغییر خطا جهانی / پیام خبرنگار هشدار /
اضافه شده اجرای اولیه مجموعه تست برای توسعه دهندگان
گزارش خطا بهتر هنگام بارگذاری فایل های پیکربندی
اشکالات زمانی که یک سرور HTTP به یک ضربه نوع محتوای پس از درخواست HEAD نمی گرداند
اشکالات آدرس ها وقتی که مرتب سازی پس از درخواست های HTTP HEAD چند
اشکالات در HTML به مبدل XML هنگامی که صفحه HTML نداشت به & lt؛ HTML & gt؛ به برچسب
اشکالات، گزینه extless-URL کار نمی کند
اشکالات، HTML به مبدل XML در علائم بایت سفارش و یا متن دیگری چوک قبل از HTML واقعی دیگر
اشکالات، مانع از تلاش برای آدرس ها دسترسی از پروتکل های که پشتیبانی نمی libmetha
اشکالات هنگام بستن پس از خطا.
اشکالات، آدرس unresolvable را پاره کند از حلقه سعی مجدد پس از سه درگاه
پشتیبانی بسیار تجربی و ناپایدار برای Win32، به طور عمده برای توسعه دهندگان در نظر گرفته شده
فایل های پیکربندی جدید:
google.conf، برای انجام جستجو گوگل
youtube.conf، یوتیوب جستجو
meta.conf، چاپ اطلاعات متا مانند کلمات کلیدی و توضیح در مورد صفحات HTML
title.conf، چاپ عنوان صفحات HTML
ftp.conf، برای خزیدن سرورهای FTP
در چه در نسخه 1.4.1 جدید است:
پیکربندی می تواند در برخی از سیستم های پیدا کند jsapi.h، این موضوع باید در حال حاضر ثابت شده است.
فایل های پیکربندی در حال حاضر قادر به تغییر خزنده و نوع فایل پرچم، اضافه کردیم 'خارجی' و 'external_peek' گزینه
اشکالات، Methabot گاهی اوقات هنگامی که تمیز کردن URL های خالی بعد از HEAD HTTP چند سقوط
ثابت یک تصادف است که زمانی که در حال اجرا همزمان رخ داده است.
ساخت سیستم عبارتند از ثابت زمانی که jsconfig.h یافت نمی شود.
در مورد نیاز:
SpiderMonkey هدر
حلقه
نظر یافت نشد