در بیش از حد یک شبح پایتون که munches در سیاهههای مربوط می فرستد مطالب خود را به logstash و است.
نصب
با استفاده از PIP:
از گیتهاب:
تصویر در تصویر دستگاه گوارش + دستگاه گوارش نصب: //github.com/josegonzalez/beaver.git#egg=beaver
از PyPI:
تصویر در تصویر بیش از حد نصب == 1
استفاده
طریقه استفاده:
بیش از حد [-h] [-r {کارگر، تعاملی}] [-m {اتصال، اتصال}] [PATH -p]
و nbsp؛ [- فایل F [فایل های ...]] [حمل و نقل -t]
استدلال اختیاری:
-h، --help این ارسال و خروج کمک نشان می دهد
-r {کارگر، تعاملی}، --run {کارگر، تعاملی}
را لمس کنید و. کارگر اجرا و یا حالت تعاملی
متر {اتصال، اتصال}، --mode {اتصال، اتصال}
& nbsp؛ از اتصال و یا حالت اتصال
-p PATH، --path مسیر PATH به فایل ها وارد شوید
فایل -f [فایل های ...]، --files فایل [فایل های ...]
& nbsp؛ در لیست فایل-فاصله از هم جدا به تماشا. لغو --path
را لمس کنید و. استدلال
-t {amqp، ردیس، STDOUT}، --transport {amqp، ردیس، STDOUT}
و nbsp؛ ورود به سیستم روش حمل و نقل
زمینه
بیور روش سبک برای حمل و نقل فایل ورود به سیستم محلی برای Logstash فراهم می کند. این کار با استفاده از ردیس، STDIN، zeromq به عنوان حمل و نقل. این به این معنی شما یک ردیس جایی در طول جاده نیاز، STDIN، zeromq ورودی برای دریافت حوادث.
رویدادها در قالب json_event logstash ارسال. گزینه نیز می تواند به عنوان متغیر های محیط زیست تنظیم شود.
نمونه
مثال 1: گوش دادن به تمام فایل ها در مسیر پیش فرض از / var / ورود استاندارد از:
سر و دست شکسن
مثال 2: ارسال سیاهههای مربوط از / var / ورود فایل ها را به یک لیست ردیس:
REDIS_URL = "ردیس: // localhost را: 6379/0" ردیس -t بیش از حد
مثال 3: استفاده از متغیر های محیط زیست برای ارسال سیاهههای مربوط از / var / ورود فایل ها را به یک لیست ردیس:
REDIS_URL = "ردیس: // localhost را: 6379/0" BEAVER_PATH = "/ var / ورود" BEAVER_TRANSPORT = ردیس بیش از حد
مثال 4: Zeromq گوش دادن روی پورت 5556 (تمام رابط):
ZEROMQ_ADDRESS = "TCP: // *: 5556" بیش از حد متر اتصال
# پیکربندی logstash:
ورودی {zeromq {
& nbsp؛ از نوع => 'محموله کشتی-ورودی'
& nbsp؛ در حالت => 'مشتری'
& nbsp؛ در توپولوژی => 'pushpull'
را لمس کنید و. آدرس => 'TCP: // shipperhost: 5556'
و nbsp؛}}
خروجی {{STDOUT اشکال زدایی => درست}}
مثال 5: Zeromq اتصال به پورت از راه دور 5556 در نمایه ساز:
ZEROMQ_ADDRESS = "TCP: // نمایه ساز: 5556" بیش از حد متر اتصال
# پیکربندی logstash:
ورودی {zeromq {
& nbsp؛ از نوع => 'محموله کشتی-ورودی'
& nbsp؛ در حالت => 'سرور'
& nbsp؛ در توپولوژی => 'pushpull'
را لمس کنید و. آدرس => 'TCP: // *: 5556'
و nbsp؛}}
خروجی {{STDOUT اشکال زدایی => درست}}
چه جدید در این نسخه است:
به مطمئن شوید که فایلهای جدید اضافه شده به حمل و نقل پیکربندی. بسته # 96. بسته # 101. [خوزه دیاز-گونزالس]
اجازه اعداد شناور برای update_file_mapping_time. [خوزه دیاز-گونزالس]
رفع ریخته گری نامعتبر از مقادیر Boolean. [خوزه دیاز-گونزالس]
انجام همه تبدیل در config.py. بسته # 99. [خوزه دیاز-گونزالس]
جدید در نسخه 16 است:
در تعیین اندازه صف حداکثر 100 برای محدود کردن overrunning حافظه است. [خوزه دیاز-گونزالس]
استفاده از چند پردازی برای دست زدن به اندازه صف بزرگتر. [خوزه Diaz- گونزالس]
قبلا مسائل که در آن فایل های که به عنوان پوشش و یا سرور سیاهههای مربوط به اغلب چنین به روز شد به پیاده سازی ساده از file.readlines () در بیش از حد پایمال وجود دارد. این باعث می شود بیش از حد به آرامی بخش بزرگتر و بزرگتر از یک فایل قبل از پردازش هر یک از خطوط به عنوان خوانده شده، در نهایت باعث بیش از حد به را برای همیشه برای پردازش خطوط وارد شوید.
این پچ می افزاید: توانایی استفاده از صف کار داخلی برای خطوط وارد شوید. هر گاه file.readlines () نامیده می شود، خطوط در صف، که با یک پروسه فرزند مشترک قرار می گیرد. پروسه فرزند ایجاد حمل و نقل خود را، ما اجازه می دهد به طور بالقوه یک استخر فرآیند ایجاد در آینده که مسئولیت رسیدگی به یک اندازه صف بزرگتر.
توجه داشته باشید که محدودیت file.readlines () خواندن در بسیاری از خطوط است که هنوز هم در وجود، و ممکن است همچنان به سبب مسائل برای ورود به سیستم فایل خاص.
اضافه کردن به طور پیش فرض redis_password به کلاس BeaverConfig. [خوزه دیاز-گونزالس]
رفع گم تاکید باعث حمل و نقل برای شکستن. [نورمن جوینر]
پیاده سازی پشتیبانی تایید ردیس. [نورمن جوینر]
اضافه کردن بیش از حد اسکریپت init انجام برای حالت daemonization. [خوزه دیاز-گونزالس]
در هنگام استفاده از StdoutTransport استفاده از چوب پایتون. [خوزه دیاز-گونزالس]
اضافه کردن پرچم ارگ کوتاه برای نام میزبان و فرمت. [خوزه دیاز-گونزالس]
اضافه کردن توانایی daemonize. بسته # 79. [خوزه دیاز-گونزالس]
رفتن به اطراف به عنوان مثال چوب به تمام حمل و نقل. [خوزه دیاز-گونزالس]
بازگشت به & quot؛ او یک کلاس رویداد بسیار سبک وزن و به & quot؛ [خوزه دیاز-گونزالس]
پس از شور و مشورت، بیش از حد به معنای به & quot؛ را وزن سبک و quot؛ کلیک کنید اجازه می دهد که ترک ضربه سنگین به پسر بزرگ است.
این تبدیل مرتکب 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
اضافه شده یک کلاس رویداد بسیار سبک وزن و. [خوزه دیاز-گونزالس]
تنها مسئولیت این کلاس خواهد بود پردازش یک خط داده شده به عنوان یک رویداد. این آینده هدف خواهد بود به عنوان یک اجرای بسیار سبک وزن و از سیستم فیلتر در Logstash عمل
حذف نیاز argparse برای پایتون 2.7 و بالاتر. [خوزه Diaz- گونزالس]
جدید در نسخه 13 است:
به متغیرهای محیطی خاص ثابت. [خوزه دیاز-گونزالس]
پشتیبانی تونل SSH. [خوزه دیاز-گونزالس]
این کد باید به ما اجازه ایجاد تونل SSH بین دو سرور مجزا برای اهداف ارسال و دریافت داده ها.
این در بعضی از موارد که در آن شما در غیر این صورت نیاز به لیست سفید در فایروال و یا از iptables راه اندازی خود را، مانند زمانی که در حال اجرا در دو منطقه مختلف در AWS مفید است.
اجازه می دهد برای تاخیر اتصال اولیه. مفید است که انتظار برای پروکسی SSH برای اتصال. [خوزه دیاز-گونزالس]
رفع مشکل که در آن برخی از پیش فرض پیکربندی از ارزش نامناسب بودند. [خوزه دیاز-گونزالس]
اجازه تعیین میزبان از طریق پرچم. بسته # 70. [خوزه دیاز-گونزالس]
مورد نیاز:
پایتون
نظر یافت نشد