Доброго времени суток Современные приложения генерируют огромное кол -во логов. Возникает закономерный вопрос: а как. За сутки наши программы, сервисы и серверы генерируют ОЧЕНЬ большое количество Так что написание фильтров для обработки большинства логов не должно вызвать особого. WinRoute Spy – программа анализа файлов логов популярного прокси- сервера и Internet-шлюза Winroute (версии 4.Х) и Kerio Winroute Firewall 5.Х. Анализ логов - программы для анализа, скачать бесплатно. 10-Strike Log- Analyzer - программа, а так же анализатор логов. Стандартное средство для обработки таких файлов. Программа для обработки логов миниАТС. Лапай Д.А., Ложкин А.Г., Воронин А.В. Компилятор: Visual Basic 6.
Пример использование Splunk для анализа логов / Хабрахабр. Splunk — это система хранения и анализа логов.
В двух словах принцип работы можно описать так: есть сервер Splunk, который хранит, индексирует и позволяет анализировать логи, и есть рабочие машины (сервера), которые эти логи создают и передают на сервер Splunk. Сервер Splunk в свою очередь может быть кластером из нескольких физических машин, между которыми распределяется хранение информации, и которые используются для ее обработки по технологии Map. Reduce. Способов передавать логи с рабочих машин очень много: через специальную программу forwarder, которая умеет быстро и эффективно отсылать изменения логов на сервер, через технологии типа NFS/SMB, или SNMP, можно самостоятельно отсылать данные в Splunk по TCP/IP (например, вместо того, чтобы писать в файл). Под Windows Splunk умеет брать данные из Windows Events, Performance Counters или Реестра. Для Splunk логи — это текстовая информация, разбитая на строки. В процессе индексирования строки логов разбиваются на поля, например «имя=значение», хотя это настраиваемо.
Далее с помощью специального языка запросов SPL можно работать с этими полями: сортировать, агрегировать, создавать вычисляемые поля, формировать таблицы, обращаться ко внешним словарям, например, из SQL- базы, и, конечно, строить разнообразные графики. SPL работает не только с одиночными строками, но и позволяет группировать, «сжимать» логически в одну строку многострочные куски. Как заявляет сам Splunk, все логи, что хранятся в системе за любое время, являются доступными для запросов, то есть нет понятия архивирования. Конечно, машин (машины), где крутится Splunk должна сообразно отражать объем хранимой и обрабатываемой информации. Еще Splunk называет себя «Google для логов», но оставим это высказывание без комментариев на их собственный откуп. Интерфейс Splunk — веб. Можно создавать панели (dashboard'ы), из которых формировать свое собственное Splunk- приложение.
У Splunk есть магазин приложений (хотя большинство из них бесплатны), где есть море уже готовых конфигураций для анализа популярных систем, например, UNIX syslog, логи Apache, Microsoft Exchange и т. Программный комплекс Splunk можно бесплатно скачать с официального сайта. Лицензирование происходит на основе дневного объема прокачиваемых через систему логов. Для ознакомления есть минимальный бесплатный объем, которого прекрасно хватает для освоения системы.
Для быстрого ознакомления рекомендую книгу Exploring Splunk от создателей этого продукта. Пролистав ее, вы получите неплохое начальное понимание, что можно делать в Splunk, суть языка запросов SPL и т.
В данной же статье я хочу показать реальный пример, который можно повторить в течение получаса. Для этого достаточно бесплатно скачать и установить Splunk под вашу операционную систему. Далее можно просто следовать моим инструкциям. Пример будет необычным.
Организация сбора и анализа логов — дело не такое простое, хранить и обрабатывать логи онлайн: Splunk,Loggly, Papertrail, Logentries и другие. LogViewer Pro Программа для просмотра логов. Просмотры: 8635 Обновлено 26.12.2014 13:29 24.08.2011 . Простая программа для обработки фотографий Funny Photo Maker. Программа Azure Web Log предназначена для обработки лог -файлов web- сервера на стороне пользователя. Очень неплохая и бесплатная программа Libreoffice. Это аналог MS Office, но в отличие от Excell сама преобразует лог в удобочитаемую таблицу, очень рекомендую.
Традиционно, логи используются для анализа исторической информации. Но ничто не мешает извлекать ее по ходу появления и создавать «живые» индикаторы на ее основе. Соглашусь, мой пример немного искусственен, но я хочу показать, как быстро и просто можно «накидывать» данные в Спланк, формализовать их и строить на их основе динамический пользовательский интерфейс. Вот простой скрипт, который в течение минуты будет записывать в лог сообщения, содержащие процентный показатель (от 0 до 1. Тут мы указывает имя файла или каталога, где лежат наши логи (в данном случае это будет одиночный файл).
Подтверждаем создание так называемого источника логов (source type). Как я уже говорил, логи в Спланк могут поступать различными путями. Каждый такой источник логов именован и может обрабатываться независимо.
Итак, лог добавлен. Мы видим, что Спланк «подцепил» файл и уже разобрал строки на поля. Спланк понимает огромное количество форматов даты и времени, но и это настаиваемо.
Далее мы даем имя нашему источнику логов — «test. Внизу (в синем) мы видим результат выполнения запроса (в логе уже есть данные). В SPL работает принцип UNIX pipes (. Теперь сделаем ей графическое представление. Так как у нас всего одно поле, показывающее процент выполнения от 0 до 1. Кликаем на «Formatting options» (в синем) и выбираем тип элемента (Chart type) «radial gauge» (в красном).
Появляется вот такой красивый спидометр. Первый виджет готов. Теперь ради эксперимента создадим еще один.
Он тоже будет показывать значения поля progress, но в виде горизонтального индикатора (progress bar), двигаясь слева направо. Запрос в этом случае будет таким: sourcetype=«test. Сортировка по умолчанию по полю . Внизу (в зеленом) мы видим результат этого запроса. Далее кликаем на «Formatting options», выбираем тип «bar» (в зеленом), для оси Y задаем интервал от 0 до 1.
Почему- то тут ось X идет по вертикали (там будет отображаться поле . Так как запрос на предыдущей картинки показывал значение 1. Я пропустил это для первого виджета, спидометра, но отлаженный запрос и его визуальное представление можно сохранить в виде «Dashboard panel».
Для это кликаем на «Create» и «Dashboard panel..» (в красном) и сохраняем настройки. Назовем первый наш виджет «Speedometer», и второй «Progress bar». При сохранение первого виджета будет предложено также создать панель (dashboard), назовем ее «Test logging». При сохранении второго виджета добавим его уже созданную панель.
После создания панели можно кликнуть на «Dashboards & Views», выбрать ее по имени «Test logging». Внешний вид будет примерно таким: Пока данных нет, поэтому панели пустые. Мы видим название панели (в красном), названия виджетов (в желтом), кнопку активации панели (в зеленом) и кнопки «Edit» (в синем), которой можно налету подправить запрос или визуальное представление. Перед запуском скрипта надо через кнопку «Edit» зайти в каждый из виджетов и указать интервал времени обновления в одну секунду: от «rt- 1s» (real time — 1s), до «rt» (текущее время). Итак, все! Зажимаем на «On» и запускаем наш скрипт. Видео как это работает: Все!
Конечно, пример очень простой, но надеюсь, мне удалось передать хотя бы минимальное ощущение, как работает Спланк. Скажу, мы в компании недавно начали использовать этот продукт и пока довольны. В этом году я был на конференции Splunk. Live, где выступали люди из весьма солидных контор типа British Telecom.
С помощью Splunk одни обрабатывают гигабайты логов ежедневно. Увы, даже у крупных контор не всегда есть желание разрабатывать подсистему для обработки логов, так что Спланк может прийтись очень кстати.