Как отфильтровать и анализировать логи IIS веб-сервера вручную

Сбор и анализ логов веб-сервера является важным инструментом для администраторов, разработчиков и аналитиков. В этой статье мы рассмотрим, как отфильтровать и анализировать логи IIS веб-сервера вручную.

Предоставленные в IIS журналы содержат много полезной информации о запросах, передаваемых клиентами на ваш сервер. Хотите узнать, какие страницы были запрошены, откуда пришли пользователи и какой браузер они используют? Это все можно найти в журналах IIS.

Основная идея работы с журналами IIS заключается в пропарсивании их и нахождении нужных вам строк. Существует несколько способов сделать это. Один из них — использование командной строки и инструментов, предоставляемых Microsoft. Другой способ — использование серверов с базами данных SQL и настраиваемой системы сбора и анализа логов, таких как ELK. В этой статье я расскажу о первом способе.

Настраиваем server properties для записи журналов IIS в файловую систему. Посредством powershell создаем нужные директории и файлы. Потом с помощью инструмента winlogbeat можем получать логи из файла и отправлять в Kibana. Веб-интерфейс Kibana позволяет нам собирать, отфильтровывать и анализировать логи наиболее удобным и понятным способом. Нужные поля лога можно выбрать и посмотреть через Kibana.

Введение великолепное, давайте теперь погрузимся глубже в процесс отфильтровки и анализа логов IIS веб-сервера!

Как отфильтровать и анализировать логи IIS веб-сервера

Введение

Журналы IIS, представленные в системах Windows, содержат подробную информацию о запросах к веб-серверу, файловом сервере и других серверах, используемых в вашей инфраструктуре.

В этом материале я расскажу, как настраиваем сбор логов IIS, как пропарсить журналы с помощью PowerShell и анализировать их с помощью инструментов ELK (Elasticsearch, Logstash, Kibana).

Настройка сбора логов IIS

• На сервере, где установлен IIS, открываем «Свойства сайта» и переходим на вкладку «Журналы».
• Устанавливаем путь для сохранения журналов и выбираем необходимые свойства для записи в журнал.
• Журналы IIS можно настраивать и посредством командной строки, используя инструмент appcmd.exe.

Пропарсить журналы IIS с помощью PowerShell

1. С помощью PowerShell можно получать данные из журналов IIS, используя модуль Logparser.
2. Настраиваем файловую систему для хранения журналов и запускаем PowerShell.
3. Используем команду Import-Module LogParser, чтобы загрузить модуль Logparser в PowerShell.
4. Используем команду Get-ChildItem для получения списка всех журналов IIS.
5. Выбираем нужные нам журналы и применяем команду LogParser -i:iisw3c -o:datagrid для просмотра записей журнала в виде таблицы.

Анализировать логи IIS с помощью ELK

• Устанавливаем Elasticsearch, Logstash и Kibana на сервер, где хранятся журналы IIS.
• Конфигурируем Logstash для сбора и фильтрации данных из журналов IIS и отправки их в Elasticsearch.
• Создаем индекс в Elasticsearch для хранения данных из журналов IIS.
• Настройка Kibana для визуализации данных из журналов IIS, создания дашбордов и выполнения запросов.

Заключение

Отфильтровать и анализировать логи IIS веб-сервера можно с помощью различных инструментов и технологий. В этой статье были представлены наиболее популярные подходы, используемые для этой цели. Используя PowerShell и ELK, вы сможете получить полный контроль над вашими логами IIS и получать ценные аналитические данные для улучшения производительности и безопасности вашего веб-сервера.

Сбор windows логов: основные принципы и инструменты

При работе с Windows серверами важно иметь возможность собирать и анализировать логи, чтобы быстро и эффективно находить различные проблемы и уязвимости в системе. Для этого существуют различные инструменты и методы сбора логов.

Windows Event Log

Windows Event Log (Журнал событий Windows) представляет собой основной источник системной информации о работе операционной системы Windows. Он содержит информацию о событиях, которые происходят в системе, таких как ошибки приложений, ситуации безопасности, изменения конфигурации и многое другое. Данные в Windows Event Log хранятся в виде записей событий.

PowerShell

С помощью PowerShell можно получать, анализировать и настраивать логи Windows Event Log. PowerShell предлагает ряд командлетов для работы с журналами событий и записями событий, позволяя запрашивать и фильтровать нужные данные. Например, командлет Get-EventLog позволяет получать записи событий из указанного журнала, их можно обрабатывать и анализировать дальше.

ELK Stack

ELK Stack (Elasticsearch, Logstash, Kibana) является мощным инструментом для анализа и визуализации лог-файлов из различных источников. С помощью ELK Stack можно собирать логи с Windows серверов и представлять их в удобной для анализа форме. Logstash служит для сбора и обработки логов, Elasticsearch – для хранения и поиска данных, а Kibana – для создания дашбордов и визуализации данных.

Winlogbeat

Один из инструментов, используемых в составе ELK Stack для сбора логов с Windows серверов, – Winlogbeat. Winlogbeat позволяет пропарсить и отправить нужные данные из журналов Windows Event Log на сервер ELK. Это удобный способ собрать и централизованно анализировать логи с нескольких серверов.

SQL Server

SQL Server также может использоваться для сбора и анализа логов Windows. В таблице-журнале можно хранить записи событий из различных журналов Windows Event Log. Например, можно хранить записи событий о сбоях системы или неудачных попытках входа в систему. С помощью SQL-запросов можно анализировать эти записи и получать необходимую информацию о состоянии сервера.

Заключение

Сбор и анализ логов Windows серверов является важным шагом для обеспечения безопасности и стабильности вашей системы. Представленные инструменты и методы позволяют эффективно собирать, фильтровать и анализировать логи, выявляя потенциальные проблемы и уязвимости. Настраиваемая работа с журналами позволяет получать и анализировать данные, важные для вашего сервера.

Работа с журналами IIS через запросы SQL

Для начала настраиваем сбор логов IIS. Веб-сервер IIS ведет журналы событий в текстовых файлах. В зависимости от настроек, журналы IIS можно разбить на несколько файлов или вести в едином файловом журнале. Для работы с журналами IIS мы будем использовать PowerShell.

Сначала получаем список журналов IIS на сервере:

$logs = Get-WinEvent -ListLog "*IIS*"

Затем настраиваем сбор нужных журналов:

$logs | Where-Object { $_.LogDisplayName -match "W3SVC"} | ForEach-Object {
$logName = $_.LogName
$path = "C:\Logs\$logName.evtx"
wevtutil sl $logName $path
}

Теперь мы готовы работать с файловыми журналами IIS. Для анализа логов IIS также можно использовать инструменты, представленные в составе популярной системы ELK (Elasticsearch, Logstash, Kibana). ELK позволяет пропарсить журналы IIS и получать различную информацию и аналитику о работе вашего веб-сервера.

Для загрузки журналов IIS в ELK можно использовать инструмент Winlogbeat. В конфигурационном файле Winlogbeat нужно указать путь к файловому журналу IIS:

winlogbeat.event_logs:
- name: Application
ignore_older: 72h
- name: System
ignore_older: 72h
- name: ForwardedEvents
- name: "C:\\Logs\\W3SVC1\\u_ex*.log"
harvester_buffer_size: 16384
fields:
document_type: iis_log
fields_under_root: true

После этого настраиваем Logstash для обработки журналов IIS и отправки их в Elasticsearch для дальнейшего анализа.

Мы также можем работать с журналами IIS напрямую с помощью запросов SQL. Для этого используется студия управления IIS (Internet Information Services (IIS) Manager), которая есть в составе серверов Windows.

В студии IIS можно получить журналы IIS и выполнить различные операции над ними, такие как фильтрация, сортировка и анализ. Кроме того, студия IIS позволяет создать поисковые действия (actions) для автоматической обработки журналов.

Если мы хотим отфильтровать журнал IIS в студии IIS по определенным критериям, можем воспользоваться командной строкой:

logparser.exe "SELECT * FROM C:\Logs\W3SVC\u_ex*.log" -o:DATAGRID

Журналы IIS могут содержать множество полей (properties), таких как IP-адрес клиента, доменное имя, URL, код ответа, время ответа сервера и другие. Используя запросы SQL, можно анализировать эти поля и получать нужную информацию о работе веб-сервера.

Видео:

006. Анализ логов в тестировании — что объединяет QA, аналитику и DevOps – Ирина Пчелинцева

006. Анализ логов в тестировании — что объединяет QA, аналитику и DevOps – Ирина Пчелинцева by Тестирование 8,819 views 6 years ago 26 minutes