স্ট্যাক ওভারফ্লোটি বাড়ার সাথে সাথে আমরা এইচটিটিপি ক্লায়েন্টগুলি সনাক্ত করার জন্য আমাদের আইআইএস লগগুলিকে ঘনিষ্ঠভাবে পর্যবেক্ষণ করতে শুরু করেছি - দুর্বৃত্ত ওয়েব মাকড়সার মতো জিনিস , ব্যবহারকারীরা প্রতি সেকেন্ডে রিফ্রেশ করার জন্য একটি বড় পৃষ্ঠা সেট করেছেন, দুর্বলভাবে লিখিত এক-স্ক্র্যাপ স্ক্র্যাপার, কৌশল ব্যবহারকারীরা পৃষ্ঠা বৃদ্ধি করার চেষ্টা করে এমন এক মিলিয়ন বার গণনা করে এবং আরও এগিয়ে।
আমি কয়েকটি লগ পার্সার ক্যোয়ারী নিয়ে এসেছি যা আইআইএস লগ ফাইলের দিকে নির্দেশ করার সময় আমাদের বেশিরভাগ বিজোড়তা এবং অস্বাভাবিকতা সনাক্ত করতে সহায়তা করে।
ইউআরএল দ্বারা শীর্ষ ব্যান্ডউইথ ব্যবহার
SELECT top 50 DISTINCT
SUBSTR(TO_LOWERCASE(cs-uri-stem), 0, 55) AS Url,
Count(*) AS Hits,
AVG(sc-bytes) AS AvgBytes,
SUM(sc-bytes) as ServedBytes
FROM {filename}
GROUP BY Url
HAVING Hits >= 20
ORDER BY ServedBytes DESC
url পরিবেশন করা औसतগুলি হিট করে --------------------------------------------------------- ---- ------- ------- /favicon.ico 16774 522 8756028 /content/img/search.png 15342 446 6842532
ইউআরএল দ্বারা শীর্ষ হিট
SELECT TOP 100
cs-uri-stem as Url,
COUNT(cs-uri-stem) AS Hits
FROM {filename}
GROUP BY cs-uri-stem
ORDER BY COUNT(cs-uri-stem) DESC
ইউআরএল হিট --------------------------------------------------------- ---- /content/img/sf/vote-arrow-down.png 14076 /content/img/sf/vote-arrow-up.png 14018
শীর্ষস্থানীয় ব্যান্ডউইথ এবং আইপি / ব্যবহারকারী-এজেন্ট দ্বারা হিট
SELECT TOP 30
c-ip as Client,
SUBSTR(cs(User-Agent), 0, 70) as Agent,
Sum(sc-bytes) AS TotalBytes,
Count(*) as Hits
FROM {filename}
group by c-ip, cs(User-Agent)
ORDER BY TotalBytes desc
ক্লায়েন্ট ব্যবহারকারী-এজেন্ট টোটবাইটস হিট ------------- ------------------------------------- -------- --------- ----- 66.249.68.47 মজিলা / 5.0 + (সামঞ্জস্যপূর্ণ; + গুগলবোট / 2.1; 135131089 16640 194.90.190.41 ওমগিলিবোট / 0.3 ++ ওমগিলি.কম 133805857 6447
আইপি / ব্যবহারকারী-এজেন্ট দ্বারা ঘন্টা বর্ধিত শীর্ষ ব্যান্ডউইথ
SELECT TOP 30
TO_STRING(time, 'h') as Hour,
c-ip as Client,
SUBSTR(cs(User-Agent), 0, 70) as Agent,
Sum(sc-bytes) AS TotalBytes,
count(*) as Hits
FROM {filename}
group by c-ip, cs(User-Agent), hour
ORDER BY sum(sc-bytes) desc
এইচআর ক্লায়েন্ট ব্যবহারকারী-এজেন্ট হিট - ------------- ----------------------------------- ------ -------- ---- 9 194.90.190.41 ওমগিলিবোট / 0.3 ++ ওমগিলি.কম 30634860 1549 10 194.90.190.41 ওমগিলিবোট / 0.3 ++ ওমগিলি.কম 29070370 1503
আইপি / ব্যবহারকারী-এজেন্ট দ্বারা ঘন্টা দ্বারা শীর্ষে হিট
SELECT TOP 30
TO_STRING(time, 'h') as Hour,
c-ip as Client,
SUBSTR(cs(User-Agent), 0, 70) as Agent,
count(*) as Hits,
Sum(sc-bytes) AS TotalBytes
FROM {filename}
group by c-ip, cs(User-Agent), hour
ORDER BY Hits desc
এইচআর ক্লায়েন্ট ব্যবহারকারী-এজেন্ট টোটবাইটে হিট - ------------- ----------------------------------- ------ ---- -------- 10 194.90.190.41 ওমগিলিবোট / 0.3 ++ ওমগিলি.কম 1503 29070370 12 66.249.68.47 মজিলা / 5.0 + (সামঞ্জস্যপূর্ণ; + গুগলবোট / 2.1 1363 13186302
অবশ্যই {ফাইলের নাম আইআইএস লগফাইলে যেমন একটি পথ হতে পারে
c:\working\sologs\u_ex090708.log
আমি ভাল আইআইএস লোগপার্সার ক্যোয়ারীর জন্য প্রচুর ওয়েব অনুসন্ধান করেছি এবং মূল্যবান কিছু খুঁজে পেয়েছি। উপরে এই 5, গুরুতর সমস্যা ক্লায়েন্টদের সনাক্ত করতে আমাদের প্রচুর পরিমাণে সহায়তা করেছে। তবে আমি ভাবছি - আমরা কী মিস করছি?
আইআইএস লগগুলিকে (বিশেষত লোগপার্সার ক্যোয়ারী সহ ) আইটিআইএস লগগুলি টুকরো টুকরো করে কাটানোর জন্য অন্যান্য কোন উপায় রয়েছে যা তাদের পরিসংখ্যানগত অসংগতির জন্য কাটাতে পারে? আপনি আপনার সার্ভারগুলিতে চালিত কোনও ভাল আইআইএস লোগপার্সার ক্যোয়ারী রয়েছে?