フィッシングウェブサイトデータセット（UCIリポジトリから）を使用します。このデータセットには、ウェブサイトの特徴（URLにIPアドレスが含まれているか、ドメインの年齢、HTML内の疑わしい要素の存在など）と、そのサイトがフィッシングか正当かを示すラベルが含まれています。ウェブサイトを分類するためにロジスティック回帰モデルを訓練し、テスト分割でその精度、適合率、再現率、F1スコア、ROC AUCを評価します。

import pandas as pd
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score

# 1. Load dataset
data = fetch_openml(data_id=4534, as_frame=True)  # PhishingWebsites
df   = data.frame
print(df.head())

# 2. Target mapping ─ legitimate (1) → 0, everything else → 1
df['Result'] = df['Result'].astype(int)
y = (df['Result'] != 1).astype(int)

# 3. Features
X = df.drop(columns=['Result'])

# 4. Train/test split with stratify
## Stratify ensures balanced classes in train/test sets
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.20, random_state=42, stratify=y)

# 5. Scale
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test  = scaler.transform(X_test)

# 6. Logistic Regression
## L‑BFGS is a modern, memory‑efficient “quasi‑Newton” algorithm that works well for medium/large datasets and supports multiclass natively.
## Upper bound on how many optimization steps the solver may take before it gives up.	Not all steps are guaranteed to be taken, but would be the maximum before a "failed to converge" error.
clf = LogisticRegression(max_iter=1000, solver='lbfgs', random_state=42)
clf.fit(X_train, y_train)

# 7. Evaluation
y_pred = clf.predict(X_test)
y_prob = clf.predict_proba(X_test)[:, 1]

print(f"Accuracy : {accuracy_score(y_test, y_pred):.3f}")
print(f"Precision: {precision_score(y_test, y_pred):.3f}")
print(f"Recall   : {recall_score(y_test, y_pred):.3f}")
print(f"F1-score : {f1_score(y_test, y_pred):.3f}")
print(f"ROC AUC  : {roc_auc_score(y_test, y_prob):.3f}")

"""
Accuracy : 0.928
Precision: 0.934
Recall   : 0.901
F1-score : 0.917
ROC AUC  : 0.979
"""

このフィッシング検出の例では、ロジスティック回帰が各ウェブサイトがフィッシングである確率を生成します。精度、適合率、再現率、F1を評価することで、モデルのパフォーマンスを把握できます。たとえば、高い再現率は、ほとんどのフィッシングサイトを捕捉することを意味します（見逃した攻撃を最小限に抑えるためにセキュリティにとって重要です）。一方、高い適合率は、誤警報が少ないことを意味します（アナリストの疲労を避けるために重要です）。ROC AUC（ROC曲線下面積）は、閾値に依存しないパフォーマンスの指標を提供します（1.0が理想、0.5は偶然と同じです）。ロジスティック回帰はこのようなタスクでよく機能しますが、フィッシングサイトと正当なサイトの間の決定境界が複雑な場合は、より強力な非線形モデルが必要になるかもしれません。

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score

# 1️⃣  NSL‑KDD column names (41 features + class + difficulty)
col_names = [
"duration","protocol_type","service","flag","src_bytes","dst_bytes","land",
"wrong_fragment","urgent","hot","num_failed_logins","logged_in","num_compromised",
"root_shell","su_attempted","num_root","num_file_creations","num_shells",
"num_access_files","num_outbound_cmds","is_host_login","is_guest_login","count",
"srv_count","serror_rate","srv_serror_rate","rerror_rate","srv_rerror_rate",
"same_srv_rate","diff_srv_rate","srv_diff_host_rate","dst_host_count",
"dst_host_srv_count","dst_host_same_srv_rate","dst_host_diff_srv_rate",
"dst_host_same_src_port_rate","dst_host_srv_diff_host_rate","dst_host_serror_rate",
"dst_host_srv_serror_rate","dst_host_rerror_rate","dst_host_srv_rerror_rate",
"class","difficulty_level"
]

# 2️⃣  Load data ➜ *headerless* CSV
train_url = "https://raw.githubusercontent.com/Mamcose/NSL-KDD-Network-Intrusion-Detection/master/NSL_KDD_Train.csv"
test_url  = "https://raw.githubusercontent.com/Mamcose/NSL-KDD-Network-Intrusion-Detection/master/NSL_KDD_Test.csv"

df_train = pd.read_csv(train_url, header=None, names=col_names)
df_test  = pd.read_csv(test_url,  header=None, names=col_names)

# 3️⃣  Encode the 3 nominal features
for col in ['protocol_type', 'service', 'flag']:
le = LabelEncoder().fit(pd.concat([df_train[col], df_test[col]]))
df_train[col] = le.transform(df_train[col])
df_test[col]  = le.transform(df_test[col])

# 4️⃣  Prepare X / y   (binary: 0 = normal, 1 = attack)
X_train = df_train.drop(columns=['class', 'difficulty_level'])
y_train = (df_train['class'].str.lower() != 'normal').astype(int)

X_test  = df_test.drop(columns=['class', 'difficulty_level'])
y_test  = (df_test['class'].str.lower() != 'normal').astype(int)

# 5️⃣  Train Decision‑Tree
clf = DecisionTreeClassifier(max_depth=10, random_state=42)
clf.fit(X_train, y_train)

# 6️⃣  Evaluate
y_pred = clf.predict(X_test)
y_prob = clf.predict_proba(X_test)[:, 1]

print(f"Accuracy : {accuracy_score(y_test, y_pred):.3f}")
print(f"Precision: {precision_score(y_test, y_pred):.3f}")
print(f"Recall   : {recall_score(y_test, y_pred):.3f}")
print(f"F1‑score : {f1_score(y_test, y_pred):.3f}")
print(f"ROC AUC  : {roc_auc_score(y_test, y_prob):.3f}")


"""
Accuracy : 0.772
Precision: 0.967
Recall   : 0.621
F1‑score : 0.756
ROC AUC  : 0.758
"""

この決定木の例では、極端な過剰適合を避けるために木の深さを10に制限しました（max_depth=10パラメータ）。メトリクスは、木が正常なトラフィックと攻撃トラフィックをどれだけうまく区別できるかを示しています。高い再現率は、ほとんどの攻撃を捕捉することを意味します（IDSにとって重要）、一方で高い精度は偽陽性が少ないことを意味します。決定木は構造化データに対して適度な精度を達成することが多いですが、単一の木が可能な最高のパフォーマンスに達することはないかもしれません。それでも、モデルの解釈可能性は大きな利点です -- たとえば、接続を悪意のあるものとしてフラグ付けするのに最も影響力のある特徴（例：service、src_bytesなど）を確認するために木の分割を調べることができます。

import pandas as pd
from sklearn.preprocessing import LabelEncoder
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import (accuracy_score, precision_score,
recall_score, f1_score, roc_auc_score)

# ──────────────────────────────────────────────
# 1. LOAD DATA  ➜  files have **no header row**, so we
#                 pass `header=None` and give our own column names.
# ──────────────────────────────────────────────
col_names = [                       # 41 features + 2 targets
"duration","protocol_type","service","flag","src_bytes","dst_bytes","land",
"wrong_fragment","urgent","hot","num_failed_logins","logged_in",
"num_compromised","root_shell","su_attempted","num_root","num_file_creations",
"num_shells","num_access_files","num_outbound_cmds","is_host_login",
"is_guest_login","count","srv_count","serror_rate","srv_serror_rate",
"rerror_rate","srv_rerror_rate","same_srv_rate","diff_srv_rate",
"srv_diff_host_rate","dst_host_count","dst_host_srv_count",
"dst_host_same_srv_rate","dst_host_diff_srv_rate",
"dst_host_same_src_port_rate","dst_host_srv_diff_host_rate",
"dst_host_serror_rate","dst_host_srv_serror_rate","dst_host_rerror_rate",
"dst_host_srv_rerror_rate","class","difficulty_level"
]

train_url = "https://raw.githubusercontent.com/Mamcose/NSL-KDD-Network-Intrusion-Detection/master/NSL_KDD_Train.csv"
test_url  = "https://raw.githubusercontent.com/Mamcose/NSL-KDD-Network-Intrusion-Detection/master/NSL_KDD_Test.csv"

df_train = pd.read_csv(train_url, header=None, names=col_names)
df_test  = pd.read_csv(test_url,  header=None, names=col_names)

# ──────────────────────────────────────────────
# 2. PRE‑PROCESSING
# ──────────────────────────────────────────────
# 2‑a) Encode the three categorical columns so that the model
#      receives integers instead of strings.
#      LabelEncoder gives an int to each unique value in the column: {'icmp':0, 'tcp':1, 'udp':2}
for col in ['protocol_type', 'service', 'flag']:
le = LabelEncoder().fit(pd.concat([df_train[col], df_test[col]]))
df_train[col] = le.transform(df_train[col])
df_test[col]  = le.transform(df_test[col])

# 2‑b) Build feature matrix X  (drop target & difficulty)
X_train = df_train.drop(columns=['class', 'difficulty_level'])
X_test  = df_test.drop(columns=['class', 'difficulty_level'])

# 2‑c) Convert multi‑class labels to binary
#      label 0 → 'normal' traffic, label 1 → any attack
y_train = (df_train['class'].str.lower() != 'normal').astype(int)
y_test  = (df_test['class'].str.lower() != 'normal').astype(int)

# ──────────────────────────────────────────────
# 3. MODEL: RANDOM FOREST
# ──────────────────────────────────────────────
# • n_estimators = 100 ➜ build 100 different decision‑trees.
# • max_depth=None  ➜ let each tree grow until pure leaves
#                    (or until it hits other stopping criteria).
# • random_state=42 ➜ reproducible randomness.
model = RandomForestClassifier(
n_estimators=100,
max_depth=None,
random_state=42,
bootstrap=True          # default: each tree is trained on a
# bootstrap sample the same size as
# the original training set.
# max_samples           # ← you can set this (float or int) to
#     use a smaller % of samples per tree.
)

model.fit(X_train, y_train)

# ──────────────────────────────────────────────
# 4. EVALUATION
# ──────────────────────────────────────────────
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1]

print(f"Accuracy : {accuracy_score(y_test, y_pred):.3f}")
print(f"Precision: {precision_score(y_test, y_pred):.3f}")
print(f"Recall   : {recall_score(y_test, y_pred):.3f}")
print(f"F1‑score : {f1_score(y_test, y_pred):.3f}")
print(f"ROC AUC  : {roc_auc_score(y_test, y_prob):.3f}")

"""
Accuracy:  0.770
Precision: 0.966
Recall:    0.618
F1-score:  0.754
ROC AUC:   0.962
"""

ランダムフォレストは、通常、この侵入検知タスクで強力な結果を達成します。データに応じて、単一の決定木と比較してF1やAUCのような指標の改善が見られるかもしれません。これは、*"Random Forest (RF)はアンサンブル分類器であり、攻撃の効果的な分類において他の従来の分類器と比較して優れた性能を発揮します。"*という理解と一致します。セキュリティオペレーションの文脈では、ランダムフォレストモデルは、多くの決定ルールの平均化のおかげで、攻撃をより信頼性高くフラグ付けし、誤警報を減少させることができます。フォレストからの特徴の重要性は、どのネットワークの特徴が攻撃を示す最も指標的であるか（例えば、特定のネットワークサービスや異常なパケット数）を教えてくれるかもしれません。

import pandas as pd
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import (accuracy_score, precision_score,
recall_score, f1_score, roc_auc_score)

# ─────────────────────────────────────────────────────────────
# 1️⃣  LOAD DATASET   (OpenML id 4534: “PhishingWebsites”)
#     • as_frame=True  ➜  returns a pandas DataFrame
# ─────────────────────────────────────────────────────────────
data = fetch_openml(data_id=4534, as_frame=True)   # or data_name="PhishingWebsites"
df   = data.frame
print(df.head())          # quick sanity‑check

# ─────────────────────────────────────────────────────────────
# 2️⃣  TARGET: 0 = legitimate, 1 = phishing
#     The raw column has values {1, 0, -1}:
#       1  → legitimate   → 0
#       0  &  -1          → phishing    → 1
# ─────────────────────────────────────────────────────────────
y = (df["Result"].astype(int) != 1).astype(int)
X = df.drop(columns=["Result"])

# Train / test split  (stratified keeps class proportions)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.20, random_state=42, stratify=y)

# ─────────────────────────────────────────────────────────────
# 3️⃣  PRE‑PROCESS: Standardize features (mean‑0 / std‑1)
# ─────────────────────────────────────────────────────────────
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test  = scaler.transform(X_test)

# ─────────────────────────────────────────────────────────────
# 4️⃣  MODEL: RBF‑kernel SVM
#     • C=1.0         (regularization strength)
#     • gamma='scale' (1 / [n_features × var(X)])
#     • probability=True  → enable predict_proba for ROC‑AUC
# ─────────────────────────────────────────────────────────────
clf = SVC(kernel="rbf", C=1.0, gamma="scale",
probability=True, random_state=42)
clf.fit(X_train, y_train)

# ─────────────────────────────────────────────────────────────
# 5️⃣  EVALUATION
# ─────────────────────────────────────────────────────────────
y_pred = clf.predict(X_test)
y_prob = clf.predict_proba(X_test)[:, 1]   # P(class 1)

print(f"Accuracy : {accuracy_score(y_test, y_pred):.3f}")
print(f"Precision: {precision_score(y_test, y_pred):.3f}")
print(f"Recall   : {recall_score(y_test, y_pred):.3f}")
print(f"F1‑score : {f1_score(y_test, y_pred):.3f}")
print(f"ROC AUC  : {roc_auc_score(y_test, y_prob):.3f}")

"""
Accuracy : 0.956
Precision: 0.963
Recall   : 0.937
F1‑score : 0.950
ROC AUC  : 0.989
"""

SVMモデルは、同じタスクに対するロジスティック回帰と比較できるメトリクスを出力します。データが特徴によってうまく分離されている場合、SVMは高い精度とAUCを達成することがわかるかもしれません。一方、データセットに多くのノイズや重複するクラスがある場合、SVMはロジスティック回帰を大幅に上回ることはないかもしれません。実際には、SVMは特徴とクラスの間に複雑な非線形関係がある場合にブーストを提供できます。RBFカーネルは、ロジスティック回帰が見逃すような曲がった決定境界を捉えることができます。すべてのモデルと同様に、バイアスと分散のバランスを取るために、C（正則化）およびカーネルパラメータ（RBFの場合のgammaなど）の慎重な調整が必要です。

import pandas as pd
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score

# 1. Load NSL-KDD data
col_names = [                       # 41 features + 2 targets
"duration","protocol_type","service","flag","src_bytes","dst_bytes","land",
"wrong_fragment","urgent","hot","num_failed_logins","logged_in",
"num_compromised","root_shell","su_attempted","num_root","num_file_creations",
"num_shells","num_access_files","num_outbound_cmds","is_host_login",
"is_guest_login","count","srv_count","serror_rate","srv_serror_rate",
"rerror_rate","srv_rerror_rate","same_srv_rate","diff_srv_rate",
"srv_diff_host_rate","dst_host_count","dst_host_srv_count",
"dst_host_same_srv_rate","dst_host_diff_srv_rate",
"dst_host_same_src_port_rate","dst_host_srv_diff_host_rate",
"dst_host_serror_rate","dst_host_srv_serror_rate","dst_host_rerror_rate",
"dst_host_srv_rerror_rate","class","difficulty_level"
]

train_url = "https://raw.githubusercontent.com/Mamcose/NSL-KDD-Network-Intrusion-Detection/master/NSL_KDD_Train.csv"
test_url  = "https://raw.githubusercontent.com/Mamcose/NSL-KDD-Network-Intrusion-Detection/master/NSL_KDD_Test.csv"

df_train = pd.read_csv(train_url, header=None, names=col_names)
df_test  = pd.read_csv(test_url,  header=None, names=col_names)

# 2. Preprocess (encode categorical features, prepare binary labels)
from sklearn.preprocessing import LabelEncoder
for col in ['protocol_type', 'service', 'flag']:
le = LabelEncoder()
le.fit(pd.concat([df_train[col], df_test[col]], axis=0))
df_train[col] = le.transform(df_train[col])
df_test[col]  = le.transform(df_test[col])
X_train = df_train.drop(columns=['class', 'difficulty_level'], errors='ignore')
y_train = df_train['class'].apply(lambda x: 0 if x.strip().lower() == 'normal' else 1)
X_test  = df_test.drop(columns=['class', 'difficulty_level'], errors='ignore')
y_test  = df_test['class'].apply(lambda x: 0 if x.strip().lower() == 'normal' else 1)

# 3. Train Gaussian Naive Bayes
model = GaussianNB()
model.fit(X_train, y_train)

# 4. Evaluate on test set
y_pred = model.predict(X_test)
# For ROC AUC, need probability of class 1:
y_prob = model.predict_proba(X_test)[:, 1] if hasattr(model, "predict_proba") else y_pred
print(f"Accuracy:  {accuracy_score(y_test, y_pred):.3f}")
print(f"Precision: {precision_score(y_test, y_pred):.3f}")
print(f"Recall:    {recall_score(y_test, y_pred):.3f}")
print(f"F1-score:  {f1_score(y_test, y_pred):.3f}")
print(f"ROC AUC:   {roc_auc_score(y_test, y_prob):.3f}")

"""
Accuracy:  0.450
Precision: 0.937
Recall:    0.037
F1-score:  0.071
ROC AUC:   0.867
"""

このコードは、攻撃を検出するためにナイーブベイズ分類器をトレーニングします。ナイーブベイズは、特徴間の独立性を仮定して、トレーニングデータに基づいて P(service=http | Attack) や P(Service=http | Normal) のようなものを計算します。その後、観測された特徴に基づいて新しい接続を正常または攻撃として分類するために、これらの確率を使用します。NBのNSL-KDDにおけるパフォーマンスは、より高度なモデルほど高くないかもしれません（特徴の独立性が破られるため）が、しばしば十分であり、極めて高速であるという利点があります。リアルタイムのメールフィルタリングやURLの初期トリアージのようなシナリオでは、ナイーブベイズモデルはリソース使用量が少なく、明らかに悪意のあるケースを迅速にフラグ付けできます。

再びNSL-KDD（バイナリ分類）を使用します。k-NNは計算負荷が高いため、このデモではトレーニングデータのサブセットを使用して扱いやすくします。たとえば、全体の125kから20,000のトレーニングサンプルを選び、k=5の近傍を使用します。トレーニング後（実際にはデータを保存するだけ）、テストセットで評価します。また、距離計算のために特徴をスケーリングして、単一の特徴がスケールのために支配しないようにします。

import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score

# 1. Load NSL-KDD and preprocess similarly
col_names = [                       # 41 features + 2 targets
"duration","protocol_type","service","flag","src_bytes","dst_bytes","land",
"wrong_fragment","urgent","hot","num_failed_logins","logged_in",
"num_compromised","root_shell","su_attempted","num_root","num_file_creations",
"num_shells","num_access_files","num_outbound_cmds","is_host_login",
"is_guest_login","count","srv_count","serror_rate","srv_serror_rate",
"rerror_rate","srv_rerror_rate","same_srv_rate","diff_srv_rate",
"srv_diff_host_rate","dst_host_count","dst_host_srv_count",
"dst_host_same_srv_rate","dst_host_diff_srv_rate",
"dst_host_same_src_port_rate","dst_host_srv_diff_host_rate",
"dst_host_serror_rate","dst_host_srv_serror_rate","dst_host_rerror_rate",
"dst_host_srv_rerror_rate","class","difficulty_level"
]

train_url = "https://raw.githubusercontent.com/Mamcose/NSL-KDD-Network-Intrusion-Detection/master/NSL_KDD_Train.csv"
test_url  = "https://raw.githubusercontent.com/Mamcose/NSL-KDD-Network-Intrusion-Detection/master/NSL_KDD_Test.csv"

df_train = pd.read_csv(train_url, header=None, names=col_names)
df_test  = pd.read_csv(test_url,  header=None, names=col_names)

from sklearn.preprocessing import LabelEncoder
for col in ['protocol_type', 'service', 'flag']:
le = LabelEncoder()
le.fit(pd.concat([df_train[col], df_test[col]], axis=0))
df_train[col] = le.transform(df_train[col])
df_test[col]  = le.transform(df_test[col])
X = df_train.drop(columns=['class', 'difficulty_level'], errors='ignore')
y = df_train['class'].apply(lambda x: 0 if x.strip().lower() == 'normal' else 1)
# Use a random subset of the training data for K-NN (to reduce computation)
X_train = X.sample(n=20000, random_state=42)
y_train = y[X_train.index]
# Use the full test set for evaluation
X_test = df_test.drop(columns=['class', 'difficulty_level'], errors='ignore')
y_test = df_test['class'].apply(lambda x: 0 if x.strip().lower() == 'normal' else 1)

# 2. Feature scaling for distance-based model
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test  = scaler.transform(X_test)

# 3. Train k-NN classifier (store data)
model = KNeighborsClassifier(n_neighbors=5, n_jobs=-1)
model.fit(X_train, y_train)

# 4. Evaluate on test set
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1]
print(f"Accuracy:  {accuracy_score(y_test, y_pred):.3f}")
print(f"Precision: {precision_score(y_test, y_pred):.3f}")
print(f"Recall:    {recall_score(y_test, y_pred):.3f}")
print(f"F1-score:  {f1_score(y_test, y_pred):.3f}")
print(f"ROC AUC:   {roc_auc_score(y_test, y_prob):.3f}")

"""
Accuracy:  0.780
Precision: 0.972
Recall:    0.632
F1-score:  0.766
ROC AUC:   0.837
"""

k-NNモデルは、トレーニングセットのサブセット内で最も近い5つの接続を見て接続を分類します。例えば、これらの隣接接続のうち4つが攻撃（異常）で1つが正常である場合、新しい接続は攻撃として分類されます。パフォーマンスは合理的かもしれませんが、同じデータに対して適切に調整されたRandom ForestやSVMほど高くないことが多いです。しかし、k-NNはクラス分布が非常に不規則で複雑な場合に際立つことがあります。サイバーセキュリティにおいて、k-NN（k=1または小さなk）は、既知の攻撃パターンの検出や、より複雑なシステムのコンポーネント（例えば、クラスタリングを行い、その後クラスタメンバーシップに基づいて分類する）として使用される可能性があります。

勾配ブースティングマシン（例：XGBoost）

勾配ブースティングマシンは、構造化データに対して最も強力なアルゴリズムの一つです。勾配ブースティングは、弱い学習者（通常は決定木）のアンサンブルを逐次的に構築する技術を指し、各新しいモデルが前のアンサンブルの誤りを修正します。並列に木を構築して平均化するバギング（Random Forest）とは異なり、ブースティングは木を一つずつ構築し、各木が前の木が誤予測したインスタンスにより焦点を当てます。

近年の最も人気のある実装は、XGBoost、LightGBM、およびCatBoostで、これらはすべて勾配ブースティング決定木（GBDT）ライブラリです。これらは機械学習コンペティションやアプリケーションで非常に成功を収めており、しばしば表形式データセットで最先端のパフォーマンスを達成しています。サイバーセキュリティにおいて、研究者や実務者は、マルウェア検出（ファイルや実行時の挙動から抽出された特徴を使用）やネットワーク侵入検出のタスクに勾配ブーストツリーを使用しています。例えば、勾配ブースティングモデルは、「多くのSYNパケットと異常なポートがある場合 -> スキャンの可能性が高い」といった多くの弱いルール（木）を組み合わせて、多くの微妙なパターンを考慮した強力な複合検出器を作成できます。

なぜブーストされた木はこれほど効果的なのでしょうか？シーケンス内の各木は、現在のアンサンブルの予測の残差誤差（勾配）に基づいて訓練されます。このようにして、モデルは徐々に**「ブースト」**される弱い領域を強化します。決定木を基礎学習者として使用することで、最終モデルは複雑な相互作用や非線形関係を捉えることができます。また、ブースティングは本質的に組み込みの正則化の形を持っています：多くの小さな木を追加し（その寄与をスケールするために学習率を使用）、適切なパラメータが選択されている限り、過剰適合を防ぎながらよく一般化します。

勾配ブースティングの主な特徴：

• 問題のタイプ： 主に分類と回帰。セキュリティでは通常、分類（例えば、接続やファイルを二値分類する）。二値、多クラス（適切な損失を伴う）、さらにはランキング問題を扱います。

• 解釈可能性： 低から中程度。単一のブーストされた木は小さいですが、完全なモデルは数百の木を持つ可能性があり、全体としては人間が解釈するのが難しいです。しかし、Random Forestのように、特徴の重要度スコアを提供でき、SHAP（SHapley Additive exPlanations）などのツールを使用して、個々の予測をある程度解釈することができます。

• 利点： 構造化/表形式データに対してしばしば最も高いパフォーマンスを発揮するアルゴリズムです。複雑なパターンや相互作用を検出できます。モデルの複雑さを調整し、過剰適合を防ぐための多くの調整ノブ（木の数、木の深さ、学習率、正則化項）があります。現代の実装は速度の最適化がされており（例えば、XGBoostは二次勾配情報と効率的なデータ構造を使用）、適切な損失関数やサンプル重みの調整と組み合わせることで、不均衡データをより良く扱う傾向があります。

• 制限： より単純なモデルよりも調整が複雑で、木が深い場合や木の数が多い場合は訓練が遅くなることがあります（ただし、同じデータで比較可能な深層ニューラルネットワークの訓練よりは通常速いです）。適切に調整されていない場合、モデルは過剰適合する可能性があります（例えば、十分な正則化がない深い木が多すぎる場合）。多くのハイパーパラメータがあるため、勾配ブースティングを効果的に使用するには、より多くの専門知識や実験が必要な場合があります。また、木ベースの手法のように、非常にスパースな高次元データを線形モデルやナイーブベイズほど効率的に扱うことはできません（ただし、テキスト分類などで適用可能ですが、特徴エンジニアリングなしでは最初の選択肢ではないかもしれません）。

import pandas as pd
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score

# 1️⃣ Load the “Phishing Websites” data directly from OpenML
data = fetch_openml(data_id=4534, as_frame=True)   # or data_name="PhishingWebsites"
df   = data.frame

# 2️⃣ Separate features/target & make sure everything is numeric
X = df.drop(columns=["Result"])
y = df["Result"].astype(int).apply(lambda v: 1 if v == 1 else 0)  # map {-1,1} → {0,1}

# (If any column is still object‑typed, coerce it to numeric.)
X = X.apply(pd.to_numeric, errors="coerce").fillna(0)

# 3️⃣ Train/test split
X_train, X_test, y_train, y_test = train_test_split(
X.values, y, test_size=0.20, random_state=42
)

# 4️⃣ Gradient Boosting model
model = GradientBoostingClassifier(
n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42
)
model.fit(X_train, y_train)

# 5️⃣ Evaluation
y_pred = model.predict(X_test)
y_prob = model.predict_proba(X_test)[:, 1]

print(f"Accuracy:  {accuracy_score(y_test, y_pred):.3f}")
print(f"Precision: {precision_score(y_test, y_pred):.3f}")
print(f"Recall:    {recall_score(y_test, y_pred):.3f}")
print(f"F1‑score:  {f1_score(y_test, y_pred):.3f}")
print(f"ROC AUC:   {roc_auc_score(y_test, y_prob):.3f}")

"""
Accuracy:  0.951
Precision: 0.949
Recall:    0.965
F1‑score:  0.957
ROC AUC:   0.990
"""

モデルの組み合わせ：アンサンブル学習とスタッキング

アンサンブル学習は、複数のモデルを組み合わせて全体のパフォーマンスを向上させる戦略です。すでに特定のアンサンブル手法を見ました：ランダムフォレスト（バギングによる木のアンサンブル）と勾配ブースティング（逐次ブースティングによる木のアンサンブル）。しかし、アンサンブルは投票アンサンブルや**スタックジェネラリゼーション（スタッキング）**のように他の方法でも作成できます。主なアイデアは、異なるモデルが異なるパターンを捉えたり、異なる弱点を持っている可能性があるため、それらを組み合わせることで、各モデルの誤りを他のモデルの強みで補うことができるということです。

• 投票アンサンブル： シンプルな投票分類器では、複数の多様なモデル（例えば、ロジスティック回帰、決定木、SVM）を訓練し、最終予測に投票させます（分類のための多数決）。投票に重みを付ける場合（例えば、より正確なモデルに高い重みを付ける）、これは重み付き投票スキームです。これは、個々のモデルが合理的に良く、独立している場合にパフォーマンスを向上させる傾向があります。アンサンブルは、他のモデルが誤りを修正する可能性があるため、個々のモデルのミスのリスクを減少させます。これは、単一の意見ではなく、専門家のパネルを持つようなものです。

• スタッキング（スタックアンサンブル）： スタッキングはさらに一歩進んでいます。単純な投票の代わりに、メタモデルを訓練してベースモデルの予測を最適に組み合わせる方法を学習させます。例えば、3つの異なる分類器（ベース学習者）を訓練し、それらの出力（または確率）をメタ分類器（通常はロジスティック回帰のようなシンプルなモデル）に特徴として供給し、最適なブレンド方法を学習させます。メタモデルは、過剰適合を避けるために検証セットまたは交差検証で訓練されます。スタッキングは、どのモデルをどの状況でより信頼すべきかを学ぶことで、単純な投票を上回ることがよくあります。サイバーセキュリティでは、あるモデルがネットワークスキャンを捕捉するのが得意で、別のモデルがマルウェアのビーコニングを捕捉するのが得意な場合、スタッキングモデルはそれぞれに適切に依存することを学ぶことができます。

投票またはスタッキングによるアンサンブルは、精度と堅牢性を向上させる傾向があります。欠点は、複雑さが増し、時には解釈可能性が低下することです（ただし、決定木の平均のような一部のアンサンブルアプローチは、特徴の重要性などの洞察を提供することができます）。実際には、運用上の制約が許す場合、アンサンブルを使用することで検出率が向上する可能性があります。サイバーセキュリティの課題（および一般的なKaggleコンペティション）での多くの勝利ソリューションは、最後のパフォーマンスを引き出すためにアンサンブル技術を使用しています。

import pandas as pd
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import StackingClassifier, RandomForestClassifier
from sklearn.metrics import (accuracy_score, precision_score,
recall_score, f1_score, roc_auc_score)

# ──────────────────────────────────────────────
# 1️⃣  LOAD DATASET (OpenML id 4534)
# ──────────────────────────────────────────────
data = fetch_openml(data_id=4534, as_frame=True)     # “PhishingWebsites”
df   = data.frame

# Target mapping:  1 → legitimate (0),   0/‑1 → phishing (1)
y = (df["Result"].astype(int) != 1).astype(int)
X = df.drop(columns=["Result"])

# Train / test split (stratified to keep class balance)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.20, random_state=42, stratify=y)

# ──────────────────────────────────────────────
# 2️⃣  DEFINE BASE LEARNERS
#     • LogisticRegression and k‑NN need scaling ➜ wrap them
#       in a Pipeline(StandardScaler → model) so that scaling
#       happens inside each CV fold of StackingClassifier.
# ──────────────────────────────────────────────
base_learners = [
('lr',  make_pipeline(StandardScaler(),
LogisticRegression(max_iter=1000,
solver='lbfgs',
random_state=42))),
('dt',  DecisionTreeClassifier(max_depth=5, random_state=42)),
('knn', make_pipeline(StandardScaler(),
KNeighborsClassifier(n_neighbors=5)))
]

# Meta‑learner (level‑2 model)
meta_learner = RandomForestClassifier(n_estimators=50, random_state=42)

stack_model = StackingClassifier(
estimators      = base_learners,
final_estimator = meta_learner,
cv              = 5,        # 5‑fold CV to create meta‑features
passthrough     = False     # only base learners’ predictions go to meta‑learner
)

# ──────────────────────────────────────────────
# 3️⃣  TRAIN ENSEMBLE
# ──────────────────────────────────────────────
stack_model.fit(X_train, y_train)

# ──────────────────────────────────────────────
# 4️⃣  EVALUATE
# ──────────────────────────────────────────────
y_pred = stack_model.predict(X_test)
y_prob = stack_model.predict_proba(X_test)[:, 1]   # P(phishing)

print(f"Accuracy : {accuracy_score(y_test, y_pred):.3f}")
print(f"Precision: {precision_score(y_test, y_pred):.3f}")
print(f"Recall   : {recall_score(y_test, y_pred):.3f}")
print(f"F1‑score : {f1_score(y_test, y_pred):.3f}")
print(f"ROC AUC  : {roc_auc_score(y_test, y_prob):.3f}")

"""
Accuracy : 0.954
Precision: 0.951
Recall   : 0.946
F1‑score : 0.948
ROC AUC  : 0.992
"""

参考文献

• https://madhuramiah.medium.com/logistic-regression-6e55553cc003
• https://www.geeksforgeeks.org/decision-tree-introduction-example/
• https://rjwave.org/ijedr/viewpaperforall.php?paper=IJEDR1703132
• https://www.ibm.com/think/topics/support-vector-machine
• https://en.m.wikipedia.org/wiki/Naive_Bayes_spam_filtering
• https://medium.com/@rupalipatelkvc/gbdt-demystified-how-lightgbm-xgboost-and-catboost-work-9479b7262644
• https://zvelo.com/ai-and-machine-learning-in-cybersecurity/
• https://medium.com/@chaandram/linear-regression-explained-28d5bf1934ae
• https://cybersecurity.springeropen.com/articles/10.1186/s42400-021-00103-8
• https://www.ibm.com/think/topics/knn
• https://www.ibm.com/think/topics/knn
• https://arxiv.org/pdf/2101.02552
• https://cybersecurity-magazine.com/how-deep-learning-enhances-intrusion-detection-systems/
• https://cybersecurity-magazine.com/how-deep-learning-enhances-intrusion-detection-systems/
• https://medium.com/@sarahzouinina/ensemble-learning-boosting-model-performance-by-combining-strengths-02e56165b901
• https://medium.com/@sarahzouinina/ensemble-learning-boosting-model-performance-by-combining-strengths-02e56165b901