【サンプルコードあり】ナレッジ管理に使える類似度検索（TF-IDF）

tokenizer_obj = dictionary.Dictionary().create()
split_mode = tokenizer_obj.SplitMode.C

def sudachi_analyzer(text: str):
    return [m.surface() for m in tokenizer_obj.tokenize(text, split_mode)]

tokenizer_obj = dictionary.Dictionary().create()
split_mode = tokenizer_obj.SplitMode.C

def sudachi_analyzer(text: str):
    return [m.surface() for m in tokenizer_obj.tokenize(text, split_mode)]

vectorizer = TfidfVectorizer(tokenizer=sudachi_analyzer, token_pattern=None)
tfidf_matrix = vectorizer.fit_transform(sim_df['content'])

vectorizer = TfidfVectorizer(tokenizer=sudachi_analyzer, token_pattern=None)
tfidf_matrix = vectorizer.fit_transform(sim_df['content'])

nn = NearestNeighbors(n_neighbors=TOP_K+1, metric='cosine', algorithm='brute')
distances, indices = nn.kneighbors(tfidf_matrix)

nn = NearestNeighbors(n_neighbors=TOP_K+1, metric='cosine', algorithm='brute')
distances, indices = nn.kneighbors(tfidf_matrix)

# Colab で一度だけ必要なインストール
!pip install --upgrade pip setuptools
!pip install sudachipy sudachidict_core pandas scikit-learn

import os
import re
import pandas as pd
from sudachipy import dictionary
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.neighbors import NearestNeighbors

# --- パラメータ ---
FAQ_CSV_PATH       = '/content/faq_data.csv'                # サンプルFAQデータ（外部ファイル）
INPUT_SIM_PATH     = '/content/faq_for_similarity.csv'         # 質問+回答を合成した類似検索用入力
OUTPUT_SIM_PATH    = '/content/similarity_output.csv'  # 最終出力
SIMILARITY_TH      = 0.3
TOP_K              = 3

# --- サンプルFAQを別ファイルとして用意（存在しなければ作成） ---
if not os.path.exists(FAQ_CSV_PATH):
    faq_list = [
        {"id":"000001", "question":"パスワードをリセットするにはどうすればいいですか？", "answer":"ログイン画面の「パスワードをお忘れですか？」をクリックし、メールの指示に従ってください。"},
        {"id":"000002", "question":"パスワードを忘れました。どうすれば再設定できますか？", "answer":"ログイン画面の再設定リンクから登録メールを確認して新しいパスワードを設定してください。"},
        {"id":"000003", "question":"配送が遅れています。注文はどこにありますか？", "answer":"マイページの追跡番号をご確認ください。運送会社の都合で遅延することがあります。"},
        {"id":"000004", "question":"まだ荷物が届きません。なぜですか？", "answer":"配送の遅延が発生している場合があります。追跡情報を再確認し、5日以上遅れていればサポートへご連絡ください。"},
        {"id":"000005", "question":"登録しているメールアドレスを変更したいです。", "answer":"アカウント設定からメールを選び、新しいアドレスを入力後、確認メールのリンクをクリックしてください。"},
        {"id":"000006", "question":"アカウントのメールを更新できますか？", "answer":"はい。設定のメール更新から手続きを行い、認証を完了させてください。"},
        {"id":"000007", "question":"注文をキャンセルできますか？", "answer":"注文後2時間以内であれば、注文履歴からキャンセル可能です。"},
        {"id":"000008", "question":"さっきした注文を取り消したいのですがどうしたら？", "answer":"マイオーダーから該当の注文を選び、2時間以内であればキャンセルボタンが表示されます。"},
        {"id":"000009", "question":"返品ポリシーを教えてください。", "answer":"商品到着後30日以内で、未使用かつ元の梱包状態であれば返品を受け付けます。"},
        {"id":"000010", "question":"30日過ぎた商品は返品できますか？", "answer":"通常の返品は30日以内ですが、例外的にサポート対応が可能な場合があります。お問い合わせください。"},
        {"id":"000011", "question":"返金はどうやって受け取れますか？", "answer":"注文ページから返品手続きを開始してください。商品を受領・検査後、返金処理されます。"},
        {"id":"000012", "question":"返金はどのくらいで戻ってきますか？", "answer":"返品受領後5～7営業日でお支払い方法に応じて返金されます。"},
        {"id":"000013", "question":"インストールの技術サポートはありますか？", "answer":"はい。営業時間内にチャットか電話で無料のインストール支援を提供しています。"},
        {"id":"000014", "question":"ソフトのインストールを手伝ってほしいです。", "answer":"サポートチケットを開くかライブチャットをご利用ください。技術担当がステップごとに案内します。"},
        {"id":"000015", "question":"請求情報を更新するには？", "answer":"請求設定に移動し、支払い方法を編集して保存してください。"},
        {"id":"000016", "question":"登録カードを変更できますか？", "answer":"請求設定のカード情報を更新し、変更を確定してください。"},
        {"id":"000017", "question":"アカウントがロックされました。解除方法は？", "answer":"メールに送られた解除リンクを使うか、本人確認のうえサポートに連絡してください。"},
        {"id":"000018", "question":"なぜアカウントが停止されているのですか？", "answer":"ポリシー違反が原因の可能性があります。詳細はメールをご確認いただき、不服申し立てはサポートへ。"},
        {"id":"000019", "question":"カスタマーサービスの電話番号は？", "answer":"平日9時～18時に 0120-000-000 へお電話ください。"},
        {"id":"000020", "question":"サポートの受付時間を教えてください。", "answer":"サポートは月～金の9時から18時まで対応しています。"},
    ]
    faq_df = pd.DataFrame(faq_list)
    faq_df.to_csv(FAQ_CSV_PATH, index=False, encoding='utf-8-sig')
else:
    faq_df = pd.read_csv(FAQ_CSV_PATH, dtype={'id': str})

# --- 1. 類似検索用データ成形: 検索用のquestion+answer を作成し content に ---
sim_df = pd.DataFrame({
    'id': faq_df['id'],
    'question': faq_df['question'],
    'answer': faq_df['answer'],
    'content': faq_df['question'].str.strip() + ' ' + faq_df['answer'].str.strip()
})

# --- 2. 前処理　※必要に応じて追加（今回は何もなし） ---
def clean_text_simple(text: str) -> str:
    text = str(text)

    return text

sim_df['content'] = sim_df['content'].apply(clean_text_simple)

# --- 3. SudachiPy 初期化 ---
tokenizer_obj = dictionary.Dictionary().create()
split_mode = tokenizer_obj.SplitMode.C

def sudachi_analyzer(text: str):
    return [m.surface() for m in tokenizer_obj.tokenize(text, split_mode)]

# --- 4. TF-IDF ベクトル化 ---
vectorizer = TfidfVectorizer(tokenizer=sudachi_analyzer, token_pattern=None)
tfidf_matrix = vectorizer.fit_transform(sim_df['content'])

# --- 5. 類似度検索 ---
nn = NearestNeighbors(n_neighbors=TOP_K+1, metric='cosine', algorithm='brute')
nn.fit(tfidf_matrix)
distances, indices = nn.kneighbors(tfidf_matrix)

# --- 6. 出力作成---
records = []
for i, (dists, neighs) in enumerate(zip(distances, indices)):
    base = sim_df.iloc[i]
    rec = {
        'source_id': base['id'],
        'source_question': base['question'],
        'source_answer': base['answer'],
        'similarity_1_score': ''
    }
    similar_count = 0
    for dist, j in zip(dists, neighs):
        if j == i:
            continue
        sim = 1 - dist
        if sim < SIMILARITY_TH:
            continue
        similar_count += 1
        if similar_count == 1:
            rec['similarity_1_score'] = round(sim, 4)  # 1位のスコアを4列目に
        rec[f'similar_{similar_count}_id'] = sim_df.iloc[j]['id']
        rec[f'similar_{similar_count}_question'] = sim_df.iloc[j]['question']
        rec[f'similar_{similar_count}_answer'] = sim_df.iloc[j]['answer']
        if similar_count >= TOP_K:
            break
    for k in range(similar_count+1, TOP_K+1):
        rec[f'similar_{k}_id'] = ''
        rec[f'similar_{k}_question'] = ''
        rec[f'similar_{k}_answer'] = ''
    records.append(rec)

out_df = pd.DataFrame(records)

# --- 7. 保存 ---
out_df.to_csv(OUTPUT_SIM_PATH, index=False, encoding='utf-8-sig')
print(f"出力ファイル: {OUTPUT_SIM_PATH}")

# Colab で一度だけ必要なインストール
!pip install --upgrade pip setuptools
!pip install sudachipy sudachidict_core pandas scikit-learn

import os
import re
import pandas as pd
from sudachipy import dictionary
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.neighbors import NearestNeighbors

# --- パラメータ ---
FAQ_CSV_PATH       = '/content/faq_data.csv'                # サンプルFAQデータ（外部ファイル）
INPUT_SIM_PATH     = '/content/faq_for_similarity.csv'         # 質問+回答を合成した類似検索用入力
OUTPUT_SIM_PATH    = '/content/similarity_output.csv'  # 最終出力
SIMILARITY_TH      = 0.3
TOP_K              = 3

# --- サンプルFAQを別ファイルとして用意（存在しなければ作成） ---
if not os.path.exists(FAQ_CSV_PATH):
    faq_list = [
        {"id":"000001", "question":"パスワードをリセットするにはどうすればいいですか？", "answer":"ログイン画面の「パスワードをお忘れですか？」をクリックし、メールの指示に従ってください。"},
        {"id":"000002", "question":"パスワードを忘れました。どうすれば再設定できますか？", "answer":"ログイン画面の再設定リンクから登録メールを確認して新しいパスワードを設定してください。"},
        {"id":"000003", "question":"配送が遅れています。注文はどこにありますか？", "answer":"マイページの追跡番号をご確認ください。運送会社の都合で遅延することがあります。"},
        {"id":"000004", "question":"まだ荷物が届きません。なぜですか？", "answer":"配送の遅延が発生している場合があります。追跡情報を再確認し、5日以上遅れていればサポートへご連絡ください。"},
        {"id":"000005", "question":"登録しているメールアドレスを変更したいです。", "answer":"アカウント設定からメールを選び、新しいアドレスを入力後、確認メールのリンクをクリックしてください。"},
        {"id":"000006", "question":"アカウントのメールを更新できますか？", "answer":"はい。設定のメール更新から手続きを行い、認証を完了させてください。"},
        {"id":"000007", "question":"注文をキャンセルできますか？", "answer":"注文後2時間以内であれば、注文履歴からキャンセル可能です。"},
        {"id":"000008", "question":"さっきした注文を取り消したいのですがどうしたら？", "answer":"マイオーダーから該当の注文を選び、2時間以内であればキャンセルボタンが表示されます。"},
        {"id":"000009", "question":"返品ポリシーを教えてください。", "answer":"商品到着後30日以内で、未使用かつ元の梱包状態であれば返品を受け付けます。"},
        {"id":"000010", "question":"30日過ぎた商品は返品できますか？", "answer":"通常の返品は30日以内ですが、例外的にサポート対応が可能な場合があります。お問い合わせください。"},
        {"id":"000011", "question":"返金はどうやって受け取れますか？", "answer":"注文ページから返品手続きを開始してください。商品を受領・検査後、返金処理されます。"},
        {"id":"000012", "question":"返金はどのくらいで戻ってきますか？", "answer":"返品受領後5～7営業日でお支払い方法に応じて返金されます。"},
        {"id":"000013", "question":"インストールの技術サポートはありますか？", "answer":"はい。営業時間内にチャットか電話で無料のインストール支援を提供しています。"},
        {"id":"000014", "question":"ソフトのインストールを手伝ってほしいです。", "answer":"サポートチケットを開くかライブチャットをご利用ください。技術担当がステップごとに案内します。"},
        {"id":"000015", "question":"請求情報を更新するには？", "answer":"請求設定に移動し、支払い方法を編集して保存してください。"},
        {"id":"000016", "question":"登録カードを変更できますか？", "answer":"請求設定のカード情報を更新し、変更を確定してください。"},
        {"id":"000017", "question":"アカウントがロックされました。解除方法は？", "answer":"メールに送られた解除リンクを使うか、本人確認のうえサポートに連絡してください。"},
        {"id":"000018", "question":"なぜアカウントが停止されているのですか？", "answer":"ポリシー違反が原因の可能性があります。詳細はメールをご確認いただき、不服申し立てはサポートへ。"},
        {"id":"000019", "question":"カスタマーサービスの電話番号は？", "answer":"平日9時～18時に 0120-000-000 へお電話ください。"},
        {"id":"000020", "question":"サポートの受付時間を教えてください。", "answer":"サポートは月～金の9時から18時まで対応しています。"},
    ]
    faq_df = pd.DataFrame(faq_list)
    faq_df.to_csv(FAQ_CSV_PATH, index=False, encoding='utf-8-sig')
else:
    faq_df = pd.read_csv(FAQ_CSV_PATH, dtype={'id': str})

# --- 1. 類似検索用データ成形: 検索用のquestion+answer を作成し content に ---
sim_df = pd.DataFrame({
    'id': faq_df['id'],
    'question': faq_df['question'],
    'answer': faq_df['answer'],
    'content': faq_df['question'].str.strip() + ' ' + faq_df['answer'].str.strip()
})

# --- 2. 前処理　※必要に応じて追加（今回は何もなし） ---
def clean_text_simple(text: str) -> str:
    text = str(text)

    return text

sim_df['content'] = sim_df['content'].apply(clean_text_simple)

# --- 3. SudachiPy 初期化 ---
tokenizer_obj = dictionary.Dictionary().create()
split_mode = tokenizer_obj.SplitMode.C

def sudachi_analyzer(text: str):
    return [m.surface() for m in tokenizer_obj.tokenize(text, split_mode)]

# --- 4. TF-IDF ベクトル化 ---
vectorizer = TfidfVectorizer(tokenizer=sudachi_analyzer, token_pattern=None)
tfidf_matrix = vectorizer.fit_transform(sim_df['content'])

# --- 5. 類似度検索 ---
nn = NearestNeighbors(n_neighbors=TOP_K+1, metric='cosine', algorithm='brute')
nn.fit(tfidf_matrix)
distances, indices = nn.kneighbors(tfidf_matrix)

# --- 6. 出力作成---
records = []
for i, (dists, neighs) in enumerate(zip(distances, indices)):
    base = sim_df.iloc[i]
    rec = {
        'source_id': base['id'],
        'source_question': base['question'],
        'source_answer': base['answer'],
        'similarity_1_score': ''
    }
    similar_count = 0
    for dist, j in zip(dists, neighs):
        if j == i:
            continue
        sim = 1 - dist
        if sim < SIMILARITY_TH:
            continue
        similar_count += 1
        if similar_count == 1:
            rec['similarity_1_score'] = round(sim, 4)  # 1位のスコアを4列目に
        rec[f'similar_{similar_count}_id'] = sim_df.iloc[j]['id']
        rec[f'similar_{similar_count}_question'] = sim_df.iloc[j]['question']
        rec[f'similar_{similar_count}_answer'] = sim_df.iloc[j]['answer']
        if similar_count >= TOP_K:
            break
    for k in range(similar_count+1, TOP_K+1):
        rec[f'similar_{k}_id'] = ''
        rec[f'similar_{k}_question'] = ''
        rec[f'similar_{k}_answer'] = ''
    records.append(rec)

out_df = pd.DataFrame(records)

# --- 7. 保存 ---
out_df.to_csv(OUTPUT_SIM_PATH, index=False, encoding='utf-8-sig')
print(f"出力ファイル: {OUTPUT_SIM_PATH}")