Yogorang Research Pipeline

experiments/ 스크립트 실행 대시보드

A/B Test - Fast Track vs Hard Track

검색 쿼리를 입력하거나 Golden Set에서 선택하여 두 검색 전략을 비교합니다.

기본 컬렉션 사용 (yogorang_fast_track, yogorang_hard_track)
예시:
▶ Dimension 패턴 설정 기본 패턴 사용중
1

01_extract_zero_db.py

대기중

Zero DB (Cloud SQL)에서 테이블을 선택하여 로컬 PostgreSQL에 동기화

Zero DB (CloudSQL) 테이블 선택
준비 중... 0%
↓
1b

01b_create_sampled_table.py

선택적

소스 테이블에서 Golden Set 포함 샘플링하여 새 테이블 생성 (선택적 단계)

준비 중... 0%
↓
⚙

Domain Settings

기본값

Steps 05-12에서 사용할 데이터 소스와 평가 데이터셋을 설정합니다.

↓
5

05_load_refinements_to_qdrant.py

대기중

Fast Track - Refinements를 Qdrant에 적재 → yogorang_{DATA_PREFIX}_fast_track

준비 중... 0%
↓
6

06_eval_fast_track.py

대기중

Fast Track 평가 - Golden Set 기반 검색 성능 측정 (Hit@K, MRR, NDCG)

0 = Sparse(BM25), 1 = Dense(Voyage)
준비 중... 0%
↓
7

07_score_and_tier.py

대기중

Refinements 품질 점수 계산 + 티어 할당 → yogorang_{DATA_PREFIX}_scored 저장

준비 중... 0%
↓
8

08_extract_t1_dna.py

대기중

Tier 1 (Top 10%) 상품에서 4-DNA 추출 (Gemini LLM)

준비 중... 0%
↓
9

09_create_ontology.py

대기중

DNA 클러스터링으로 Ontology v1.0 자동 생성 (UMAP + HDBSCAN, 파라미터 자동 설정)

UMAP/HDBSCAN 파라미터는 데이터 크기에 따라 자동 설정됩니다 (--dataset-scale auto)
준비 중... 0%
10

10_extract_remain_dna_and_update_ontology.py

대기중

Tier 2/3/4 상품 DNA 추출 + Ontology 업데이트 (threshold 0.7 자동 적용)

Tier 2/3/4 전체 처리, Similarity Threshold 0.7 자동 적용
준비 중... 0%
↓
11

11_load_dna_and_ontology_to_qdrant.py

대기중

Hard Track - DNA + Ontology를 Qdrant에 적재 → yogorang_{DATA_PREFIX}_hard_track

준비 중... 0%
↓
12

12_eval_hard_track.py

대기중

Hard Track 평가 - DNA 파이프라인 후 검색 성능 측정 (Fast Track 비교 가능)

0 = Sparse(BM25), 1 = Dense(Voyage)
준비 중... 0%
총 0건
데이터 소스를 선택하고 조회 버튼을 클릭하세요.

리포트

Column Name

Run Hard Track Pipeline

데이터 소스 선택 Hard Track 실행에 사용할 refinements 테이블을 선택하세요
⚠️ 테이블을 선택하세요
데이터 확인 후 시작할 수 있습니다 0 / 5
경과 시간: 0:00
● Step 7: 07_score_and_tier.py
● Step 8: 08_extract_t1_dna.py
● Step 9: 09_create_ontology.py
● Step 10: 10_extract_remain_dna_and_update_ontology.py
● Step 11: 11_load_dna_and_ontology_to_qdrant.py
대기 중 0%