Snowflake Account Usage
작성자: Tableau
설명
Snowflake 비용 모니터링용 액셀러레이터를 통해 Snowflake 관리자는 Snowflake 데이터 저장소의 전체 컴퓨팅 비용, 성능 모니터링, 사용자 채택 및 오류 추적을 분석할 수 있습니다. Compute Cost Overview(컴퓨팅 비용 개요) 대시보드에서 크레딧 소진을 확인하고, 예산 할당을 계획하고, 최대 지출 비용을 파악하는 등 불필요한 지출을 줄일 수 있습니다. User Adoption(사용자 채택) 대시보드를 사용하여 새 클라우드 플랫폼의 채택을 추적하고 시간이 할당되는 위치를 확인할 수 있습니다. Performance Monitoring(성능 모니터링) 대시보드 및 Error tracking(오류 추적) 대시보드를 사용하면 시간이 오래 걸리거나 시간이 초과될 수 있는 특정 쿼리를 드릴다운하여 분석할 수 있습니다.
Slow Running Queries(저속 실행 쿼리) 대시보드는 두 가지 버전으로 사용할 수 있습니다. 기본 버전은 ACCOUNT_USAGE 테이블의 영구 정보를 사용합니다. 고급 버전은 사용자 지정 SQL을 사용하여 폭발적인 조인, 비효율적인 정리 등과 같은 일반적인 성능 문제에 대한 Query Profiler(쿼리 프로파일러) 분석을 생성합니다. 분석은 지난 14일로 제한됩니다. Query Profiler(쿼리 프로파일러) 정보는 각 마크 선택 시 쿼리되므로 사용자 지정 SQL 사용으로 인해 성능이 느려질 수 있습니다. 고급 버전을 사용하지 않으려면 CUSTOM_SQL 데이터 원본을 닫고 대시보드를 삭제하여 오류를 방지하십시오.
주요 비즈니스 질문에 대한 답변
- Snowflake 인프라의 전반적인 성능은 어느 정도이고, 가장 많이 소비되는 곳은 어디입니까?
- 가장 많은 비용을 지출하는 웨어하우스는 무엇입니까?
- 데이터베이스 컴퓨팅 비용은 계획과 비교하여 어떻습니까?
- 특정 사용자 또는 쿼리 관련 성능 문제가 어디에 있습니까?
- 사용자 채택은 어떻게 나타납니까? 누가 데이터베이스를 가장 많이 사용합니까? 프로비저닝되었지만 예상만큼 많이 사용하지 않는 사용자는 누구입니까?
- 해결하고 최적화할 반복 오류가 있습니까?
- 현재 사용량을 기준으로 예상 계약 기간은 얼마입니까?
KPI 모니터링 및 개선
- 쿼리 수
- 사용자 당 쿼리 수
- 클라우드 서버 활용률
- 쿼리당 시간
- 오류 비율
- 오류 발생 시 낭비된 시간(분)
- 사용자 수
- 이번 달, 일별, 지난달 평균 지출
- 평균 일일 크레딧 사용량
- 평균 월간 저장소 비용
- 클라우드 서비스 계층 활용률
- 평균 쿼리 성능
지금 바로 여러분의 성공을 돕는 Snowflake + Tableau 파트너
- Slalom의 Tableau, Snowflake 및 Salesforce 전문 지식에서는 플랫폼을 통합하고 비즈니스 가치를 제시해 드립니다. 여기를 클릭하여 자세히 알아보십시오.
- InterWorks는 고객이 Snowflake를 데이터 에코시스템에 통합할 수 있도록 도와 드립니다. --직접 연락하여 클라우드 기반 시각적 분석을 실행하는 데 도움이 되는 방법을 알아보십시오.
- CoEnterprise에서는 Snowflake + Tableau 솔루션을 제공합니다. 여기에는 Snowflake 인프라에 적합한 수준의 보안을 보장하는 Snowtrail 그리고 Slack을 성능 모니터링에 통합하여 Snowflake 투자를 최적화하는 Runaway가 포함됩니다.
Snowflake 데이터에 연결하여 이 액셀러레이터 사용
- 이 통합 문서에서 새 데이터 원본을 만듭니다.
- 데이터 원본으로 'Snowflake'를 선택합니다. 이전에 드라이버를 설치하지 않은 경우 지금 설치하십시오. 드라이버가 설치되면 다음 단계를 진행합니다.
다음 각 스키마에 대해 새 데이터 원본을 하나씩 만듭니다. 데이터베이스: SNOWFLAKE 스키마: ACCOUNT_USAGE 테이블: QUERY_HISTORY 데이터베이스: SNOWFLAKE 스키마: ACCOUNT_USAGE 테이블: WAREHOUSE_METERING_HISTORY 데이터베이스: SNOWFLAKE 스키마: ACCOUNT_USAGE 테이블: STORAGE_USAGE
Slow Running Queries Advanced(저속 실행 쿼리 고급) 대시보드를 사용하는 경우:
Snowflake에 연결하고 ACCOUNT_USAGE 스키마를 선택하여 다른 데이터 원본을 만듭니다. 그런 다음 새 사용자 지정 SQL 테이블을 캔버스로 끌어 놓습니다. 다음 사용자 지정 SQL 텍스트를 입력합니다(데이터 원본의 '사용자 지정 SQL 텍스트' 필드에도 있음).
SELECT QUERY_ID, STEP_ID, OPERATOR_ID, PARENT_OPERATOR_ID, OPERATOR_TYPE, OPERATOR_STATISTICS, EXECUTION_TIME_BREAKDOWN, OPERATOR_ATTRIBUTES, EXECUTION_TIME_BREAKDOWN:overall_percentage::float AS OPERATOR_EXECUTION_TIME, OPERATOR_STATISTICS:output_rows output_rows, OPERATOR_STATISTICS:input_rows input_rows, CASE WHEN OPERATOR_STATISTICS:input_rows>0 THEN OPERATOR_STATISTICS:output_rows / OPERATOR_STATISTICS:input_rows ELSE 0 END AS row_multiple, CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_local_storage AS INT) bytes_spilled_local, CAST(OPERATOR_STATISTICS:spilling:bytes_spilled_remote_storage AS INT) bytes_spilled_remote, OPERATOR_STATISTICS:io:percentage_scanned_from_cache::float percentage_scanned_from_cache, OPERATOR_STATISTICS:table_name::string tablename, CAST(OPERATOR_STATISTICS:pruning:partitions_scanned AS INT) partitions_scanned, CAST(OPERATOR_STATISTICS:pruning:partitions_total AS INT) partitions_total, OPERATOR_STATISTICS:pruning:partitions_scanned/OPERATOR_STATISTICS:pruning:partitions_total::float as partition_scan_ratio, CLUSTERING_KEY, LAG(OPERATOR_TYPE) OVER (ORDER BY OPERATOR_ID) LAG_OPERATOR_TYPE FROM TABLE(get_query_operator_stats(<Parameters.QueryID>)) LEFT JOIN SNOWFLAKE_SAMPLE_DATA.INFORMATION_SCHEMA.TABLES t on TABLENAME = t.TABLE_CATALOG || '.' || t.TABLE_SCHEMA || '.' || t.TABLE_NAME ORDER BY STEP_ID,OPERATOR_ID
오류 메시지가 나타날 수 있지만, 이는 유효한 쿼리 ID를 선택하는 매개 변수가 업데이트되지 않았기 때문입니다. 데이터 원본을 바꿀 때까지 이러한 오류 메시지는 무시하면 됩니다.
참고: 2019년 5월 기준으로 이러한 테이블에는 구체화된 뷰, 자동 클러스터링 또는 Snowpipe와 관련된 비용 정보가 포함되지 않습니다. 해당 정보는 별도의 테이블에 포함되어 있습니다.
- 네 개의 테이블을 모두 연결했으면 각 샘플 테이블을 마우스 오른쪽 단추로 클릭하고 각 테이블을 사용자 Snowflake 스키마의 적절한 테이블로 바꿉니다. 예를 들어 QUERY_HISTORY_SAMPLE을 마우스 오른쪽 단추로 클릭하고 사용자 데이터베이스의 QUERY_HISTORY 테이블로 바꿉니다.
- 대시보드가 사용자의 데이터로 채워지면 각 샘플 데이터 원본을 개별적으로 마우스 오른쪽 단추로 클릭하고 닫습니다.