AI 대중화의 진정한 리더
SAI-32B
On-Premises
Server Series
SAI-671B
6,710억 Parameter
SAI-70B
700억 Parameter
SAI-32B
320억 Parameter
Video Memory
768GB
Computing Power
FP8 10560 TFLOPS
Memory
1TB
Throughput
(Total tokens/s)
1400
Concurrent Users
(Simulaneous Acccess)
100
산업용 레벨 MoE 아키텍처
효율적인 추론과 낮은 연산 비용
92%
OpenAi Chat GPT-4
Video Memory
192GB
Computing Power
FP16 1320 TFLOPS
Memory
512GB
Throughput
(Total tokens/s)
2100
Concurrent Users
(Simulaneous Acccess)
260
고급 비지니스·에이전트·문서 분석
82%
OpenAi Chat GPT-4
Video Memory
96GB
Computing Power
FP16 660 TFLOPS
Memory
256GB
Throughput
(Total tokens/s)
2100
Concurrent Users
(Simulaneous Acccess)
260
일반 챗봇·RAG 서버
71%
OpenAi Chat GPT-4
항목 | SAI-32B |
|---|---|
RAG/Agent 적합도 | 적절 |
문장 요약/추론
| 꽤 우수
|
실제 응답 퀄리티
| 자연스럽고 논리적
|
VRAM 요구량
| 48GB 이상 (4bit 기준)
|
속도 | 빠름 (32B 기준 빠름)
|
벤치마크 (MMLU 등)
| GPT-3.5 base 이상
|
추론 능력
| GPT-3.5 중간 수준
|
언어 이해 성능
| 중상급 |
파라미터 수
| 32B (32 billion)
|
항목 | SAI-70B |
|---|---|
RAG/Agent 적합도 | 매우 적합 |
문장 요약/추론
| 매우 우수 (추론력 뛰어남)
|
실제 응답 퀄리티
| 훨씬 자연스럽고 깊이 있음
|
VRAM 요구량
| 80GB 이상 (4bit 기준)
|
속도 | 느림 (무겁고 메모리 많음)
|
벤치마크 (MMLU 등)
| GPT-4에 근접하는 최고 성능
|
추론 능력
| GPT-4 대비 85~90% 성능
|
언어 이해 성능
| 상급 (GPT-4급 근접)
|
파라미터 수
| 70B (70 billion)
|
On-Premises Server
Model Stack
Attribute | SAI‑32B | SAI‑70B | SAI‑671B |
|---|---|---|---|
Suitability for RAG/Agent | Adequate | Highly suitable | Very highly suitable |
Summarization / reasoning | Quite good | Very good (excellent reasoning) | Excellent (exceptional reasoning)
|
Real‑world response quality | Natural and logical | Much more natural and deeper | Extremely natural and deep
|
VRAM requirement | 48 GB + (4‑bit) | 80 GB + (4‑bit) | 685 GB + (4‑bit)
|
Speed | Fast (fast for 32B) | Slow (heavy, high memory) | Slow (heavy, high memory)
|
Benchmarks (MMLU, etc.) | Above GPT‑3.5 base | Top performance close to GPT‑4 | Top performance close to GPT‑4
|
Reasoning capability | Mid‑range GPT‑3.5 level | 85–90 % of GPT‑4 performance | 86–98 % of GPT‑4, surpasses it in some cases |
Language‑understanding performance | Upper‑intermediate | Advanced (close to GPT‑4 level) | Advanced (close to or surpasses GPT‑4 in some areas)
|
Parameter count | 32B (32 billion) | 70B (70 billion) | 671B (671 billion) |
항목 | SAI-32B | SAI-70B | SAI-671B |
|---|---|---|---|
파라미터 수 | 32B (32 billion) | 70B (70 billion) | 671B (671 billion) |
언어 이해 성능 | 중상급 | 상급 (GPT-4급 근접) | 상급 (GPT-4급 근접 일부 능가) |
추론 능력 | GPT-3.5 중간 수준 | GPT-4 대비 85~90% 성능 | GPT-4 대비 86~98% 일부 능가 |
벤치마크 (MMLU 등) | GPT-3.5 base 이상 | GPT-4에 근접하는 최고 성능 | GPT-4에 근접하는 최고 성능 |
속도 | 빠름 (32B 기준 빠름) | 느림 (무겁고 메모리 많음) | 느림 (무겁고 메모리 많음) |
VRAM 요구량 | 48GB 이상 (4bit 기준) | 80GB 이상 (4bit 기준) | 685GB 이상 (4bit 기준) |
실제 응답 퀄리티 | 자연스럽고 논리적 | 훨씬 자연스럽고 깊이 있음 | 아주 자연스럽고 깊이 있음 |
문장 요약/추론 | 꽤 우수 | 매우 우수 (추론력 뛰어남) | 아주 우수 (추론력 매우 뛰어남) |
RAG/Agent 적합도 | 적절 | 매우 적합 | 아주 적합 |
항목 | SAI-671B |
|---|---|
RAG/Agent 적합도 | 아주 적합 |
문장 요약/추론
| 아주 우수 (추론력 매우 뛰어남)
|
실제 응답 퀄리티
| 아주 자연스럽고 깊이 있음
|
VRAM 요구량
| 685GB 이상 (4bit 기준)
|
속도 | 느림 (무겁고 메모리 많음)
|
벤치마크 (MMLU 등)
| GPT-4에 근접하는 최고 성능
|
추론 능력
| GPT-4 대비 86~98% 일부 능가
|
언어 이해 성능
| 상급 (GPT-4급 근접 일부 능가)
|
파라미터 수
| 671B (671 billion)
|
Item | SAI‑32B |
|---|---|
Parameter count | 32 B (32 billion) |
Language‑understanding performance | Upper‑mid tier |
Reasoning ability | Mid‑GPT‑3.5 level |
Benchmark (MMLU, etc.) | Above GPT‑3.5 base |
Speed | Fast (for a 32B model) |
VRAM requirement | 48 GB or more (4‑bit) |
Actual answer quality | Natural and logical |
Sentence summarization / Inference | Quite good |
RAG / Agent suitability | Adequate |
Item | SAI‑70B |
|---|---|
Parameter count | 70 B (70 billion) |
Language‑understanding performance | Upper tier (near GPT‑4 level) |
Reasoning ability | 85–90 % of GPT‑4’s performance |
Benchmark (MMLU, etc.) | Peak performance close to GPT‑4 |
Speed | Slow (heavy & memory‑hungry) |
VRAM requirement | 80 GB or more (4‑bit) |
Actual answer quality | Much more natural and in‑depth |
Sentence summarization / Inference | Excellent (outstanding reasoning) |
RAG / Agent suitability | Highly suitable |
Item | SAI‑671B |
|---|---|
Parameter count | 671 B (671 billion) |
Language‑understanding performance | Upper tier (near GPT‑4, sometimes superior) |
Reasoning ability | 86–98 % of GPT‑4, occasionally surpasses |
Benchmark (MMLU, etc.) | Top performance approaching GPT‑4 |
Speed | Slow (heavy & memory‑hungry) |
VRAM requirement | 685 GB or more (4‑bit) |
Actual answer quality | Very natural and in‑depth |
Sentence summarization / Inference | Outstanding (exceptional reasoning) |
RAG / Agent suitability | Extremely suitable |
Why On-Premises
왜 ChatGPT와 같은 AI서버를 사내 네트워크에 설치해야 하나요?
클라우드 방식 (ChatGPT 웹) | 내 서버 방식 (SAI On-Premise) |
|---|---|
매월 구독료 지불 필요 | 초기 구매만 하면 계속 사용 가능, API 비용 없음 |
내부 기밀 데이터 전송 위험 | 외부 연결 없음 → 보안 완벽 |
사내 시스템과 연결 어려움 | ERP, 그룹웨어, 문서 서버 등과 바로 연동 가능 |
AI 성능 조절 불가 | 모델 종류 및 성능 선택 가능 (32B/70B 등) |
Cloud‑based approach (ChatGPT web) | On‑premise server approach (SAI On‑Promise) |
|---|---|
Unable to adjust AI performance | Ability to choose model type and performance (32B/70B, etc.) |
Difficult to integrate with in‑house systems | Can be directly integrated with ERP, groupware, document servers, etc. |
Risk of transmitting internal confidential data | No external connections → perfect security |
Requires monthly subscription fee | One‑time purchase enables continuous use, no API costs |
01
비용효율성이 뛰어납니다.
· 최적화 된 성능 밸런싱 구성으로 가격대비 고성능 LLM 서버 구축
· AI 모듈 사용 확장을 감안해 부품 추가만으로 성능 업그레이 가능
02
오픈소스로서 완전한 통제가 가능합니다.
· GPT-4는 OpenAI의 폐쇄형 모델 → 내부 구조를 알 수 없고, API에 의존함
· SAI은 모델을 직접 수정하거나 커스터마이징 가능
· 민감한 데이터, 기업 내부 지식, 프라이빗 LLM 환경에 적합함
03
"충분히 좋은" 성능
· GPT-4가 뛰어나긴 하지만, 일반적인 업무용 문서 작성, 요약, 코드 생성, 질의응답에
는 32B 정도로도 대응 가능
· 실제로 LLM 벤치마크(MMLU, GSM8K, HellaSwag 등)에서 SAI 70B는 LLaMA2
70B, Falcon 180B와 비슷하거나 약간 앞서기도 함
· 실무 생산성 + 코드 처리 + 일반적인 챗봇 용도엔 전혀 부족하지 않음
SAI A.I Server 도입 과정
01
요구 사항 분석
02
하드웨어 사양 선정
03
소프트웨어 설치
04
시스템 설정
05
AI 모듈 설치
06
데이터 입력/파인튜닝
07
관리자 교육
08
logo_%EB%9D%BC%EC%9A%B4%EB%93%9C-%EB%A1%9C%EA%B3%A0.png)
설치 완료
01
요구사항분석
02
하드웨어 사양 선정
03
소프트웨어 설치
04
시스템 설정
05
AI 모듈 설치
06
데이터 입력/파인튜닝
07
관리자 교육
DePIN Cloud SAI A.I Server 도입 과정
logo_%EB%9D%BC%EC%9A%B4%EB%93%9C-%EB%A1%9C%EA%B3%A0.png)
05
AI 모듈 설치
SAI A.I Server 도입 과정
03
01
소프트웨어 설치
요구사항분석
04
07
시스템 설정
관리자 교육
02
하드웨어 사양 선정
06
데이터 입력 /
파인튜닝
On-Premises Server
기능별 활용 제안
고성능 챗봇
GPT-4 수준의
자연어 대화
문서 요약 및 생성
보고서, 이메일,
회의록 자동화
전문 Q&A (RAG)
사내 문서 기반
질의응답 시스템
코드 생성 및 분석
개발자 도우미,
코드 설명
음성 챗봇
Whisper + TTS 연동,
AI 스피커 구현
이미지 생성
Stable Diffusion
프롬프트 생성
LoRA 파인튜닝
특정 업무에 특화된
사내모델 구축
완전 오프라인 지원
인터넷 없이
자체 AI 운용 가능
On-Premise Sever
업종 별 활용 제안
금융/보험
오프라인 챗봇,
문서 요약,
내부 규정 Q&A
공공/국방
내부망 AI 비서,
민원 자동화,
음성 보조
의료/제약
EMR 요약,
의료 Q&A
환자 상담 자동화
제조/산업
매뉴얼 요약,
고장 진단,
음성 지시 시스템
통역/번역
실시간 다국어
통역/번역
SAI DePIN Cloud 서비스
SAI 솔루션을 NANODC를 통해 고객이 필요한 만큼 더욱 저렴하고
편리하게 혁신적인 DePIN 기반 클라우드 서비스로 사용 가능
과기정통부, 전자신문 주관
2025년 K-디지털 브랜드
데이 터센터 부문 대상 선정!
NANODC 는 과학기술정보통신부와 전자신문이 주관하여 2025년도 대한민국을 대표하는 디지털 브랜드 중 가장 인정받고 있는 20여개 브랜드 중 초소형 탈중앙화 데이터센터 나노디핀센터의 활발한 활동과 업계의 기여도를 인정받아 대상을 수상하여 그 상품성과 사업성을 입증하였습니다.
100G Switch
Node/Miner
Supra Worker
Aethir
GPU Server
SAi
GPU Server
Filecoin
Storage
Server
Smart UPS
올인원 설계
UPS, 배터리, 통신, 모니터링 등
모든 기능을 하나로 구성
초 고성능 서버 구성
소프트웨어·하드웨어적으로
초월적인 서버 구성
저전력 소비
용량대비 월등한 절감 효과 기반
전력 설계
초 집적 설계
용량대비 월등한
절감 효과 기반 전력 설계
초 간편 관리
원격 관리와 터치스크린으로
렉과 서버의 상태를
간편하게 모니터링하고 제어
간편한 설치
10sqm 이상의 공간과 15kw
전력만 있으면 하루만에 초소형
탈중앙화 데이터센터 설치 가능
ABOUT US
What does an AI consultant really do?
Learn about our comprehensive approach to AI consulting.
This is the space to introduce visitors to the business or brand. Briefly explain who's behind it, what it does and what makes it unique. Share its core values and what this site has to offer. Define the qualities and values that make it unique.
Reference Sites
다양한 기업과 기관들이 SAI 솔루션을 적용 하고 있습니다
System to AI
무료 상담 요청
오늘 바로, AI로 바꾸시죠?