Kori 7월 30일에 포스트됨 7월 30일에 포스트됨 원문 정보 (최종 번역일: 2026년 7월 30일): 제목: 【実録】古いパソコンをKaiのローカルLLMサーバーにしてみた 작성자: Embarcadero Japan Support - 2026년 7월 링크 https://blogs.embarcadero.com/ja/kai-local-llm-setup-ja/ 2026년 5월에 RAD Studio(라드 스튜디오)용 AI 에이전트 Kai(카이) 첫 버전이 출시되었다. 이제는 RAD Studio를 이용한 개발에 새로운 작업흐름을 제안하는 도구로 주목받고 있다. 필자도 이 Kai의 편리함과 효율성을 매일 체감하고 있는 사람 중 한 명이다. Kai의 특징 중 하나는, 작업에 사용할 AI 모델을 사용자가 직접 선택할 수 있다는 점이다. Gemini나 Codex 같은 클라우드 AI 서비스를 이용할 수 있는 것은 물론이고, Ollama나 LM Studio 같은 애플리케이션을 사용해 로컬 LLM을 이용할 수도 있다. 로컬 LLM을 이용하는 장점으로는, 소스 코드나 프로젝트 등의 정보를 외부로 전송하지 않아도 된다는 점, 클라우드 AI 서비스와의 계약이 필요 없어 이용 요금을 절감할 수 있다는 점을 들 수 있다. 기타 자신의 로컬 네트워크 환경에서 LLM을 이용할 수 있다면, 다양한 장점이 있는 것처럼 보인다. 하지만 실용적인 로컬 LLM 환경을 구축하려면, 그에 걸맞은 GPU와 메모리가 필요하다. 요즘은 고성능 GPU와 넉넉한 RAM을 탑재한 컴퓨터는 상당히 고가다. 이번 검증은 바로 이런 배경에서 시작됐다. 그렇다면 오래된 PC를 로컬 LLM 서버로 만들 수는 없을까? 결론부터 말하면, 2018년에 구입한 PC로도 Kai용 로컬 LLM 서버로 동작은 했지만, 실용성 측면에서는 과제가 남는 결과가 나왔다.이 검증 결과 외에도, LM Studio를 사용한 로컬 LLM 환경 구축 절차도 함께 소개한다. 목차 검증 환경 로컬 LLM 선정 검증 내용 LLM 환경 구축 Kai 채팅 검증 조건 바꿔보기 이번 검증에서 알게 된 것 참고 검증 환경 로컬 LLM을 실행하려는 컴퓨터의 사양은 다음과 같았다. 로컬 LLM을 실행하는 컴퓨터 본체: 2018년 구입 Windows 데스크톱 PC OS: Windows 11 Pro CPU: Intel Core i7-8700K(일본어) (3.7GHz, 6코어, 12스레드) GPU: NVIDIA GeForce RTX 2080(일본어) (VRAM 8GB) RAM: 16GB 참고로 RAD Studio(Kai) 환경은 별도의 컴퓨터에 준비한다. 로컬 LLM 선정 로컬 LLM을 구축하고 검증하려면, 먼저 LLM(Large Language Model, 대규모 언어 모델)을 선정해야 한다. 현재 우리가 이용할 수 있는 LLM들은 다양하다. 그중에서 어떤 것을 선택해야 할까? AI 분야는 하루가 다르게 빠른 속도로 발전하고 있다. 따라서, 이 글에서 특정 모델을 추천하더라도 금방 낡은 정보가 될 가능성이 있다. 그래서 중요한 것은, "지금 어떤 선택지가 있는지"를 확인하는 방법과 그중에서 내 목적과 환경에 맞는 것을 고르는 방법이다. 이번 검증에서는 하드웨어 사양이 결코 높지 않았다는 점도 고려해야 할 조건이었다. 선택한 LLM이 아무리 우수하더라도, 사용하는 하드웨어에서 실행할 수 없다면 쓸모가 없기 때문이다. 그래서 이번에는 하드웨어에 맞는 LLM을 찾는 것부터 시작했다. llmfit이라는 애플리케이션을 사용했다. llmfit은 PowerShell에서 실행하면 된다. 그러면, 실행 중인 컴퓨터에 알맞은 LLM들을 목록으로 보여준다. ※ 설치 방법과 사용법은 이 글에서 다루지 않는다. 관심 있는 독자는 공식 사이트를 참고하면 된다. 이번에는 검증용 모델로 Gemma 4 12B(일본어)를 사용한다. 참고: 우리는 이번에 LM Studio를 사용한다. LM Studio에서도 우리가 선택한 LLM이 실행 환경의 하드웨어에 적합한지 간단히 확인할 수 있다. 아래 그림에는 "Likely too large"라고 표시되고 있다(빨간 테두리 부분 참조). 이는 우리가 선택한 LLM 즉 Gemma 4 12B(일본어)이 현재 사용 중인 하드웨어에 적합하지 않을 가능성이 높다는 것을 보여준다. 검증 내용 Kai를 이용한 로컬 LLM 평가는 다음 내용으로 진행한다. Kai 채팅을 사용해 코딩을 진행한다 코딩이 완료될 때까지 걸리는 시간을 기록한다 완료된 코딩 내용을 평가한다 이 결과를 바탕으로, 이번 환경에서 로컬 LLM 서버로 현실적으로 사용할 수 있는지를 평가한다. LLM 환경 구축 로컬 LLM 환경으로는 LM Studio를 선택했다. 그림은 LM Studio를 설치한 직후의 상태다. LM Studio에서 로컬 LLM을 이용하려면, 사용할 모델을 내려받아 로드해야 한다. 이를 위해서는 왼쪽 사이드바에 있는 Developer 탭을 클릭한다. 아래 그림은 Developer 화면이다. 중앙에 Status: Running이라고 표시되어 있다. 이는 LM Studio가 이용 가능한 상태임을 나타낸다. 또한 Reachable at: 뒤에 이어지는 URL은, Kai에서 접속할 때 사용하는 URL이다. LAN을 통해 오는 요청들을 받아주고 싶다면 Server Settings > Serve on Local Network를 활성화하면 된다. 다음으로, LM Studio에서 사용할 모델을 내려받아 로드한다. + Load Model을 클릭해 모델을 선택한다. 여기에서 google/gemma-4-12b를 선택했다. 모델을 로드했으니, 이제 Kai에서 접속해 보자. 그림처럼 연결 테스트가 성공했다. 이어서 채팅을 시도해 봤다. 그런데 여기서 오류가 발생했다. 오류 내용을 확인해 보니, 컨텍스트 크기가 부족하다는 것을 알 수 있었다. 予期しないエラーが発生しました: -32603: Internal error; stream disconnected before completion: The number of tokens to keep from the initial prompt is greater than the context length (n_keep: 15324>= n_ctx: 4096). Try to load the model with a larger context length, or provide a shorter input. 예기치 않은 오류가 발생했습니다: -32603: 내부 오류. 완료 전에 스트림 연결이 끊어졌다. 초기 프롬프트에서 유지해야 할 토큰 수가 컨텍스트 길이를 초과했습니다(n_keep: 15324 >= n_ctx: 4096). 더 큰 컨텍스트 길이로 모델을 로드하거나, 입력을 더 짧게 줄여 보길 바랍니다. 아래 그림처럼 컨텍스트 길이를 기본값인 4096에서 32000으로 변경하고, Reload to apply change 버튼을 클릭해 모델을 다시 로드한 후 채팅을 다시 진행했다. 이번에는 Howdy!라며, AI도 텍사스풍 인사를 건네 왔다. Kai 채팅 검증 다음으로 간단한 코딩을 지시해 보았다. Delphi(델파이)에서 새 콘솔 애플리케이션을 만든 다음, Kai의 채팅 창을 열었다. 또한 응답 시간을 측정하기 위해 타이머도 준비했다. 프롬프트 내용은 다음과 같다. 이것을 Kai에 입력하고 전송한다. @project1.dpr 콘솔에 Howdy partner!를 출력하고, 프로그램 마지막에 readln을 사용해 결과를 확인할 수 있게 해줘 그림은 프롬프트 실행 중인 LLM 서버 쪽 상태다. 메모리 사용량이 한계에 도달했고, GPU 부하도 급격히 올라간 채 유지됐다. 아래 그림은 Kai가 처리를 끝내고, 사용자의 프롬프트 입력을 기다리는 상태다. WriteLn과 ReadLn 두 줄이 Kai에 의해 추가됐다. (WriteLn의 들여쓰기가 어긋난 것은 애교로 봐 주면 좋겠다.) 하지만 문제점도 있다. 바로 치명적으로 느리다는 점이다. 타이머를 확인해 보니 두 줄짜리 코드를 작성하는 데 약 7분이 걸렸다. 다음 그림은 같은 요청을 Codex(클라우드 AI)에 했을 때의 결과다. 겨우 28초가 걸렸다. 이 차이는 어디서 비롯되는 것일까? 먼저 생각할 수 있는 것은 AI 모델이나 하드웨어 성능이다. Codex 등의 클라우드 AI는 전용 하드웨어를 갖추고 있고, 전 세계에서 몰려드는 수많은 요청을 감당할 수 있는 성능을 갖추고 있다. 이에 비해 2018년에 출시된, "마침 GPU를 탑재하고 있던" 데스크톱 PC에게는 부담스러운 작업이며, 애초에 비교하는 것 자체가 의미 없는 일일지도 모른다. 조건 바꿔보기 그렇다면 조금이라도 쾌적하게 사용할 방법은 없을까? google/gemma-4-12b가 요구하는 하드웨어 사양을 볼 때, 이번 테스트에 사용한 컴퓨터는 무리였을지도 모른다. 그래서 다음으로는, 조금 더 가벼운 모델인 google/gemma-4-e4b를 사용해 봤다. 응답 시간은 짧아졌지만, 결과는 기대했던 것과 달랐고, 실용적이라고 말하기는 어려운 수준이었다. 프롬프트를 바꾸는 등 여러 방법을 시도해도 결과는 마찬가지였다. 이번 검증에서 알게 된 것 무거운 모델은 프롬프트 지시를 정확하게 실행하는 경우가 많은 반면, 사용하는 컴퓨터의 성능에 따라 처리가 끝날 때까지 시간이 오래 걸리거나, 애초에 모델을 로드하지 못하는 경우도 있다. 가벼운 모델에서는 지시 이해나 실행 정확도가 떨어지는 경우가 있다. 이처럼 모델의 성능과, 그것을 동작시키는 데 필요한 하드웨어 사이에는 트레이드오프가 있다. 그래서 로컬 LLM을 이용하고 싶다면, 가장 먼저 정해야 하는 것이 있다. 바로 "Kai로 무엇을 실현하고 싶은지"이다. 그 목적을 명확히 하는 것이 중요하다. 컴퓨터 사양에 맞춰 모델을 고르고, 그 결과로 Kai의 활용 범위를 제한해 버린다면, 본래의 목적에서 벗어나게 된다. 먼저 목적을 정하고, 그 목적에 맞는 LLM을 고르고, 그 모델을 동작시키는 데 필요한 컴퓨터를 준비하는 순서로 고려할 필요가 있다. Kai에서 로컬 LLM 서버를 이용하는 것은, 클라우드 AI 서비스 이용 비용을 절감하거나 기밀 유지 측면에서 유효한 선택지다. 한편 이번 검증을 통해, Kai를 실용적으로 이용할 수 있는 로컬 LLM 환경을 구축하려면 그에 걸맞은 하드웨어와 환경 구축 노력이 필요하다는 것도 알게 됐다. 그래서 처음부터 Codex나 Gemini 같은 클라우드 AI 서비스를 이용하는 편이 더 현실적이라는 시각도 있을 수 있다. 클라우드 AI 서비스에서는 최신 모델을 클라우드 쪽의 고성능 하드웨어에서 이용할 수 있어서, 초기 비용과 환경 구축 수고까지 포함하면 결과적으로 비용 대비 효과가 더 높아지는 경우도 있다. 물론 이는 어디까지나 이번 검증 환경과 그 결과에 기반한 견해일 뿐이다. 독자 여러분이 보유한 컴퓨터나 이용을 검토 중인 AI 모델에 따라, 전혀 다른 결과가 나올 가능성도 있다. 개인적으로는, 이번과 같은 로컬 LLM 서버 구축이 필자에게 AI에 관한 지식을 넓히는 좋은 경험이 됐다. 한정된 환경 속에서 최고의 성능을 끌어낼 수 있는 것을 찾아가는 과정. AI 시대에도 변하지 않는 이런 투박한 노력은 앞으로도 즐거운 일일지도 모른다. 이번 검증 결과가 여러분의 Kai 도입에 도움이 되길 바란다. 참고 Kai for RAD Studio RAD Studio 向け AI エージェント『Kai』(일본어) llmfit LM Studio 인용하기
Recommended Posts
이 토의에 참여하세요
지금 바로 의견을 남길 수 있습니다. 그리고 나서 가입해도 됩니다. 이미 회원이라면, 지금 로그인하고 본인 계정으로 의견을 남기세요.