분류 전체보기

최근에 엔비디아의 4060ti에서 r9700으로 그래픽카드를 바꿨다. vram이 너무 작기도 했고 조금 더 큰 모델을 돌려보고 정말 SOTA 모델들과 비슷한지 확인해보고 싶었다. 그래서 r9700으로 바꾸었고 소비자용 그래픽카드에서 돌릴 수 있는 모델 중 끝판왕이라는 qwen3.6 27b를 돌려보았다. 각설하고 결론부터 말하자면 아래와 같다. 용도양자화mtp백엔드속도짧은 코딩 (≤8k)Q6_Kn2Vulkan b943048t/s긴 코딩 (16k+)Q6_Kn3ROCm b128337t/s긴 코드 한 방 생성Q6_Kn3Vulkan b9430~60t/s품질 최우선UD-Q6_K_XLn3Vulkan/ROCm42t/sNo MTPQ6_KoffROCm24t/s 어느정도 속도까지 나올까?R9700은 메모리 대역폭이 640G..

이번에 RTX 4060Ti를 RADEON AI PRO R9700으로 바꾸면서, 그동안 한 번도 신경 쓰지 않았던 파워를 처음으로 케이스에서 꺼내 들여다봤다. toppower 700W다. 2020년에 컴퓨터를 처음 맞췄다. 그때 부품을 컴퓨존에서 구매하면서 조립까지 업자에게 맡겼고, 그 안에 들어간 파워가 이 toppower 700W다. 솔직히 고백하면 이게 신품이었는지 중고였는지 나는 모른다. 내가 직접 고른 것도, 직접 단 것도 아니었으니까. 모델명조차 이번에 케이스를 열고 나서야 다시 확인했다.그런데 이 파워를 생각보다 잘 사용했다. 6년 동안 단 한 번도 문제를 발생시킨적이 없었다.그런데 R9700으로 하려니 조금 불안했다.R9700의 권장 파워가 750W로 얼핏 본 것 같아서 기존 파워를 그대..

24년도에 ai 찍먹하기 위해 구매했던 4060ti를 라데온 r9700로 변경하였다.4060ti가 vram 16gb로 적당히 덜 똑똑한 버전의 모델까지는 사용 가능했지만 그 이상의 것은 사용이 어려웠다. 실제 SOTA급 모델 외에 로컬에서 돌릴 수 있는 모델 중 qwen3.6 27b가 최고라는 얘기를 들었고, 과연 얼마나 똑똑할까가 궁금했다.점수로는 알겠는데 그래서 내가 일상 생활에서 평소 쓰는대로 쓸 수 있는가? 그게 관건이었다.그래서 구매하려고 이것저것 찾아본게 7900xtx나 r9700이었다. rtx5080은 성능은 나쁘지 않은데 vram이 16gb로 대상에서 제외하였고, rtx5090은 650~700만원쯤 하여 가격이슈로 제외하였다.7900xtx, r9700 둘 다 vram이 4060ti보다 ..

지난 네 편에 걸쳐 LMAX의 Disruptor의 특징을 분석해 보았다. 그런데 Disruptor에 대해 글을 쓰는 동안 머릿속엔 거래소 외 평범한 백엔드에서도 쓸 일이 있긴 한가 라는 질문이 멤돌았다. 거래소 매칭 엔진 Disruptor의 본래의 목적은 정해져 있으며 애초에 LMAX가 그걸 만들려고 짠 도구다. 다만 거래소가 아닌 일반적인 서비스, 예를 들면 사용자 행동에 따라 포인트를 적립해주거나 마케팅 메시지를 발송하는 시스템에서도 Disruptor가 합리적인 선택이 될 수 있을지가 의문이었다. 예를들어 포인트 적립 트래픽이 폭주하거나, CRM 일괄 발송 부하 클때 등 이러한 시나리오 상황에서도 적용할 수 있는 구간이 있지 않을까 하는 생각이 들었다. 이번 글에선 거래소 매칭 엔진으로써의 Disru..

로컬을 돌리면서 든 의문이전 글에서 RTX4060Ti 16GB 환경에서 Qwen3.5 35B-A3B Q3와 9B Q4를 벤치마크로 비교해보았다. 그런데 테스트를 하면서 한 가지 의문이 들었다. 이걸 굳이 로컬에서 돌려야 하나? 벤치마크를 돌리는 데만 일주일 넘게 걸렸고, 그동안 전기를 계속 사용했다. 같은 모델을 OpenRouter 같은 API 서비스에서 쓰면 비용이 얼마나 차이가 나는지 궁금해졌다. 로컬 전력 비용기존에는 멀티탭에 연결된 다른 기기들까지 포함되어 전력량이 높게 잡혔었다. 데스크탑 단독으로 다시 측정해 본 결과, 아이들(Idle) 상태에서는 약 160W, 추론 시에는 약 275W를 소모하는 것으로 나타났다. PC를 24시간 켜두고 하루 평균 6.5시간 정도 추론을 돌린다고 가정해 보자...

모델 선택의 딜레마보통 Q4가 가장 효율적인 양자화 버전으로 많이 사용된다. 27B가 가장 똑똑하다고 하지만 사실상 Q4 양자화 버전이 초당 16~19토큰밖에 나오질 않는다. 추론이 필요한 경우라면 굉장히 오랜 시간이 걸리기 때문에 실사용에는 어렵다고 판단했다. 최소 초당 30토큰 이상은 나와야 실사용에 문제가 없을 것 같았다. 그러면 여기서 딜레마가 생긴다. 높은 파라미터 모델의 Q3 양자화 버전과 낮은 파라미터 모델의 Q4 양자화 버전 중 뭘 쓰느냐였다. 즉, Qwen3.5 35B-A3B의 Q3 vs Qwen3.5 9B의 Q4 중 뭐가 더 나은지를 비교해보고 싶었다. VRAM이 16GB밖에 되질 않다보니 큰 모델을 쓰려면 양자화를 깎아야 하고, 작은 모델은 양자화를 널널하게 쓸 수 있지만 파라미터수 ..

최근에 알리바바에서 Qwen3.5가 나왔다는 얘기를 들었고 여러 커뮤니티에서 꽤나 핫하다는 반응이 있었다. 예전에 게임이나 로컬LLM을 돌려보기 위해 엔비디아의 rtx4060ti 16GB를 구매했었고, 기존에 사용되던 gtx1060 3gb가 있었는데 마침 내 그래픽카드로 어느정도의 모델까지 돌릴 수 있으며 어느정도의 성능이 나올지 궁금하였다. 그래서 지난 일주일동안은 퇴근 후 매일 새벽 2시~3시까지 모델을 다운받고 테스트하며 내가 쓰기에 적합한 모델을 고르는 작업을 하였다. 모든 모델은 llama cpp를 통해 구동하였으며 모델의 다운로드는 허깅페이스(https://huggingface.co/)를 통해 진행하였다. Qwen3.5를 돌리면서 사용한 컴퓨터의 스펙은 아래와 같다.데스크탑 스펙 (i7-107..

지난 글에서 CAS와 Memory Barrier를 통해 운영체제의 개입 없이도 안전하게 데이터를 쓰고 메모리 가시성을 확보하는 방법을 알아보았다. [Disruptor] 3. Lock-Free Mechanism: 동시성의 역설, 왜 Lock을 쓰면 느릴까? [Disruptor] 3. Lock-Free Mechanism: 동시성의 역설, 왜 Lock을 쓰면 느릴까?우리는 더 빠른 처리를 위해 멀티 스레드를 사용한다. 작업을 쪼개고, 동시에 실행해서 처리량(Throughput)을 높이려는 전략이다. 하지만 아이러니하게도, 안전하게 빠르게 처리하려고 도입한 synchremgc.tistory.com 하지만 아무리 CPU의 원자적인 연산을 사용한다 해도 수많은 스레드가 동시에 같은 데이터에 접근하면 결국에는 경합이..