최근에 엔비디아의 4060ti에서 r9700으로 그래픽카드를 바꿨다. vram이 너무 작기도 했고 조금 더 큰 모델을 돌려보고 정말 SOTA 모델들과 비슷한지 확인해보고 싶었다. 그래서 r9700으로 바꾸었고 소비자용 그래픽카드에서 돌릴 수 있는 모델 중 끝판왕이라는 qwen3.6 27b를 돌려보았다. 각설하고 결론부터 말하자면 아래와 같다. 용도양자화mtp백엔드속도짧은 코딩 (≤8k)Q6_Kn2Vulkan b943048t/s긴 코딩 (16k+)Q6_Kn3ROCm b128337t/s긴 코드 한 방 생성Q6_Kn3Vulkan b9430~60t/s품질 최우선UD-Q6_K_XLn3Vulkan/ROCm42t/sNo MTPQ6_KoffROCm24t/s 어느정도 속도까지 나올까?R9700은 메모리 대역폭이 640G..

이번에 RTX 4060Ti를 RADEON AI PRO R9700으로 바꾸면서, 그동안 한 번도 신경 쓰지 않았던 파워를 처음으로 케이스에서 꺼내 들여다봤다. toppower 700W다. 2020년에 컴퓨터를 처음 맞췄다. 그때 부품을 컴퓨존에서 구매하면서 조립까지 업자에게 맡겼고, 그 안에 들어간 파워가 이 toppower 700W다. 솔직히 고백하면 이게 신품이었는지 중고였는지 나는 모른다. 내가 직접 고른 것도, 직접 단 것도 아니었으니까. 모델명조차 이번에 케이스를 열고 나서야 다시 확인했다.그런데 이 파워를 생각보다 잘 사용했다. 6년 동안 단 한 번도 문제를 발생시킨적이 없었다.그런데 R9700으로 하려니 조금 불안했다.R9700의 권장 파워가 750W로 얼핏 본 것 같아서 기존 파워를 그대..

24년도에 ai 찍먹하기 위해 구매했던 4060ti를 라데온 r9700로 변경하였다.4060ti가 vram 16gb로 적당히 덜 똑똑한 버전의 모델까지는 사용 가능했지만 그 이상의 것은 사용이 어려웠다. 실제 SOTA급 모델 외에 로컬에서 돌릴 수 있는 모델 중 qwen3.6 27b가 최고라는 얘기를 들었고, 과연 얼마나 똑똑할까가 궁금했다.점수로는 알겠는데 그래서 내가 일상 생활에서 평소 쓰는대로 쓸 수 있는가? 그게 관건이었다.그래서 구매하려고 이것저것 찾아본게 7900xtx나 r9700이었다. rtx5080은 성능은 나쁘지 않은데 vram이 16gb로 대상에서 제외하였고, rtx5090은 650~700만원쯤 하여 가격이슈로 제외하였다.7900xtx, r9700 둘 다 vram이 4060ti보다 ..

지난 네 편에 걸쳐 LMAX의 Disruptor의 특징을 분석해 보았다. 그런데 Disruptor에 대해 글을 쓰는 동안 머릿속엔 거래소 외 평범한 백엔드에서도 쓸 일이 있긴 한가 라는 질문이 멤돌았다. 거래소 매칭 엔진 Disruptor의 본래의 목적은 정해져 있으며 애초에 LMAX가 그걸 만들려고 짠 도구다. 다만 거래소가 아닌 일반적인 서비스, 예를 들면 사용자 행동에 따라 포인트를 적립해주거나 마케팅 메시지를 발송하는 시스템에서도 Disruptor가 합리적인 선택이 될 수 있을지가 의문이었다. 예를들어 포인트 적립 트래픽이 폭주하거나, CRM 일괄 발송 부하 클때 등 이러한 시나리오 상황에서도 적용할 수 있는 구간이 있지 않을까 하는 생각이 들었다. 이번 글에선 거래소 매칭 엔진으로써의 Disru..

지난 글에서 CAS와 Memory Barrier를 통해 운영체제의 개입 없이도 안전하게 데이터를 쓰고 메모리 가시성을 확보하는 방법을 알아보았다. [Disruptor] 3. Lock-Free Mechanism: 동시성의 역설, 왜 Lock을 쓰면 느릴까? [Disruptor] 3. Lock-Free Mechanism: 동시성의 역설, 왜 Lock을 쓰면 느릴까?우리는 더 빠른 처리를 위해 멀티 스레드를 사용한다. 작업을 쪼개고, 동시에 실행해서 처리량(Throughput)을 높이려는 전략이다. 하지만 아이러니하게도, 안전하게 빠르게 처리하려고 도입한 synchremgc.tistory.com 하지만 아무리 CPU의 원자적인 연산을 사용한다 해도 수많은 스레드가 동시에 같은 데이터에 접근하면 결국에는 경합이..

우리는 더 빠른 처리를 위해 멀티 스레드를 사용한다. 작업을 쪼개고, 동시에 실행해서 처리량(Throughput)을 높이려는 전략이다. 하지만 아이러니하게도, 안전하게 빠르게 처리하려고 도입한 synchronized나 ReentrantLock 같은 동기화 장치들이 오히려 시스템의 발목을 잡는 주범이 되곤 한다. 스레드를 늘렸는데 성능은 제자리걸음이거나, 오히려 떨어지는 현상. 우리는 이를 동시성의 역설이라 부른다. 도대체 왜 Lock을 쓰면 느려질까? 단순히 "무겁다"라는 추상적인 표현 말고, OS와 하드웨어 관점에서 Lock의 이면을 살펴보자. 1. Lock이 비싼 이유: OS의 개입단도직입적으로 Lock은 비싸다. 가장 큰 이유는 락을 획득하고 해제하는 과정에서 운영체제가 개입하기 때문이다. Us..