회사에서 사내 여러 서비스와 서드파티의 발송 요청을 함께 처리하는 메시지 발송 시스템을 개발하였다. 시스템 발송(인증번호, 결제 안내 같은 것)과 CRM 발송(마케팅 캠페인)을 받아 문자, 알림톡, 이메일, 푸시로 내보낸다. 접수는 한 트랜잭션으로 저장한 뒤 바로 응답하고, 발송과 결과 처리는 메시지 버스를 거쳐 비동기로 흐른다. 회사의 니즈는 LG나 KT처럼 대형 문자 발송 사업자가 되길 원하였던 것 같다. 시스템의 발송 목표치는 초당 3,000건이었다. 주어진 기간은 딱 2달이었다. 게다가, 살면서 3,000 TPS를 가진 시스템을 다뤄 본 적도, 설계해 본 적도 없었다. 경험도 없는 데다 개발 인원은 2년차 팀원 1명과 나를 포함하여 총 2명이었기 때문에 사실상 내가 메인 키를 쥐고 앞으로 나아가..

시스템을 ddr4 128gb에 r9700 2개로 구성해본김에 qwen3.8 27b와 qwen3.8 flash next를 실행해보았다. QWEN3.8 27B 디코드는 212정도가 나오고 프리필은 4300정도가 나온다. 보통 클로드에서 제공하는 오퍼스가 디코드 50~60에 프리필 2000~3000인것에 비하면 꽤나 빠른 수준이다. 요청당 104.8정도가 맥시멈이고 동시에 8개 실행 시 디코드 합은 553정도까지 나온다. 물론 지능은 클로드가 제공하는 오퍼스보다 한참 부족한 수준이지만 프론티어 모델로부터 작업을 받아 수행하는 정도로는 아주 훌륭하다. QWEN3.8 FLASH NEXT 다음은 qwen3.8 flash next이다. 지능은 오퍼스 4.6과 4.7사이로 로컬에서 사용하기 충분한 모델이다. 디코..

최근들어 amd쪽 개발 및 최적화 작업이 굉장히 빠르게 진행되고 있다는걸 느낀다. 아무래도 nvidia 진영의 그래픽카드들의 높은 가격으로 인해 amd 그래픽카드를 많이 찾게되면서 자연스레 발전 속도가 빨라지고 있는 것 같다. qwen3.8 27b의 속도가 너무 느려 동일한 그래픽카드 1개를 더 사려 하였으나 당장 시스템이 그래픽카드 2개를 꽂아도 효율적으로 사용하질 못하여 중고와 신품을 섞어 구매하여 시스템을 새롭게 구축하였다. ddr4램 128gb에 r9700 x 2로 구성된 시스템이다. 막상 이렇게 2개로 맞추고 나니 qwen3.8 flash next까지 돌릴 수 있었기에 qwen3.8 flash next를 메인으로 사용중이다. qwen3.8 flash next가 현재 opus4.7과 4.6의..

회사에서 사내 여러 서비스와 서드파티의 발송 요청을 함께 처리하는 메시지 발송 시스템을 개발하였다. 시스템 발송(인증번호, 결제 안내 같은 것)과 CRM 발송(마케팅 캠페인)을 받아 문자, 알림톡, 이메일, 푸시로 내보낸다. 접수는 한 트랜잭션으로 저장한 뒤 바로 응답하고, 발송과 결과 처리는 메시지 버스를 거쳐 비동기로 흐른다. 회사의 니즈는 LG나 KT처럼 대형 문자 발송 사업자가 되길 원하였던 것 같다. 시스템의 발송 목표치는 초당 3,000건이었다. 주어진 기간은 딱 2달이었다. 게다가, 살면서 3,000 TPS를 가진 시스템을 다뤄 본 적도, 설계해 본 적도 없었다. 경험도 없는 데다 개발 인원은 2년차 팀원 1명과 나를 포함하여 총 2명이었기 때문에 사실상 내가 메인 키를 쥐고 앞으로 나아가..

지난 네 편에 걸쳐 LMAX의 Disruptor의 특징을 분석해 보았다. 그런데 Disruptor에 대해 글을 쓰는 동안 머릿속엔 거래소 외 평범한 백엔드에서도 쓸 일이 있긴 한가 라는 질문이 멤돌았다. 거래소 매칭 엔진 Disruptor의 본래의 목적은 정해져 있으며 애초에 LMAX가 그걸 만들려고 짠 도구다. 다만 거래소가 아닌 일반적인 서비스, 예를 들면 사용자 행동에 따라 포인트를 적립해주거나 마케팅 메시지를 발송하는 시스템에서도 Disruptor가 합리적인 선택이 될 수 있을지가 의문이었다. 예를들어 포인트 적립 트래픽이 폭주하거나, CRM 일괄 발송 부하 클때 등 이러한 시나리오 상황에서도 적용할 수 있는 구간이 있지 않을까 하는 생각이 들었다. 이번 글에선 거래소 매칭 엔진으로써의 Disru..

지난 글에서 CAS와 Memory Barrier를 통해 운영체제의 개입 없이도 안전하게 데이터를 쓰고 메모리 가시성을 확보하는 방법을 알아보았다. [Disruptor] 3. Lock-Free Mechanism: 동시성의 역설, 왜 Lock을 쓰면 느릴까? [Disruptor] 3. Lock-Free Mechanism: 동시성의 역설, 왜 Lock을 쓰면 느릴까?우리는 더 빠른 처리를 위해 멀티 스레드를 사용한다. 작업을 쪼개고, 동시에 실행해서 처리량(Throughput)을 높이려는 전략이다. 하지만 아이러니하게도, 안전하게 빠르게 처리하려고 도입한 synchremgc.tistory.com 하지만 아무리 CPU의 원자적인 연산을 사용한다 해도 수많은 스레드가 동시에 같은 데이터에 접근하면 결국에는 경합이..