<< Previous | Home

Twitter는 어떻게 1초에 3,000개의 이미지를 처리하고 있나?

How Twitter Handles 3,000 Images Per Second

Twitter는 서비스에서 어떻게 이미지를 처리했는지에 대해 잘 정리된 글이 있어서 원 저자의 허락하에 제 블로그에 포스팅합니다. 원 글은 How Twitter Handles 3,000 Images Per Second" 입니다. 이 글을 통해 퍼블릭 서비스를 만들때 사이트내에서 미디어를 어떻게 처리하면 좋을지에 대한 좋은 힌트를 얻을 수 있으면 더더욱 좋을 거 같습니다. 아래부터는 번역 내용입니다.

현재 Twitter는 초당 3,000장의 이미지(약 200GB)가 만들어지고, 저장되고 있다. 더 잘 할 수도 있었지만, 2015년에 Twitter는 이러한 이미지 파일 등 미디어 파일의 저장 방법을 개선한 덕분에 600만 달러를 절약할 수 있었다.

항상 그랬던 것은 아니다. 2012년 Twitter는 주로 텍스트 기반이었다. 이것은 마치 호그와트(해리포터에 나오는 마법학교)의 벽에 멋지게 움직이는 그림이 없는 것과 같았다. 2016년, 지금은 Twitter가 미디어 중심으로 전환하고 있다. Twitter는 미리보기, 멀티 포토, gif, vine, 인라인 비디오 등에서 필요한 사진(이미지)을 지원할 수 있는 새로운 미디어 플랫폼 개발을 통해 변화해 왔다.

Twitter의 소프트웨어 개발 엔지니어인 Henna KermaniMobile @Scale London에서 3,000 images per second"라는 이야기를 통해 미디어 플랫폼으로의 변화를 말했으며, 그 이야기는 주로 이미지의 파이프 라인에 초점을 맞추고 있었지만, 세부 사항의 대부분은 다른 미디어(동영상이나 음성)에도 적용되어 있다고 말했다.

그 이야기중에서 가장 흥미로웠던 교훈을 몇가지 들어 보자.
  • 문제를 해결하려 가장 간단한 방법을 사용하면 항상 망치게 된다. 이미지가 있는 트윗을 하게 하는 것이 고객을 락인시키는 필수적인 기능이었는데, 이것을 잘 못했다. 이 기능으로 인해 확장성도 떨어졌고, 네크워크 성능 저하도 왔으며, 이런 것들로 인해 트위터가 새로운 기능을 추가하는 것을 어렵게 만들었다.
  • 디커플링. 그래서 트윗과 미디어 업로드를 분리했다. 이를 통해 각 프로세스를 독립적으로 최적화하는 것이 가능해져, 보다 유연하게 운용을 할 수 있었다.
  • 미디어 데이터의 자체가 아니라 참조 처리로 처리 방식을 바꿨다. 시스템에서 큰 데이터 덩어리를 이동시키지 마라. 대역폭을 소비하고, 데이터를 다루는 모든 서비스에서 성능 문제를 일으킬 수 있다. 대신에 미디어 데이터를 저장하고 그 참조를 조작하는 편이 좋다.
  • 업로드를 독립시켜 도중에 실패해도 계속할 수 있도록 해, 미디어 업로드 실패율이 크게 줄었다.
  • 실험과 조사. Twitter는 실험과 그 결과를 조사하여 20일이라는 기간이 이미지 변형본(썸네일, 작은 이미지, 큰 이미지 등)을 만드는데 들어가는 저장과 저장소 크기 산정에서 가장 균형적이면서 효율적인 곳을 찾았다. 이것은 트윗에서 20일이 지나면 이미지는 액세스 될 가능성이 떨어지기 때문에 변형본 이미지는 삭제할 수 있게 된다. 그리고 삭제하면 필요한 서버의 절반인, 하루에 약 4TB의 데이터 스토리지를 절약할 수 있게 된다. 그리고 1년 동안 수백만 달러를 절약할 수도 있다.
  • 온디맨드. (트윗에서 20일 이후) 이전에 변형본 이미지는 삭제할 수 있다. 왜냐하면 사전에 이미지 생성하고 유지하기보다는 필요할 때 즉석에서 이미지를 생성하는 편이 더 낫다. 이처럼 필요에 따라 서비스를 제공함으로써 처리의 유연성이 증가하고, 일을 더 영리하게 수행할 수 있고, 더 일원적으로 관리할 수 있도록 해 준다.
  • Progressive JPEG은 진정한 표준 이미지 포멧의 승자다. 이것은 프런트 엔드와 백엔드 지원이 좋고, 저속 네트워크에서 성능이 좋다.
트위터가 미디어 지향으로 변화하면서 많은 좋은 일들이 일어났다. 그래서 그들이 어떻게 대처해왔는지 배워보자.

옛날 방식 - 2012년 Twitter

1. 쓰기 절차
  • 사용자가 앱으로 트윗을 작성하고 경우에 따라서는 이미지를 첨부한다.
    • 클라이언트는 트윗을 모놀리틱 서버에 게시한다. 이미지는 다른 모든 트윗 메타 데이터와 함께 한꺼번에 업로드 된다. 그리고 일련의 프로세스 과정에 관여하는 모든게 단일 서비스에 의해 돌려진다.
    • 이 엔드 포인트는 올드하게 설계되어 있어 많은 문제의 원인이 되고 있었다.
  • 문제 1: 네트워크 대역폭의 대량 낭비
    • 트윗 작성과 미디어 업로드는 하나의 작업으로 단단히 결합되어 있었다.
    • 업로드는 완전히 성공하든 완전히 실패하든 일회성이었다. 네트워크의 약간의 문제나 일시적인 오류 등 실패의 이유가 무엇이었던 간에, 다시 시작하려면 미디어의 업로드를 포함한 업로드 과정을 다시 할 필요가 있었다. 업로드가 95%까지 완료한 상태에서도 뭔가 문제가 있으면 또 업로드를 처음부터 다시 시작해야 했다.
  • 문제 2: 큰 치수의 미디어에 대한 충분한 확장성을 제공하지 못했다.
    • 이 방법은 동영상처럼 큰 사이즈의 미디어를 위해 충분한 확장성을 제공하지 못했다. 큰 사이즈는 특히 브라질, 인도, 인도네시아 등 네트워크가 느리고 불안정한 신흥 시장에서 실패율이 증가했다. 이 지역은 트윗 업로드 성공률을 정말 높이고 싶은 곳이다.
  • 문제 3: 내부 대역폭의 비효율적 사용
    • 엔드 포인트는 TFE(Twitter 프런트 엔드)에 연결하고, TFE가 사용자 인증과 라우팅을 처리한다. 그런후, 사용자는 Image Service로 이동한다.
    • Image Service는 다양한 크기(소형, 중형, 대형, 썸네일 등)의 이미지 인스턴스를 생성하는 Variant Generator와 통신을 한다. 이들은 사진이나 동영상과 같은 대용량 데이터에 최적화된 키-값(key-value) 저장 장치인 BlobStore에 저장된다. 이미지는 반영구적으로 거기에 저장되어 계속 유지된다.
    • 트윗의 생성과 유지 과정에 관련된 서비스는 그 밖에도 많이 있다. 왜냐하면 엔드 포인트가 모놀리틱이었기 때문에, 미디어 데이터와 트윗 메타 데이터를 묶어, 그 정리는 전체 서비스를 통해 처리되었다. 이 큰 데이터 부하는 직접 이미지를 처리하지 않아도 되는 서비스에 처리를 맡겼고, 이 서비스는 미디어 파이프 라인의 일부가 아니었지만, 큰 데이터 처리의 최적화에 사용되었다. 이 방법은 내부 대역폭을 매우 비효율적으로 만들었다.
  • 문제 4: 비대해진 스토리지 공간
    • 더 이상 요청이 없는, 한 달 혹은 일년 이상 장시간이 지난 트윗 이미지는 BlobStore 저장소에 영구적으로 저장되어 공간을 차지하고 있었다. 때때로 트윗이 삭제되었을 때에도 이미지는 BlobStore에 남아 있었다. 가비지 컬렉션이 없었던 것이다.
2. 읽기 절차
  • 사용자는 트윗과 관련 이미지를 본다. 그 이미지는 어디에서 오는 것일까?
  • 클라이언트는 CDN에서 클라이언트에 맞는 변형본 이미지를 요구한다. CDN은 이미지가 있는 TFE에 이미지에 대해 요청해야 한다. 결국, 특정 크기의 이미지 URL을 BlobStore에서 직접 찾게 된다.
  • 문제 5 부 : 새로운 변화에 도입이 불가능
    • 디자인이 별로 유연하지 않다. 새로운 변화, 즉 다양한 크기의 이미지를 추가하기 위해서는, BlobStore의 모든 이미지에 대해 새로운 이미지 크기로 다시 채우는 작업이 필요하다. 주문형 변형 기능이 없었다.
    • 유연성 때문에 Twitter가 새로운 기능을 클라이언트에 추가하는 것이 어려워졌다.

새로운 방식 - 2016년 Twitter



1. 쓰기 절차
트윗에서 미디어 업로드를 분리했다.
  • 업로드 기능은 일급 객체(First-class object)로 만들어졌다. 업로드 엔드 포인트가 생성되고 원래 미디어를 BlobStore에 넣는 것이 유일하게 하는 일이다.
  • 이것이 업로드의 처리 방법에 유연성을 준다.
  • 클라이언트는 BlobStore에 이미지를 넣는 기능을 하는 Image Service와 통신하는 TFE로 상호 통신을 해 메타 데이터 저장소에 데이터를 넣는다. 그것이 전부다. 관련된 숨겨진 서비스는 더 이상 없다. 어느 누구도 미디어를 해결하지 않고서는, 어느 누구도 데이터를 처리할 수 없다.
  • 미디어 식별자인 mediaId는 Image Service로부터 전달 받는다. 클라이언트가 트윗 또는 DM을 만들거나 프로필 사진을 업데이트하고 싶을때, mediaId는 미디어를 제공하기보다는 미디어를 참조하게 처리하는데 사용된다.
  • 그냥 업로드 된지 얼마 안된 미디어를 붙인 트윗을 작성하고 싶다고 하자. 그 흐름은 아래와 같다 :
    • 클라이언트는 mediaId을 post로 전달하면서 엔드 포인트를 업데이트 한다. 그리고 Twitter Front End에 도달한다. TFE는 생성된 엔터티에 적합한 서비스로 경로를 정한다. DM이나 프로필용 서비스는 여러 가지가 있다. 모든 서비스가 Image Service와 통신을 한다. Image Server가 얼굴 검출 및 아동 포르노 검색 등의 기능을 처리 후 처리 큐에 던져진다. 그것이 끝나면 Image Service가 이미지 처리용인 ImageBird나 동영상용인 VideoBird와 통신을 한다. ImageBird가 다잉한 크기로 이미지를 변형본을 만든다. VideoBird는 일부분에 대해 트랜스 코딩을 한다. 생성된 미디어가 무엇이든 BlobStore에 저장된다.
    • 미디어가 전달되는 것이 아니어서 불필요한 대역폭이 줄어들었다.
세그먼트화 되어 재시도가 가능한 업로드.
  • 지하철을 걸어서 10분 후에 나오는 경우, 업로드 프로세스가 앞서 중단된 부분부터 시작된다. 이것은 사용자에게 완전히 매끄럽게 처리된다.
  • 클라이언트는 업로드 API를 사용하여 업로드 세션을 초기화 한다. 백엔드는 업로드 세션 전체에서 사용하는 세션을 식별하기 위한 식별자 mediaId를 준다.
  • 이미지는 여러 세그먼트로 분할된다. 여기에서는 3개의 세그먼트로 하자. API를 사용하여 세그먼트가 추가되어 각각의 추가 명령을 호출하면 세그먼트 인덱스를 돌려준다. 모든 추가 세그먼트는 같은 mediaId를 가진다. 업로드가 완료되면 최종 업로드가 완료되고, 해당 미디어는 사용할 준비가 된다.
  • 이 방법은 네트워크의 문제에 대해 더 탄력성을 가질 수 있다. 각각의 세그먼트가 다시 시도 될 수 있다. 네트워크가 어떤 이유로 다운되면 중단하고 네트워크 상태가 정상으로 돌아왔을 때 중단 된 세그먼트를 선택할 수 있다.
  • 간단한 방법으로 막대한 이익을 얻는다. 50KB 이상의 파일에서 이미지 업로드 결함이 브라질에서 33%, 인도에서는 30%, 인도네시아에서는 19%로 감소했다.
2. 읽기 절차
MinaBird라는 CDN Origin Server를 도입했다.
  • MinaBird는 ImageBird과 VideoBird와 통신 할 수 있기 때문에 이미지 크기나 동영상 형식의 변화가 없는 경우 즉시 생성하는 것이 가능하다.
  • MinaBird는 클라이언트 요청의 처리 방법에 있어서, 더 유연하고, 더 다이나믹하다. DMCA 삭제(미국의 디지털 밀레니엄 저작권법에 따라 저작권 침해 인터넷 콘텐츠를 삭제하는 것)가 있었다고 해도, 예를 들어 미디어의 특정 부분에 대한 액세스를 차단하거나 액세스를 다시 활성화시키는 것이 매우 쉽게 할 수 있다.
  • 즉시 이미지의 변형이나 트랜스 코딩을 할 수 있는 것만으로도, Twitter는 스토리지에 대해 더욱 잘 대처할 수 있게 되었다.
    • 그때 그때 필요에 따라(스크린의 변화에 따른) 이미지 변형본을 생성한다는 것은 BlobStore에 전체 변형본을 저장할 필요는 없다는 것이다.
    • 원본 이미지는 삭제될 때까지 유지된다. 변형본은 20일 밖에 저장되지 않는다. 미디어 플랫폼 팀은 수 많은 연구와 조사를 통해 최선의 만료 기간을 찾았다. 요청된 모든 사진 중 절반은 최대 15일내의 것들이다. 그 이상의 기간 이미지를 유지한다는 것은 수확 체감 현상을 가져온다. 그 어느 누구도 오래된 미디어를 요청하지 않는다. 15일이 지나면 롱테일이 된다.
    • TTL(유효 기간)도 없고, 만료 기간도 없다면 미디어 스토리지는 매일 6TB씩 증가해 간다. 필요에 따라 변형본을 만드는 느슨한(Lazy) 방식을 적용하면 하루 스토리지 증가분은 1.5TB 된다. 20일 TTL 방식은 느슨한(Lazy) 방법보다 더 스토리지를 사용하지 않기 때문에 스토리지 비용은 거의 없지만, 계산이라는 관점에서 보면 크다. 느슨한(Lazy) 방식으로 읽을 전체 변형본을 계산하는 것은 데이터 센터 당 150개의 ImageBird 머신이 필요한 반면, 20일 TTL을 적용하면 75개 정도만 필요로 한다. 그래서 20일 TTL 적용 접근법은 스토리지와 계산의 균형점이 되는 최적인 것이다.
    • 스토리지와 계산 관점에서 절약이 비용을 줄여주고 있기 때문에, Twitter의 2015년에는 20일 TTL 도입으로 600만 달러를 절약했다.
클라이언트의 개선(Android)
  • Google이 만든 이미지 포맷, WebP를 사용한 실험을 6개월간 하였다.
    • 이미지는 PNG나 JPEG을 대응했을때보다 평균 25% 작았다.
    • 작은 이미지 크기를 사용하여 네트워크 스트레스를 감소시켜 신흥 시장에서 특히 사용자 참여의 증가가 보고 되었다.
    • iOS에 대해서는 지원하지 않았다.
    • Android 4.0+만 지원했다.
    • 플랫폼의 지원 부족으로 WebP 지원 비용이 늘어났다.
  • Twitter도 시도했지만, 또 다른 옵션은 Progressive JPEG이다. 이것은 연속적인 스캔을 통해 렌더링을 한다. 첫번째 스캔은 렌더링이 고르지 않을수도 있지만, 연속적으로 스캔해 나가면 렌더링이 개선된다.
    • 더 나은 성능.
    • 백엔드에서 지원하기 쉽다.
    • 기존의 JPEG보다 60% 인코딩이 느리다. 인코딩은 1번 밖에 일어나지 않고 처리는 여러번 발생하기 때문에 이것은 큰 문제가 되지는 않는다.
    • 투명 부분을 지원하지 않기 때문에 투명 PNG가 남게 되지만, 그 밖의 모든 것은 Progressive JPEG이 커버한다.
    • 클라이언트 측에서는 Facebook의 Fresco 라이브러리가 지원을 제공받고 있다. Fresco 대해 좋게 말하고 싶은 것들이 많이 있다. 2G에 연결한 결과는 꽤 좋았다. 첫번째 PJPEG 스캔은 겨우 10kb 밖에 필요로하지 않았기 때문에 로딩 시간도 길지 않았다. 기본 파이프 라인은 PJPEG 파일이 이미지로 인식해 표시되기까지 아무런 표시 없이 대기 타임이 있다.
    • 트윗의 상세 뷰에서 로드에 대한 지속적인 실험 결과 50 로드 시간당 9% 감소했다. 95 로드 시간당 27% 감소했다. 액세스 실패율은 74%나 감소했다. 연결 속도가 느린 사용자에게 정말 큰 만족이었다.

용어 정의

  • 일급 객체(first class object) : 크리스토퍼 스트래치(Christopher Strachey)라는 영국 컴퓨터 과학자가 만들어낸 용어로, 변수나 데이터 구조 안에 담을 수 있고, 파라미터로 전달할 수 있으며, 반환값(return value)으로 전달할 수 있고, 할당에 사용된 이름과 관계없이 고유하게 식별이 가능하고, 동적으로 프로퍼티 할당이 가능하면 일급 객체라 한다.

설정 기반의 플러그인 시스템(Java)



Java에는 OSGi라는 동적 모듈 플러그인 시스템을 구현할 수 있도록 가능케하는 오픈 소스가 있지만 다루기 복잡한 면이 있어, Guice, Airlift, ServiceLoader를 활용해 간단하면서 요긴한 플러그인 시스템을 만들어 본다. 기본적인 제약사항은 단일 프로세스에, 플러그인 추가나 제거시 프로세스를 재시작해야 하며, 정의된 플러그인만 가능하다는 점을 일러둔다.

필요한 오픈 소스

1. Guice(구글에서 만든 JSR330 (Dependency Injection for Java)의 레퍼런스)
  • Dependency Injection(의존성 주입).

2. Airlift(페이스북에서 만듬)
  • Distribute Service Framework.
  • Distribute Service Framework이지만, 여기서는 Bootstrap(설정 정보와 함께 플러그인 모듈 로딩), Dependency Injection(의존성 주입), Configuration 기능 등을 사용함.

3. Java 표준 API java.util.ServiceLoader
  • 클래스 로더를 플러그인 시스템화할 수 있도록 만들어 줌.
  • JDK 1.6이상에서 제공.

설정 기반의 플러그인 구현

1. 설정 기반의 플러그인 추상 클래스 정의 : PluginModule
public abstract class PluginModule implements ConfigurationAwareModule {
  private ConfigurationFactory configurationFactory;
  private Binder binder;

  @Override
  public synchronized void setConfigurationFactory(ConfigurationFactory
    configurationFactory) {
    this.configurationFactory = checkNotNull(configurationFactory,
      "configurationFactory is null");
  }

  @Override
  public void configure(Binder binder) {
    checkState(this.binder == null, "re-entry not allowed");
    this.binder = checkNotNull(binder, "binder is null");
    try {
      setup(binder);
    } finally {
      this.binder = null;
    }
  }

  // 설정 파일과 Config 클래스 매핑 처리
  protected synchronized  T buildConfigObject(Class configClass, String prefix) {
    configBinder(binder).bindConfig(configClass, prefix != null ?
      Names.named(prefix) : null, prefix);
    try {
      Method method = configurationFactory.getClass().getDeclaredMethod("build",
        Class.class, String.class, ConfigDefaults.class);
      method.setAccessible(true);
      Object invoke = method.invoke(configurationFactory,
        configClass, prefix, ConfigDefaults.noDefaults());
      Field instance = invoke.getClass().getDeclaredField("instance");
      instance.setAccessible(true);
      return (T) instance.get(invoke);
    } catch (NoSuchMethodException | IllegalAccessException
    | InvocationTargetException | NoSuchFieldException e) {
      throw new IllegalStateException("configuration error. ", e);
    }
  }

  // 클래스 바인딩
  protected abstract void setup(Binder binder);

  @NotNull
  public abstract String name();

  public abstract String description();
}

buildConfigObject 함수는 설정 파일을 설정 파일 클래스와 매핑시켜주고, setup 재정의를 통해 실제 구현 클래스들을 바인딩한다.

2. 확장 플러그인 구현 클래스 : MysqlModule
@AutoService(PluginModule.class)
@ConditionalModule(config = "plugin.adapter.mysql", value = "true")
public class MysqlModule extends PluginModule {
  @Override
  protected void setup(Binder binder) {
    JDBCConfig config = buildConfigObject(JDBCConfig.class, "plugin.adapter.mysql");
    binder.bind(JDBCPoolDataSource.class)
   .annotatedWith(Names.named("plugin.adapter.mysql"))
        .toInstance(JDBCPoolDataSource.getOrCreateDataSource(config));
    binder.bind(MessageService.class).to(MessageServiceImpl.class)
   .in(Scopes.SINGLETON);
  }

  @Override
  public String name() {
    return "MySQL Plugin Module";
  }

  @Override
  public String description() {
    return "MySQL Plugi Module";
  }
}

MySQL DB를 사용할 경우 설정(config.properties)에 "plugin.adapter.mysql=true"가 지정되면 MysqlModule 로딩되어 MessageService는 MySQL 커넥션 풀이 셋팅되어 해당 데이터 소스를 활용할 수 있게 된다.

3. 기타
- 데이터 처리 : MessageDao
public abstract class MessageDao implements GetHandle {
  private final Logger log = Logger.get(MessageDao.class);

  public List getChatMessages(Message message) {
    try (Handle handle = getHandle()) {
      return handle
        .createQuery(
        "SELECT mq_samsung_chat_id as id, from_subs_id, to_subs_id, mq_topic_id,
        payload, read_yn, bookmark_yn, read_date, send_date\n"
          + "FROM mq_samsung_chat\n" + "WHERE to_subs_id = :toSubsId LIMIT 5")
        .bind("toSubsId", message.getToSubsId()).map(new MessageMapper()).list();
    } catch (Exception e) {
      log.error(e, "getChatMessages caught exception");
      return null;
    }
  }
}
 

데이터 핸들링 부분은 JDBI를 통해 처리했다.

- 커넥션 풀은 HikariDataSource를 사용했으며, JDBCPoolDataSource 소스를 보면 확인할 수 있다.

- SystemRegistryGenerator
config.properties 파일 자동 생성해 준다.

4. 실제 사용
- Main 클래스
public class Main {
  private static final Logger log = Logger.get(Main.class);

  public static Set getModules() {
    ImmutableSet.Builder builder = ImmutableSet.builder();
    ServiceLoader modules = ServiceLoader.load(PluginModule.class);
    for (Module module : modules) {
      if (!(module instanceof PluginModule)) {
        throw new IllegalStateException(
            format("Module 은 PluginModule 의 하위 클래스여야 함. %s",
            module.getClass().getName()));
      }
      log.info("Module = " + module.getClass().getName());
      PluginModule pluginModule = (PluginModule) module;
      builder.add(pluginModule);
    }
    return builder.build();
  }

  public static void main(String[] args) throws Throwable {
    if (args.length > 0) {
      System.setProperty("config", args[0]);
    }
    Bootstrap app = new Bootstrap(getModules());
    app.requireExplicitBindings(false);
    Injector injector = app.strictConfig().initialize();
    List messages = injector.getInstance(MessageService.class).getChatMessages(
        new Message(null, null, "test", null, null, null, null, null, null));
    log.debug("messages=" + messages.toString());
  }
}

getModules 함수는 플로그인 구현 클래스들을 로딩하고, main에서 실제 간단한 플러그인 시스템을 사용하는 부분이 정의되어 있다.

- 전제 소스 흐름 정의
Guice를 사용한 이유는 DI 패턴을 통해 행태와 의존성을 분리하는데 있다.
위 소스에서 MessageService가 생성자에서 MySQL dataSource를 선택하는 것을 MessageService가 선택하는 것이 아니고 생성자의 인수로 전달된다. bind를 통해 MessageService의 생성자에 @Inject를 붙이면, Guice는 JDBCPoolDataSource 데이터 소스를 찾아달라고 한다. 그래서 mysql 설정이 되어 있다면 MySQLModule에서 bind 된 JDBCPoolDataSource의 인수를 MessageService의 생성자로 전달해 준다.

그리고 MessageService의 인스턴스를 얻어 getChatMessages 함수를 호출해 MySQL의 데이터베이스에서 데이터를 가지고 온다.

- 실행 환경
  • Main class : com.mimul.plugin.module.Main
  • vm option : -Dlog.levels-file=src/main/resources/log.properties
  • arguments : src/main/resources/config.properties

- 실행 결과
Module = com.mimul.plugin.module.MysqlModule

Bootstrap  Loading configuration
Bootstrap  Initializing logging
HikariDataSource  generic-jdbc-query-executor - is starting.
Bootstrap  PROPERTY                                          RUNTIME
Bootstrap  plugin.adapter.mysql.connection.max-idle-timeout  null
Bootstrap  plugin.adapter.mysql.connection.max-life-time     null
Bootstrap  plugin.adapter.mysql.data-source                  null
Bootstrap  plugin.adapter.mysql.driver_class_name            com.mysql.jdbc.Driver
Bootstrap  plugin.adapter.mysql.max_connection               5
Bootstrap  plugin.adapter.mysql.password                     testadmin
Bootstrap  plugin.adapter.mysql.test_query                   select 1
Bootstrap  plugin.adapter.mysql.url    jdbc:mysql://localhost:3306/test
Bootstrap  plugin.adapter.mysql.username                     test

Main  messages=[Message(id=1, fromSubsId=clientId-23090, toSubsId=1...)]

Main 클래스를 실행하면, 위와 같이 MySQL DB의 데이터를 5건 가져온다.

5. 전체 소스
- PluginSystem.
이 플러그인 모듈은 Netty 기반으로 REST API를 구성하는데 활용할 예정이며, 또한, 프로세스를 내리지 않고도 추가, 제거 가능하게 보완할 것입니다. 어느 정도 완료되면 소스를 공개하겠습니다. 그리고 REST API를 결합한 모듈은 저희 Data Visualization 제품인 U2에도 적용되어 있습니다.

데이터에 현혹되지 않고, 데이터를 잘 활용할수 있는 14가지 룰


요즘 데이터에 관련된 부분을 생각하고 고민하다보면서 데이터를 바라보는 시각에 도움되는 글이 있어서 원저자의 허락하에 번역해 봅니다. 원저는 14 rules for data-driven, not data-deluded, marketing"입니다.
이 글을 쓴 SCOTT BRINKER는 년도별 "Marketing Technology Landscape Supergraphic"으로도 유명합니다.

1. 데이터 기반보다는 고객 기반

데이터 기반 마케팅은 분명 좋다. 그러나 (데이터 기반) 마케팅의 목적은 고객을 유치하고 그들에게 더 나은 사용자 경험을 제공하여 그들을 유지시키는 것이다. 결국엔 데이터 기반보다 고객 기반 마케팅이 더 낫다. 고객과 데이터 기반 마케팅은 상호 배타적이진 않다. 다르게 말하면, 데이터 기반은 고객 기반을 위한 수단에 지나지 않는다. 데이터로 인해 미궁의 속으로 들어갔을 땐 생각을 멈추고 "고객에게 어떻게 좋은가?"를 물어봐라. 데이터보다는 고객의 목소리가 더 중요한 법이니깐.

2. 모든 데이터는 동일하게 만들어지지 않는다.

데이터는 논쟁을 종료시킨다는 말이 있다. 적어도 절대적 진실적(정확성)이었을때만 그렇다는 이야기다. 하지만, 데이터는 마음만 먹으면 어떤 주장에도 뒷바침할 수 있는 자료를 찾게 해준다. 다만, 중요한 것은 데이터의 정확성과 관련성의 차이다. "In A Big Data World, Marketers Know Shockingly Little About Us"를 생각해 보자.
좀더 나은 교훈은: 가장 정확하고 관련성이 높은 데이터가 논쟁을 종식시킨다. 하지만, 논쟁이 끝난 다음엔 결단이 기다린다. 즉, 데이터 분석은 단지 결단을 위한 조그만 수단일뿐이다.

3. 데이터는 단순한 역사에 불과하다.

데이터는 일어난 것을 우리에게 말해준다. 일어날 것에 대해서는 말해주지 않는다. 그렇다. 하지만, 우리는 데이터의 역사로부터 배워야 한다. 그리고 과거 데이터로부터 정확한 미래를 예측가능해야 한다. 그러나 세계는 끊임없이 변하고, 데이터가 나타내는 역사의 상황은 오늘, 내일의 환경과도 엄연히 다르다. 중요한 건, 블랙스완(과거의 경험에 의한 판단이 행동의 기준이 되어서는 안된다는 것)의 경고처럼, 그 방법이 될 순 있어서 항상 될 수 있는 건 아니다.

4. 데이터는 항상 불완전하다.

물론 구체적인 하나의 데이터셋은 완전할 순 있다. 지난 3년동안 분기별 판매액을 나에게 줘라는 것은 완전한 데이터 셋이다. 하지만, 진공상태에서 존재하는 것은 아무것도 없다. 당신이 데이터를 가지고 의사결정을 할 때 데이터가 의사 결정에 관련된 유일한 것은 있을 수 없다. 의사 결정에 관련된 더 많은 데이터가 있어야 한다. 하지만, 모든 것을 손에 넣을 순 없다. 이것을 인정하면 우리가 가지고 있는 데이터로 그림은 그릴수 있지만 기껏해야 인상파 화가의 그림 정도이다. 종종 그것은 현대 미술일 수도 있다. 즉, 모든 데이터를 손에 넣을 수 없기 때문에 때로는 주어진 데이터속에서 의사 결정을 할 수 있는 용기가 필요하다.
그리고 나의 데이터에서 의사 결정할 카드가 적다는 것은 인식할 필요가 있다. 그럼 불완전한 데이터에서 많은 시간을 투자해 의사 결정에 필요할 카드를 많이 만들 수 있게 된다.

5. 데이터는 객관적이다. 그러나, 그 집합이나 해석은 주관적이다.

데이터는 객관적이라는 위험한 환상을 우리에게 준다. 객관적으로 모든 사람은 스프레드시트의 같은 데이터를 바라본다. 내가 순 추천 고객 지수 7을 보여줬다면, 내가 보여준 7에 대해서는 이견이 없다. 그러나, 무슨 데이터를 수집했고, 언제 어떻게 수집했는지, 누구로부터 수집한지에 대한 데이터에 대한 주관적인 선택이 포함되어 있다. 다른 한편으로는 우리가 어떻게 해석했는지도 주관적이다.
"The Hidden Biases in Big Data"라는 기사에서 많은 좋은 사례를 보여준다. "data fundamentalism(데이터 원리주의)"라는 화려한 문구로 소개되곤 한다. 데이터는 항상 객관적이라는 환상은 버리는 것이 낫다.

6. 하나의 데이터셋은 무한한 스토리를 만들수 있다.

마케터들은 스토리텔러이다. 그것은 일반적으로 좋은 일이다. 데이터는 스토리를 더욱 설득력있게 만든다. 하지만, 우리는 데이터를 주관적으로 해석할 수 있기 때문에 우리는 주위가 원하는 거의 모든 이야기를 만들수 있기도 하다. 인정하지만, 몇몇 스토리는 다른 것들보다 더 신뢰한다. 이것은 퍼지 라인이며 귀납의 문제(반복되는 경험의 패턴에 따른다는 사실에 촛점을 맞추고, 과거로부터 미래를 추론(Reasoning) 하는 것으로 규정되지만, 넓은 의미에서는, 관찰된 것을 기반으로 해서 아직 관찰되지 않은 것에 대한 결론에 이르는 것을 포함된다. 귀납법을 위한 틀로서 확률이론을 사용하는 베이즈 정리(Bayes' Theorem) 등이 있다.)이다.
그리고 이는 수세기 동안 과학자나 철학자들에게 성가시게 해왔다. 말할 필요도 없이 쉬운 답은 없다. 그러나 관점을 유지하는데 도움이 된다: 데이터 주위에서 나온 어떤 이야기는 그것에 대해 이야기할 수 있는 유일한 이야기는 결코 없다.

7. 전략은 선택의 문제이고, 좋은 데이터는 그 선택을 도와준다.

좋은 전략은 선택을 하기 위한 프레임워크이다. 그리고 좋은 데이터는 좋은 선택을 지원해주는 정보이다. 우리의 전략을 추구하는데 있어서 선택에 도움이 되지 못하는 데이터는 방해의 산물이다.

8. 실험은 인과관계를 발견하는 최고의 수단이다.

상관 관계가 곧 인과 관계로 이어지지 않는다. 데이터 과학자라면 누구나 알고 있는 일이지만, 그러나 마케터들은 더 많은 고객이 우리와 함께 더 많은 사업을 수행하게 되는 인과 관계를 알고 싶어한다. 데이터를 통해 있음직한 상관 관계가 발견되었을 경우 우리는 어떻게 해야할까? 우리는 통제된 실험을 실행한다. 실질적으로 가능한 만큼의 모든 변수를 가지고, 증명 또는 우리의 가설을 반증할 수 있는 대안을 테스트한다. Google은 매년 10,000건의 실험을 수행한다. 그것은 우리가 만들수 있는 가장 강력한 데이터이다. 이것은 Big Data보다 Big Test를 더 크게해야 하는이유이기도 하다.

9. 대시보드 뿐만 아니라, 앞 유리도 보자.

정량적으로 우리는 운전하는 동안 속도계 등의 대시보드(데이터)를 봐야하고, 정성적으로 앞 유리의 시야(경험)도 봐야한다. 물론 둘다 해야한다. 또한 실제로 운전할 때 정량(데이터)과 정성(경험)의 균형을 자연스럽게 유지해야 한다. 우리는 마케팅에서도 똑같은 균형을 위해 노력해야 한다.

10. 데이터의 정확성과 관련성은 시간과 함께 쇠퇴된다.

특히나 마케팅 영역에서는 데이터의 유통기한은 짧다. 내가 새로운 자동차를 검색하는 그 주에 나에게 자동차 광고를 타겟팅하는 것은 의미가 있지만, 6개월 후에 자동차 마케팅 대상에서 나를 식별해준 데이터는 단지 과거의 화석에 지나지 않는다. 내가 자동차 마케팅 대상에 포함된 것을 안다는 것은 약간의 가치가 있을지도 모른다.
하지만 나는 여전히 가치가 없다고 생각하고 있다. 가치가 없는것보다 더 나쁘다. 왜냐하면, 나에게 나쁜 의사 결정을 유도하기 때문이다. 정확성과 관련성은 데이터를 가치있게 만들지만, 속성은 시간이 지남에따라 변한다.

11. 데이터는 탐색(exploration, why?)나 확인(confirmation, what?) 작업에 유용할 수 있다.

데이터는 탐색과 확인시에는 서로 다르게 접근해야 한다. 탐색시에는 새로운 가설에 영감을 얻을 수 있는 패턴, 인사이트나 아이디어, 발견할 것들을 찾는다. 확인시에는 어떤 일이 일어날지 안일어날지, 혹은 어느 정도 일어날지에 대해 검증하는 것이다. 그러나 통제된 실험에서 테스트한 가설이 확인되지 않았다면, 확인은 무엇이 일어났고 왜 안됐는지 말해주어야 한다. 같은 데이터로 하나의 환경에서 확인에 사용될 수도 있고 또 다른 환경에서 탐색에도 사용될 수 있다. 다만 당신이 하고 있는 것에 대해서는 알아야 한다.

12. 하나의 시계를 가진 사람은 지금의 시간을 알 수 있지만, 두 시계를 가진 사람은 알 수 없다.

이 법칙은 마케터들이 알아야할 7가지 기술 법칙들 중의 하나인 Segal의 법칙(정보량이 너무 많으면 정보들이 돌아가는 것을 모르게 된다)으로 알려져 있다. 세상엔 혼돈의 데이터가 많이 있다. 준비된 두개의 다른 웹 분석 패키지들로부터 지표를 얻고자하는 사람은 정확성을 입증할 수 있다. 이 다른 두 툴은 동일 현상을 다르게 측정한다. 왜 두 툴은 서로 다른 가치있는 통찰력을 보여주는지에 대한 이해 - 즉, 중요한 차이에 대한 이해력을 갖추는데 투자하는 것은 가치가 있을수도 있다. 하지만, 매번 모순을 추적하기에는 수확 체감이 있다. 많은 경우 완벽하게 정확한 데이터는 필요없다. 하지만 충분히 정확한 데이터는 좋은 의사 결정을 낳게 한다.

13. 모델은 현실이 아니다.

데이터는 주장을 표현하기 위한 것이고 현실성은 없다. 기껏해야 현실은 반영하지만, 데이터는 변형되기도 쉽다. 과학자이면서 철할자인 Alfred Korzybski가 "지도는 영토가 아니다"라는 말을 했다. 재해석해보면, 물리적 세계(영토)를 반영한 가상적인 공간이 지도인것처럼, 만드는 사람의 심리적 상태나 개인적인 지식의 편차에 의해 지도의 모형은 변형될 수 있다는 의미로 받아들여질 수 있다. 지도나 데이터처럼 실제적인 것이 아님에도 불구하고 사람들은 사용하길 원한다.

위대한 통계학자 George E. P. Box는 "모든 모델들은 잘못된 것이지만, 일부 유용한 것도 있다."고 말했다. 그러나, 데이터가 나타내는 것에 대해 정확성에 대한 긍정적인 의구심을 유지하기 위해 신중을 기해야 한다. 실제로 우리들은 데이터가 현실과 다르다는 것을 알리는 의미로, 임계치를 벗어나는 등의 신호에 대해 알람 주기를 원할 것이다. 그리고 "지도와 지형이 다를 경우 지형을 우선시해라."라는 스위스 군대의 격언을 업급하면서 현실(고객)의 목소리가 중요시하고 있다.

14. 데이터 시각화는 명확하게 하기도 하지만, 혼선을 주기도 하고, 집중을 분산시키기도 한다.

차트, 그래프, 인포그래픽 등의 데이터 시각화는 강력하지만, 양날의 검이기도 하다. 시각화는 지금까지 우리 인간에게 데이터에서 패턴을 발견하는데 가장 효과적인 방법이다. 불행하게도 의도적이든, 우연이든 패턴은 실제로 정확하지 않은 것을 보여줄 수 있다. 데이터 시각화는 과학이며 그 자체가 예술이다. 다양한 각도와 인사이트력이 필요하다.

비주얼에 대한 문학적 스킬을 배울려면 Stephen Few, Kaiser Fung, Edward Tufte, Nathan Yau, Fernanda Viégas and Martin Wattenberg의 글을 읽으면 좋다. 그들은 여러분들의 데이터 인사이트에 많은 도움을 줄 것이다.
Tags : ,

대용량 파일 다운로드는 Axel

Axel은 멀티 커넥션 타입의 다운로더이다. wget이나 curl과 같이 다양한 대응은 할 수 없지만, 하나의 파일을 여러 연결(기본 연결은 4)을 통해 다운로드를 실행하기 때문에 대용량 파일의 다운로드에서는 wget이나 curl에 비해 많이 빠르다.

다운로드 속도를 올리고 싶으시면 Axel을 사용해 보세요.

설치

- Mac OSX
$ brew install axel

- CentOS
$ rpm -ivh http://pkgs.repoforge.org/axel/axel-2.4-1.el6.rf.x86_64.rpm

- Ubuntu
$ apt-get install axel

다운로드 테스트

아래 다운로드 URL http://goo.gl/0Z7WC4http://centos.mirror.cdnetworks.com/7.2.1511/isos/x86_64/CentOS-7-x86_64-Minimal-1511.iso 입니다.

- Wget
[mimul]% wget http://goo.gl/0Z7WC4
--2016-07-06 10:24:44--  http://goo.gl/0Z7WC4
Resolving centos.mirror.cdnetworks.com... 14.0.101.165
Connecting to centos.mirror.cdnetworks.com|14.0.101.165|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 632291328 (603M) [application/octet-stream]
Saving to: 'CentOS-7-x86_64-Minimal-1511.iso'

CentOS-7-x86_64-Minimal-1511.iso  100%[=====>] 603.00M  5.37MB/s   in 2m 7s

10:26:52(4.75 MB/s) - 'CentOS-7-x86_64-Minimal-1511.iso' saved [632291328/632291328]

- Curl
[mimul]% curl -o CentOS7.iso http://goo.gl/0Z7WC4
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
 --:--:-- --:--:-- --:--:--     0*   Trying 14.0.101.165...
* Connected to centos.mirror.cdnetworks.com (14.0.101.165) port 80 (#0)
> GET /7.2.1511/isos/x86_64/CentOS-7-x86_64-Minimal-1511.iso HTTP/1.1
> Host: centos.mirror.cdnetworks.com
> User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)
> Accept: */*
> Referer:
>
< HTTP/1.1 200 OK
< Date: Wed, 06 Jul 2016 01:30:21 GMT
< Server: Apache
< Last-Modified: Wed, 09 Dec 2015 23:03:23 GMT
< ETag: "f05035e-25b00000-5267f18d704c0"
< Accept-Ranges: bytes
< Content-Length: 632291328
< Content-Type: application/octet-stream
<
{ [16137 bytes data]
100  603M  100  603M    0     0  5252k      0  0:01:57  0:01:57 --:--:-- 5371k
* Connection #0 to host centos.mirror.cdnetworks.com left intact

- Axel
[mimul]% axel -a -n 10 -o CentOS7.iso http://goo.gl/0Z7WC4
Initializing download: http://goo.gl/0Z7WC4
File size: 632291328 bytes
Opening output file CentOS7.iso
Starting download

Connection 8 finished                                                          ]
Connection 9 finished                                                          ]
Connection 3 finished                                                          ]
Connection 7 finished                                                          ]
Connection 6 finished                                                          ]
Connection 5 finished                                                          ]
Connection 1 finished                                                          ]
Connection 2 finished                                                          ]
Connection 0 finished                                                          ]
[100%] [..................................................] [   8.6MB/s] [00:00]

Downloaded 603.0 megabytes in 1:10 seconds. (8778.65 KB/s)


632메가 CentOS-7-x86_64-Minimal-1511.iso 파일을 다운로드 받는데 wget은 2분 7초, curl은 1분 57초, axel은 1분 10초가 걸렸습니다. axel의 분할 다운로드 기능 때문에 wget, curl보다 빠른거 같습니다. 시간이 급할때는 axel로 다운로드해 보세요.
Tags :

2016년 6월 기준 유니콘 기업 분석

유니콘 기업이란 상장되지 않았고 기업 평가액이 10억달러 이상인 기업을 말합니다. 유니콘 기업의 통계자료를 분석해 보면 핫한 기업 및 산업 분야를 알 수 있고, 연도별로, 국가별로 유니콘 숫자, 유니콘이 되기까지 얼마의 기간이 필요했으며, 유니콘 투자회사들 등을 알 수 있을 거 같습니다.

데이터 입수

전세계 유니콘의 데이터 정보는 기업 정보 데이터베이스를 많이 가지고 있는 Cbinsights의 The Unicorn List라는 페이지에서 구할 수 있습니다. 이 페이지를 긁어서 DB화했고, 시각화는 저희 제품(U2)를 통해 시각화해 했습니다.

저희 제품 데모 사이트는 여기입니다. 필요하신 분은 이메일로 필요한 사유를 보내주시면 테스트 계정을 보내드리겠습니다. 보내실 이메일은 오른쪽 프로파일 이미지 아래에 있습니다. ^^

기업가치 평가액 상위 10개 기업


우버, 샤오미, Airbnb 순으로 나오고, 아래 회사 소개를 보시면 좀 더 자세하게 설명해 두었습니다.

국가별 유니콘 정보

- 국가별 유니콘 개수


미국이 96개, 기업가치 합이 3400억불 정도로 가장 높았습니다. 그리고 건수로 미국과 미국 이외의 지역과 비율을 보면 57.8%대 42.2%로 미국이 미국을 제외한 지역보다 많은 유니콘을 보유하고 있고, 기업 가치 평가액으로 비교를 하면 56.9%대 43.1%로 비율이 비슷합니다.

- 유니콘이 많이 속한 상위 10개 국가

미국이 96개, 중국 32개, 인도 7개 순으로 많네요. 중국의 부상이 무섭습니다.

연도별 유니콘 탄생 건수


2014년 40개사, 2015년에는 80개사로 제일 많고, 현재까지의 전체 유니콘 건수는 166개사인 걸 감안하면 2014년과 2015년에 탄생된 유니콘 수가 전체 67.5%에 해당됩니다. 두해에 가장 많은 투자를 받은 것으로 붐 업 되었다고 봐도 될 거 같습니다.

Unicorn 기업이 되기까지 걸린 시간


Uber는 3년 조금 모자라게 걸렸고, 샤오미나 Airbnb는 5년 정도 걸렸네요.

유니콘의 산업별 분포

- 산업별 유니콘의 분포

eCommerce/Marketplace가 37개로 가장 많고 그 다음으로 Internet Software & Services 26개, Fintech 20개, Big Data가 14개, Healthcare가 10개 등의 순으로 나왔습니다.

- 연도별 산업 분야 유니콘 숫자

년도별로 산업별 유니콘 탄생 숫자를 살펴보면, 2015년이 가장 많은 증가수를 기록하고 있네요. 그리고, 2014년도부터 Healthcare, Fintech가 많이 등장했다는 것만으로도 이 분야가 핫한 분야라 생각할 수 있겠습니다. 국내 투자도 이쪽으로 갈 가능성이 높고, Healthcare, Fintech가 뜨면 아마 백데이터 분야도 같이 수요가 증가될 가능성이 커 빅데이터 기업도 투자될 가능성이 많아집니다.

- 산업별 상위 5개 유니콘들


유니콘 투자자

- 전체 유니콘 투자자 리스트

Sequoia Capital이 17건인데 실제 중국지사(6건) 포함하면 23건으로 제일 많습니다. 그 다음으로 Accel Partners(17건), Insight Venture Partners(10건) 등으로 나타났습니다.

- 상위 10개 투자사들


아시아 지역


아시아쪽은 eCommerce/Marketplace 분야에 17개사로 전체 대비 37% 정도로 많은 수가 포진되어 있습니다.

- 한국의 유니콘

쿠팡(Sequoia Capital, Founder Collective, Wellington Management이 투자), 옐로 모바일(Formation 8이 투자), CJ 게임즈(Tencent가 투자) 3군데며, 그리고 분야는 이커머스와 게임쪽입니다.

유니콘 상위 10개 회사 소개

  1. Uber(2009년 3월 창업) : 주문형 라이드 공유 서비스.
  2. Xiaomi(2010년 4월) : 중국 스마트폰 제조업체. 그외 가전, 통신 등 다양한 제품 제공.
  3. Airbnb(2008년 8월) : 객실 임대 중개 서비스.
  4. Palantir Technologies(2004년) : 피터틸이 창업자중에 한명이며, 데이터 분석 서비스를 주로하는 회사로, 피터틸이 Paypal 시절에 돈 세탁 방지를 위해 트랜젝션을 패턴화하여 부정행위를 발견하는 기술에 CIA와 공동 개발해 확장한 것이 Palantir의 핵심 기술이다. FBI, CIA, NSA 등 미국 부처와 계약해 서비스해 주고 있는 테러리즘 분석 대행 서비스가 주요 사업이며, 최근에는 은행의 자산 관리 및 의약품의 개발, 재고 관리의 최적화와 매출을 증가시키기 위한 구매 행동 분석 서비스 등을 제공해 사업 영역을 확대하고 있다. 재무 비공개.
  5. Didi Kuaidi(2012년 9월) : 중국판 Uber. 택시 배차 서비스.
  6. Lufax : 중국 FinTech 기업. 돈을 빌리는 사람과 투자하는 사람을 연결해주는 대출 중개 서비스 제공.
  7. China Internet Plus Holding(2005년 10월) : 중국 소셜 커머스.
  8. Snapchat(2011년 5월) : SNS 서비스. 사진 공유, 메세지.
  9. WeWork(2011년 2월) : 사무 공간 운영.
  10. Flipkart(2007년 9월) : 인도의 Amazon. E-Commerce 기업.
그 뒤로 SpaceX(2002년 6월), Pinterest(2009년 1월), Dropbox(2007년 6월), DJI Innovations(2006년 11월)가 있습니다.

Self-Service BI 제품 U2를 소개

와이즈에코에서 만든 Self-Service BI 제품 U2를 소개합니다.
SQL On Hadoop(Tajo, Impala, Presto, Hive), RDB(Oracle, Postgresql)의 데이터를 다양한 리포트로 자동 퍼블리싱이 가능한 제품입니다. 제품의 기능은 아래 제품 소개를 살펴봐 주시면 감사하겠습니다.

U2 제품 소개

U2 product For Wiseeco

U2 제품 소개 동영상

[번역] 객체지향 프로그래밍으로 유틸리티 클래스를 대체하자.

유틸리티 클래스를 안써본 사람은 거의 없을겁니다. 유틸리티 클래스가 좋다, 나쁘다는 논쟁꺼리지만, 객체지향의 관점에서 볼때 그래도 생각해볼 꺼리가 된다고 생각해, OOP Alternative to Utility Classes"라는 아티클을 저자 허락하에 번역해 봅니다.

유틸리티 클래스(또는 헬퍼 클래스)는 정적 메소드만을 가지고 있고, 상태를 내포하지 않는 "구조"이다. Apache Commons의 StringUtils, IOUtils, FileUtils과 Guava의 Iterables, Iterators, 그리고 JDK7의 Files 등이 유틸리티 클래스가 좋은 예다.

유틸리티 클래스는 많은 곳에서 사용되는 공통 기능을 제공하기 때문에, 이런 설계 방법은 Java(또는 C#, Ruby 등) 세계에서는 매우 인기있다.

여기엔, DRY 원칙을 따르고 중복을 피하는 것을 원한다. 그래서 유틸리티 클래스에 공통 코드를 넣고, 필요에 따라 재사용한다.
// This is a terrible design, don't reuse
public class NumberUtils {
  public static int max(int a, int b) {
    return a > b ? a : b;
  }
}
정말, 이것이 편리한 기술인가?

유틸리티 클래스는 악이다

그러나, 객체 지향의 세계에서 유틸리티 클래스는 아주 나쁜(심하게 나쁘다고 생각하는 사람도 있을지도 모른다) 방법이다.

이 주제에 대해서는 많은 논란이 있다. 일부 들면, Nick Malik의 헬퍼 클래스는 악인가?", Simon Hart의 왜 헬퍼클래스, 싱글톤, 유틸리티 클래스는 대체로 나쁘낙?", Marshal Ward의 유틸리티 클래스를 피하기", Dhaval Dalal의 유틸 클래스를 죽여라!", Rob Bagby의 "헬퍼 클래스는 문제의 징후다."

게다가, StackExchange에는 유틸리티 클래스에 대한 질문이 몇가지 있다. 예를 들어, 유틸리티 클래스가 악이라면 공통 코드를 어디에 두어야 하나?", 유틸리티 클래스는 악이다" 등이다.

이러한 논쟁을 요약해보면, 유틸리티 클래스는 적절한 객체가 아니라는 것이다. 그래서 객체 지향의 세계에선 적합하지 않다. 유틸리티 클래스는 당시 사람들이 기능 분할 패러다임에 익숙해져 있었기 때문에 절차적 언어에서 계승되었다.

여러분이 이 주장에 동의하고 유틸리티 클래스를 사용하는 것을 중지하고 싶어한다것을 가정하고 유틸리티 클래스를 어떻게 적절한 객체로 대체하는지를 예를 들면서 보여주겠다.

절차적 프로그램의 예

예를 들어, 텍스트 파일을 읽고, 행단위로 분할하고, 각 라인을 손질(공백제거 등)하고, 그 결과를 다른 파일에 저장하고 싶다고 한다. 이것은 Apache Commons의 FileUtils과 함께 구현되어 있다.
void transform(File in, File out) {
  Collection src = FileUtils.readLines(in, "UTF-8");
  Collection dest = new ArrayList<>(src.size());
  for (String line : src) {
    dest.add(line.trim());
  }
  FileUtils.writeLines(out, dest, "UTF-8");
}
위의 코드는 예뻐 보인다. 그러나, 이것은 절차적 프로그래밍이며, 객체 지향이 아니다. 코드의 각 라인에서 데이터(byte와 bit)를 조작하고 컴퓨터의 어디에서 데이터를 가지고, 어디에 쓸 것인지를 명시적으로 지시하고 있다. 즉, 실행 절차를 정의하고 있다.

객체 지향적 대안

객체 지향 패러다임에서는 객체를 인스턴스화하여 합성해야(컴포즈) 한다. 이것은 객체가 언제, 어떻게 객체 자신이 원하는 방식으로 데이터를 관리해야하기 때문이다. 추가적인 정적 메소드를 호출하는 대신, 요구하는 행동을 제공할 수 있는 객체를 생성해야 한다.
public class Max implements Number {
  private final int a;
  private final int b;
  public Max(int x, int y) {
    this.a = x;
    this.b = y;
  }
  @Override
  public int intValue() {
    return this.a > this.b ? this.a : this.b;
  }
}
다음은 절차적 메소드 호출:
int max = NumberUtils.max(10, 5);
다음은 객체지향적인 방법이 된다.
int max = new Max(10, 5).intValue();
둘 다 같은가? 아님 그렇지도 않은가? 좀 더 읽어 주었으면 한다.

데이터 구조 대신 객체

저라면 위와 같은 파일 변환 기능을 객체 지향 방식으로 다음과 같이 설계한다.
void transform(File in, File out) {
  Collection src = new Trimmed(
    new FileLines(new UnicodeFile(in))
  );
  Collection dest = new FileLines(
    new UnicodeFile(out)
  );
  dest.addAll(src);
}
FileLines는 Collection을 구현하고, 파일의 읽기및 쓰기 함수를 내포하고 있다. FileLines 인스턴스는 문자열의 컬렉션으로 정확하게 작동하고 모든 I/O 처리를 은폐하고 있다. 이 인스턴스를 반복하면 파일이 읽혀진다. 이 인스턴스에 addAll()하면 파일에 기록된다.

Trimmed도 Collection을 구현하고, 문자열 컬렉션을 내포하고 있다(Decorator 패턴). 한행이 검색될 때마다 트림된다.

Trimmed이나, FileLines, UnicodeFile은 파일 변환에 기능에 참여하는 모든 클래스는 작지만, 각각 자신의 하나의 기능을 담당하는, 즉 단일 책임 원칙에 완벽하게 따르고 있다.

우리 측, 즉 라이브러리의 사용자에서 보면 이것은 그렇게 중요하지 않을지도 모르지만, 라이브러리 개발자에서 보면 중요하다. 80개 이상의 메소드를 가진 3000라인의 유틸리티 클래스인 FileUtils의 readLines()보다 FileLines의 클래스가 개발과 유지 보수, 단위 테스트가 더 쉽다. 심각하게, 그 소스 코드를 봐라.

객체 지향 접근 방식은 지연 실행을 가능하게 한다. in 파일은 데이터가 필요할 때까지 읽지 않는다. I/O 오류로 out을 여는데 실패했다면 파일은 터치조차 되지 않는다. 모든 것은 addAll()을를 호출한 다음에 시작된다.

두번째 조각의 마지막 줄을 제외한 모든 라인은 작은 객체를 인스턴스화하고 큰 객체를 합성하고 있다. 이 객체 합성은 데이터 변환을 일으키지 않기 때문에 CPU 비용은 오히려 낮다.

또한 첫번째 스크립트가 O(n)으로 움직이는 반면, 두번째 스크립트는 분명히 O(1)의 계산량으로 움직인다. 이런 이유는 첫번째 스크립트에서는 데이터에 대한 절차적 접근을 했기 때문이다.

객체 지향의 세계에서는 데이터라는 것은 없다. 객체와 그 행위만이 있다!