[윈도우즈 시스템 프로그래밍] 2. Windows에서의 유니코드(UNICODE)

이 포스트는, 윤성우 저자님의 '뇌를 자극하는 윈도우즈 시스템 프로그래밍'을 바탕으로 제 생각을 재구성하여 정리한 포스트입니다.

목차

---

• 문자셋의 종류와 특성
• WBCS 기반의 프로그래밍
• 매개변수 전달인자 유니코드화

 

문자셋의 종류와 특성

---

 문자셋이란? 문자의 집합이다. 문자를 어떻게 표현하느냐? 표현하는 방법에 있어 크게 3가지로 나뉜다.

• SBCS(Single Byte Character Set)
  • 문자를 표현하는데 1바이트 사용한다
  • 아스키코드는 SBCS다
• MBCS(Multi Byte Character Set)
  • 한글은 2바이트, 영문은 1바이트 사용하는 형태다
• WBCS(Wide Byte Character Set)
  • SBCS보다 2배 넓게 표현한다
  • 문자를 표현하는데 2바이트를 사용한다
  • 유니코드는 WBCS다

 우리는 대한민국에서 살고 있기 때문에, 소프트웨어에서도 한글을 지원해야 한다.

한글을 지원하는 문자셋을 살펴보면 MBCS와 WBCS가 있는데..

MBCS는 한글은 2바이트, 영문은 1바이트를 사용하기 때문에 언뜻 보기엔 효율적으로 보일 수 있다.

하지만 요즘 같은 시대엔 엄청나게 긴 문장이 아닌 이상 1바이트를 줄였다고 해서 그렇게 칭찬할만할 일은 아니다.

그래서 등장한 것이 유니코드다. 유니코드(WBCS)는 한글이던 영문이던 2바이트를 사용하기 때문에 MBCS보다 안정적이다.

 

 그러면 MBCS기반에서 문자를 표현할 때 어떤 문제점이 있는지 아래 예제를 통해 살펴보자.

[예제 1]

int main(void)
{
	char str[] = "ABC한글";
    int size = sizeof(str)
    int len = strlen(str);
    
    printf("배열의 크기: %d\n", size);
    printf("문자열 길이: %d\n", len);
    
    return 0;
}

[실행 결과]

배열의 크기: 8
문자열의 길이: 7

 str는 ABC는 영문이기 때문에 1byte * 3 = 3, 한글은 한글이기 때문에 2byte * 2 = 4, null문자까지 포함해

배열의 크기는 3 + 4 + 1 = 8이 나온다.

그런데, 문자열의 길이는 "ABC한글"은 다섯 글자기 때문에 5가 나와야 정상이지만 왜 7이 나왔을까?

한글을 하나당 문자열 길이 2라고 인식해 문자열의 길이가 3 + (2 * 2) = 7로 나온 것이다.

 

[예제 2]

int main(void)
{
	char str[] = "한글입니다";
    int i;
    
    for(i = 0; i < 5; i++)
    {
    	fputc(str[i], stdout);
    }
    fputs("\n", stdout);
    
    for(i = 0; i < 10; i++)
    {
    	fputc(str[i], stdout);
    }
    fputs("\n", stdout);
    return 0;
}

[실행 결과]

한글
한글입니다

예제 1과 동일한 이유로 한글을 2바이트로 인식하기 때문에 for 루프를 돌릴 때 위와 같은 실행 결과를 보인다.

 

WBCS 기반의 프로그래밍

---

• WBCS를 위한 두 가지
  • 첫째: char를 대신하는 wchar_t
  • 둘째: "ABC"를 대신하는 L"ABC"
• WBCS 기반 문자열 선언 예
  
  • wchar_t str[] = L"ABC";

 

 그렇다면 불안정한 MBCS 대신 WBCS 기반의 프로그래밍을 하려면 어떻게 해야 할 까? 위에서의 두 가지를 기억하면 된다.

1. 우리가 일반적으로 사용하는 char의 자료형 대신 wchar_t를 사용하면 된다.

wchar_t 자료형 같은 경우 낯설게 느껴질 수 있는데, 우리가 정의한 자료형이 아닌 ANSI에서 제공하는 표준 자료형이다.

차이점이 있다면 char는 1바이트, wchar_t는 2바이트를 사용한다.

2. "ABC"는 암묵적으로 '아스키코드 기반으로 문자열을 선언하겠다.'라는 의미다.

반면에 L"ABC"는 '유니코드 기반으로 문자열을 선언하겠다.'라는 의미다.

 

[예제 3]

int main(void)
{
	wchar_t str[] = L"ABC";
    int size = sizeof(str);
    int len = strlen(str);
    
    printf("배열의 크기: %d \n", size);
    printf("문자열 길이: %d \n", len);
    
    return 0;
}

 위의 예제가 정상적으로 동작할까? 정답은 아니다. 컴파일조차 되지 않는다.

이유는 sizeof는 할당된 메모리의 크기를 얻는 구문이기 때문에 유니코드/아스키코드가 상관없다.

하지만, strlen 같은 경우 인자로 받은 문자열의 길이를 반환해주는 함수인데 char*타입의 인자를 받는 함수다.

그렇기 때문에 wchar_t* 타입의 자료를 strlen에 전달했기 때문에 컴파일 오류가 생긴 것이다.

 

[표 1] 문자열 조작 함수

SBCS 함수	WBCS 기반의 문자열 조작 함수
strlen	size_t wcslen(const wchar_t* string);
strcpy	wchar_t* wcscpy(wchar_t* dest, const wchar_t* src);
strncpy	wchar_t* wcsncpy(wchar_t* dest, const wchar_t* src, size_t cnt);
strcat	wchar_t* wcscat(wchar_t* dest, const wchar_t* src);
strncat	wchar_t* wcsncat(wchar_t* dest, const wchar_t* src, size_t cnt);
strcmp	int wcscmp(const wchar_t* s1, const wchar_t* s2)
strncmp	int wcsncmp(const wchar_t* s1, const wchar_t* s2, size_t cnt);

 

[예제 4] 예제 3의 유니코드 버전

int main(vodi)
{
	wchar_t str[] = L"ABC";
    int size = sizeof(str);
    int len = wsclen(str);
    
    printf("배열의 크기: %d \n", size);
    printf("문자열 길이: %d \n"), len);
    
    return 0;
}

[실행결과]

배열의 크기: 8
문자열 길이: 3

 결과는 정상적으로 출력되지만 아직 위의 코드는 문제가 있다.

유니코드 기반 프로그래밍을 하려면 처음부터 끝까지 유니코드를 사용해서 통일성을 유지시켜주는 것이 좋은데,

위의 예제는 printf함수를 사용하고 있는데 인자로 역시 아스키코드 문자열을 전달한다.

 

[표 2] 문자열 입출력 함수

SBCS 함수	WBCS 기반의 문자열 조작 함수
printf	int wprintf(const wchar_t* format [, argument]...);
scanf	int wscanf(const wchar_t* format [, argument]...);
fgets	wchar_t fgetws(wchar_t* string, int n, FILE* stream);
fputs	int fputws(const wchar_t* string, FILE* stream);

문제 해결을 위해 WBCS 기반의 문자열 입출력 함수를 사용하면 된다.

 

매개변수 전달 인자 유니코드화

---

 [예제 5] 예제 4의 유니코드 버전

int main(void)
{
	wchar_t str[] = L"ABC";
    int size = sizeof(str);
    int len = wsclen(str);
    
    wprintf(L"배열의 크기: %d \n", size);
    wprintf(L"문자열 길이: %d \n"), len);
    
    return 0;
}

[실행결과]

배열의 크기: 8
문자열 길이: 3

 완벽하게 유니코드 기반으로 프로그래밍한 것 같지만 여전히 문제가 남아있다.

main에 전달되는 매개변수 인자 같은 경우 여태까지 SBCS 기반으로 인자가 넘어왔었지 유니코드 기반으로 넘어온 경우는 드물다.

 

[그림 1] 인자 전달의 차이

main함수를 대신해서 wmain함수를 선언하면 매개변수의 인자는 모두 유니코드 기반의 문자열로 들어온다.

 

[예제 5]

int wmain(int argc, wchar_t* argv[])
{
	for(int i=1; i<argc; i++)
    {
    	fputws(argv[i], stdout);
        fputws(L"\n", stdout);
    }
    
    return 0;
}

[실행 결과]

AAA
BBB
CCC