[ProtocolBuffer] 프로토콜 버퍼 bytes 필드를 json 변환 시 주의 할 점

 프로토콜 버퍼에서 우리가 정의한 메세지를 json타입으로 변환 할 때 bytes 필드에 대해 주의 할 점이 있다.

일반적인 string 타입은 입력한 문자열을 우리가 의도한 대로 json 변환시에도 유지를 하고 있지만,

bytes 타입에 입력한 문자열을 json으로 변환 시 그대로 유지되지 않는다.

 

 간단한 테스트를 위해 Go언어를 사용하여 테스트를 진행하였다.

[user.proto]

syntax = "proto3";
package message;

message User {
    int64 userId = 1;
    string nickname = 2;
    bytes danmoji = 3;
}

 메세지의 포맷은 위와 같다. 이제 string타입인 nickname필드와, bytes타입인 danmoji필드에 문자열을 채워 메세지를 만들고 json 타입으로 변환을 해보자.

 

[예제 1] User 메세지를 json으로 변환

import (
	"fmt"
	"github.com/golang/protobuf/jsonpb"
	"testing"
)

func TestMessageToJson(t *testing.T) {
	// User 메세지 정의
	userInfo := &User{
		UserId:               1,
		Nickname:             "test",
		Danmoji:              []byte("test"),
	}

	// json 변환
	jsonString, _ := (&jsonpb.Marshaler{}).MarshalToString(userInfo)
	fmt.Println(jsonString)
}

=== RUN   TestMessageToJson
{"userId":"1","nickname":"test","danmoji":"dGVzdA=="}
--- PASS: TestMessageToJson (0.00s)
PASS

Process finished with exit code 0

결과를 보면 nickname은 정상적으로 변환되었지만, danmoji는 이상한 문자들로 채워져있는 것을 확인할 수 있다.

반대로 json타입을 우리가 정의한 메세지로 변환할 때에 있어도 이런 식으로 입력하면 안 된다는 것이다.

 

[예제 2] json 메세지를 User타입으로 변환

import (
	"fmt"
	"github.com/golang/protobuf/jsonpb"
	"testing"
)

func TestJsonToMessage(t *testing.T) {
	// json 메세지 정의
	jsonMessage := "{\"userId\":\"1\",\"nickname\":\"test\",\"danmoji\":\"test\"}"

	// 메세지로 변환
	var userInfo User
	_ = jsonpb.UnmarshalString(jsonMessage, &userInfo)
	fmt.Println(userInfo)
	fmt.Println("danmoji: ", string(userInfo.Danmoji))
}

=== RUN   TestJsonToMessage
{1 test [181 235 45] {} [] 0}
danmoji:  ��-
--- PASS: TestJsonToMessage (0.00s)
PASS

결과에서 볼 수 있듯이 danmoji를 string으로 변환했는데 이상한 값이 찍히고 있다.

 

결론을 말하자면,

• json -> protobuf message, protobuf message -> json 으로 변환 시 bytes 필드는 조금 다른 형태로 parsing 된다.
• 내부적으로 base64 encoding를 거쳐 변환된다.

 

[예제 3] Base64 Encoding을 통해 json 메세지를 User타입으로 변환

import (
	"fmt"
	"github.com/golang/protobuf/jsonpb"
	"testing"
)

func TestJsonToMessageBase64(t *testing.T) {
	// json 메세지 정의
	dmj := base64.StdEncoding.EncodeToString([]byte("test"))
	jsonMessage := "{\"userId\":\"1\",\"nickname\":\"test\",\"danmoji\":\"" + dmj +"\"}"

	// 메세지로 변환
	var userInfo User
	_ = jsonpb.UnmarshalString(jsonMessage, &userInfo)
	fmt.Println(userInfo)
	fmt.Println("danmoji: ", string(userInfo.Danmoji))
}

=== RUN   TestJsonToMessageBase64
{1 test [116 101 115 116] {} [] 0}
danmoji:  test
--- PASS: TestJsonToMessageBase64 (0.00s)
PASS

 

protobuf message -> json으로 변환 시, bytes필드는 base64 encoding되어 값이 들어가고 

반대로, json -> protobuf message로 변환 시 base64 decoding되어 메세지 필드에 들어간다.

 

우리가 테스트를 위해 json 메세지를 서버에 보내고 서버에서 json 메세지를 정상적으로 변환하기 위해서는

• json 메세지를 보낼 때 bytes필드만 base64 encoding을 해서 보낸다.
• 혹은 사용자는 그대로 json 메세지를 보내되,  json 메세지의 bytes필드만 서버에서 base64 encoding을 한 번 하고, protobuf 라이브러리를 통해 전체적으로 Unmarshaling한다.

 

사용자가 일일히 bytes 필드에만 base64 encoding을 해서 메세지를 보내는 테스트를 하기에는 번거롭다.

따라서 서버에서 처리하는쪽이 더 편리하지 않을까 생각된다.