프로토타입 개발

[cheese]

개요

• 프로토타입 개발

상세

• 일단 만들고
• 리눅스/윈도우즈에서만 작업한거라 다른 플랫폼에서 버그가 많을 수 있음
  • 일반 표준 API 는 거의 정상 동작 하니 괜찮은데,
  • POSIX 계열 함수가 구현도에 따라 상이할 수 있어서 걱정
• 로깅에 대한 요구사항 및 코멘트는 wiki:Requirements/Logging 을 참고

[cheese]

r4

• 로깅을 제외한 기본 코드 커밋

[cheese]

리눅스에서 타이핑한거라 Windows에서 컴파일 안될 수도 있음 (프로젝트도 없지만)

Replying to cheese:

r4

• 로깅을 제외한 기본 코드 커밋

[cheese]

r5

• windows 프로젝트 추가 및 컴파일 호환성 오류 수정

[cheese]

이상하다 cheroxy 할땐 conversion warning에서 int -> sa_family_t 같은거 없었는데

Replying to cheese:

r5

• windows 프로젝트 추가 및 컴파일 호환성 오류 수정

[cheese]

r6

• debug 유틸 추가

r7

• windows project 작업

r8

• 굳이 TRY/CATCH 필요 없으면 안하도록 수정

r9

• 디버그 모듈 빠진 코드 추가 및 안정성 향상

r10

• 코드 일부 정리 및 windows project 대문자 이름을 소문자 이름으로 변경

[cheese]

r11

• 테스트 한 것도 아닌데 버그인지 어떻게 알았나 궁금하지만 어쨌든 일부 버그 코드 수정
• logging 모듈 파일 추가 (작업 중)
• debugging 용 NAME_LENGTH definition 을 logging 에서도 써야해서 base 헤더로 이동

[cheese]

r12

• 로깅 모듈 작업

r13

• windows project 오류 수정
• logging 모듈 windows 오류 수정
• stat() 이용해서 disk block size 가져오는 부분 제거
  • 이유
    1. 사용안함
    2. windows 에서 이런 방안이 제공되는진 모르겠지만 찾기 어려움 (아시는 분은 제보좀)

[cheese]

--
테스트를 위해 코드를 작성하고 진행해야 함
--

[cheese]

r14

• 테스트 코드 추가
  • 디버깅 및 로깅 테스트
• 디버깅 및 로깅 비정상 동작 버그 및 크래시 버그 수정

r15

• 테스트 코드 추가
  • 파일 읽기 테스트

[cheese]

DEBUG_TRACE 메시지 컨텍스트 없이 출력 하고는 싶은데,
file pointer를 어떻게 넘겨야 할지....

남은 작업

1. 로깅 모듈 id - context 매핑
2. 스레드 / 뮤텍스 테스트
3. 멀티 스레드에서의 로깅 테스트
4. 소켓 테스트

Replying to cheese:

r14

• 테스트 코드 추가
  • 디버깅 및 로깅 테스트
• 디버깅 및 로깅 비정상 동작 버그 및 크래시 버그 수정

r15

• 테스트 코드 추가
  • 파일 읽기 테스트

[cheese]

r16

• 컨텍스트 없이 디버깅 메시지 출력할 수 있는 인터페이스 추가

r17

• 파일 append 플래그 추가

r18

• 약간의 버그 수정

[cheese]

r19

• 로깅 모듈 id 넘버로 이용할 수 있도록 기능 추가
• 이 때는 반드시 initialize 해야함

r20

• 덜 바뀐 windows 프로젝트 이름 변경

남은 작업

1. 로깅 모듈 id - context 매핑
2. 스레드 / 뮤텍스 테스트
3. 멀티 스레드에서의 로깅 테스트
4. 소켓 테스트

[cheese]

남은 작업이 죄다 쓰레드를 이용해야 하는 것들인듯 하네

Replying to cheese:

r19

• 로깅 모듈 id 넘버로 이용할 수 있도록 기능 추가
• 이 때는 반드시 initialize 해야함

r20

• 덜 바뀐 windows 프로젝트 이름 변경

남은 작업

1. 로깅 모듈 id - context 매핑
2. 스레드 / 뮤텍스 테스트
3. 멀티 스레드에서의 로깅 테스트
4. 소켓 테스트

[cheese]

r21

• 멀티 스레드에서의 로깅 테스트 코드
• 멀티 스레드에서의 소켓 테스트 코드
• 추가............

[cheese]

멀티 스레드에서 join 하는 부분이 segmentation fault 남.

테스트 코드에서 직접 join 하면 되는데, 왜 lib로 넘기면 오류지?

type-casting을 잘못했나... 테스트 코드에서 type-casting을 하면 잘되는뎅..

Replying to cheese:

r21

• 멀티 스레드에서의 로깅 테스트 코드
• 멀티 스레드에서의 소켓 테스트 코드
• 추가............

[cheese]

r22

• status code 받아 오는 부분이 integer 변수였는데, 64비트라서 그런지 overflow 했나봄 -_);;
• 어쨌든 해결

[cheese]

Documentation에 대한 이슈

1. wiki vs. doxygen
   • doxygen일 경우 배포를 어떻게 할건지 ?
2. 다른 좋은 Documentation 방안이 있으면 추천바람

[cheese]

r23

• 소스 코드 내의 로컬 함수들을 static 함수로 변경하여 외부 노출 감소시킴
• 얼마 안되지만 통일되지 않은 주석 수정

r24

• 테스트 코드 심볼 수정

r25

• 로깅 ID 매핑 버그 수정
• 디버깅 매크로 누락된 부분 추가 및 오류 수정

[cheese]

Documentation에 대한 이슈

• doxygen 을 조금 테스트 해봤음.
• doxygen은 C 형식의 코드는 노출 시키지 않으려고 소스코드에 정의한 심볼들의 캡슐화가 어려운듯..
• wiki 에 직접 정리해야 하나 ......으으

[cheese]

그러고보니 comment:13 에서 남아있던 작업도 이 시점에서 해결된 듯

Replying to cheese:

r22

• status code 받아 오는 부분이 integer 변수였는데, 64비트라서 그런지 overflow 했나봄 -_);;
• 어쨌든 해결

[cheese]

r26

• doxygen을 이용한 문서화
  • docs/doxyfile 참조
• 디버그 인터페이스 일부 변경

r27

• 테스트 코드 revert

[cheese]

.c 파일에 소스코드 프롤로그 추가 해야하고,

doxygen 메인 섹션 작성해야 함

Replying to cheese:

r26

• doxygen을 이용한 문서화
  • docs/doxyfile 참조
• 디버그 인터페이스 일부 변경

r27

• 테스트 코드 revert

[cheese]

r28

• .c 파일에 소스 코드 프롤로그 추가

doxygen 메인 섹션만 쓰면됨

Replying to cheese:

.c 파일에 소스코드 프롤로그 추가 해야하고,

doxygen 메인 섹션 작성해야 함

Replying to cheese:

r26

• doxygen을 이용한 문서화
  • docs/doxyfile 참조
• 디버그 인터페이스 일부 변경

r27

• 테스트 코드 revert

[cheese]

r29

• fix compile error
  • 아마 윈도우에서 작업하고 파일이 덜 올라간듯

r30

• fix doxygen comment error

r31

• fix doxyfile to exclude local header

r32

• hide typedef structures from doxygen

r33

• fix typos in doxygen comment and remove source path from doxyfile

r34

• doxygen 주석에 예제 코드 추가

[cheese]

r35

• doxygen 예제 코드 분리 및 함수 설명을 .c 로 이동
• 로그 모듈 push 로직 vfire님이 수정해주심
  • 버퍼링의 기본. 버퍼 사이즈 단위로 버퍼링 해야 하는 로직페이지 추가

[cheese]

r36

• 사용되지 않는 심볼을 doxygen 주석에서 제거

r37

• doxygen 메인 작업

r38

• 로깅 멀티쓰레딩이 제대로 되는건지 확인할 수 있도록 test.c 변경

r39

• 소켓 클라이언트 경고 수정

[cheese]

r40

• 로깅 모듈 인터페이스 기준을 컨텍스트에서 아이디 넘버로 변경
• 오류 코드를 cf_error.h 로 모음

[cheese]

r41

• make directory 함수 추가
• 테스트 코드 업데이트

r42

• 로컬 정의 부 이름에서 외부 노출을 위한 프리픽스, CF_ 를 제거

[cheese]

r43

• windows엔 access() 함수를 위해 _access() 는 지원하면서 F_OK 가 없네... 거지같으니라고.
• 그래서 #define F_OK 0 추가.

[cheese]

아

디버깅 메커니즘을 변경하던가....

아니면 디버깅 모듈을 통째로 드랍하던가 해야겠다

별 의미가 없어보인다...

[cheese]

r44

• 안쓰는 헤더 파일 include 제거

[cheese]

r45

• 코드 스타일 다른 곳 수정

[cheese]

r46

• 소켓 타임아웃 설정방식을 다음과 같이 변경

setsockopt (SO_RCVTIMEO) -> select (&fd_set);

• Connect, Send, Recv 함수에 대한 Timeout 인터페이스가 추가됨

• SetTimeout 인터페이스 제거

• SunOS (Solaris)에서 SO_RCVTIMEO가 지원되지 않음
  • SunOS (Solaris) 에서 SO_RCVTIMEO 가 버클리 소켓 인터페이스 유지를 위해 define 되어 있음
  • compile-time에서 오류는 발생하지 않음
  • 실제 기능이 지원되지 않기 때문에 run-time에서 오류코드

r47

• 인터페이스 변경에 의한 doxygen 문서화 부분 수정

[cheese]

r48

• 소켓에 SO_REUSEADDR 및 SO_LINGER 옵션 추가

r49

• 소켓 인터페이스 변경에 따른 테스트 코드 수정

[cheese]

r50

• _WIN32 / _WIN64 전처리기 정의 수정

[cheese]

r51

• 디버깅은 전체 프로젝트를 하나의 단위로 보고 진행하는게 일반적이라고 생각됨
• 그래서 컨텍스트 없애고, 내부에서 싱글 컨텍스트로 콜스택 정보 관리할 수 있도록 수정

r52

• 콜스택이 정상적으로 출력되지 않던 문제 수정

[cheese]

r53

• 소켓 accept 에서 호스트 정보 가져오는 인터페이스 제거
  • 별로 필요 없어보였음..

r54

• doxygen 오류 수정

[cheese]

r55

• windows 용 include 수정
• fd 체크 루틴 추가
  • 잘 못된 fd일 경우, windows에서 crash 되는 버그 수정
• assert 용 definition 수정

r56

• test code 의 accept 함수 수정

[cheese]

windows에서 test.c 돌리면 thread 내에서 무한루프 (카운트 변수가 초기화되는) 버그가 있는데,

왜지..........

Replying to cheese:

r55

• windows 용 include 수정
• fd 체크 루틴 추가
  • 잘 못된 fd일 경우, windows에서 crash 되는 버그 수정
• assert 용 definition 수정

[cheese]

r57

• 스레드 인터페이스 변경

r58
r59
r60
r61

• 스레드 버그 코드 수정

[cheese]

r62

• 디버그 유틸 코드 내부 메모리 릭 제거

r63

• print call stack 디버그용 매크로 추가

r64

• 디버그 콜스택 기록용 BEGIN / END 매크로 위치를, 함수 호출 전/후 로 사용하도록 테스트 코드 수정
• 함수 호출되는 시점을 기록하기 위한 방편.
• 꽤 불편한거 같은데, 좋은 방법이 있으면 추천좀 ㅇ_ㅠ

[cheese]

r65

• 코드에서 스레딩 워커 함수 typedef 네이밍 변경 (룰)

[cheese]

코딩 룰 정리해볼까?

Replying to cheese:

r65

• 코드에서 스레딩 워커 함수 typedef 네이밍 변경 (룰)

[cheese]

r66

• codec 모듈 추가
  • 데이터를 hex-string으로 encoding 하거나 hex-string을 데이터로 decoding

[cheese]

r71

• 디버그 모듈 Finalize 시 글로벌 컨텍스트 초기화 덜되던 부분 수정

[cheese]

r72

• 테스트 비쥬얼(?) 수정

[cheese]

r73

• 기타 unix 플랫폼을 위한 makefile 수정 및 추가

아래는 추가 수정 내역

r74 - aix and library makefile
r75 - all unix platform and including header in socket
r76 - aix / hpux / linux
r77 - hpux / linux
r78 - solaris

[cheese]

hpux 에서 cc컴파일러 사용하는데, 가변인자 macro 가 안먹힌다..

....어찌해야하지

Replying to cheese:

r73
r74
r75
r76

• 기타 unix 플랫폼을 위한 makefile 수정 및 추가

[cheese]

r79

• *nix 에서 mutex destroy 하도록 수정

[cheese]

r80
r81

• 솔라리스 멀티 스레딩 이상하던 부분 수정
• wiki:Threading 참고

[cheese]

r82

• codec 항목 doxygen에 추가

[cheese]

r83

• makeinclude 에서 linking flag랑 lib 이랑 분리

[cheese]

r84

• hp-ux에서의 pthread return-value 처리 수정

---

hp-ux 의 pthread_create man page

RETURN VALUE
      Upon successful completion, pthread_create() returns zero. Otherwise,
      an error number is returned to indicate the error (the errno variable
      is not set).

[cheese]

r85

• 상이하던 ASSERTION 로직 통일

[cheese]

r86

• 함수 및 enumeration 이름 일부 변경
• log에서 datetime 가져오는 부분 win64에서 crash 됐던 경험이 있어 수정

[cheese]

r87

• 보기가 어렵다고 지적되는 삼항연산자 일부를 if문으로 변경 (-_-;;)
• 일부 로직 수정

[cheese]

r88
r89

• base64 추가
  • ​http://kldp.org/node/109436 이거 해보려고 했는데, AIX랑 HPUX에서 ENDIAN이고 자시고 아무소용 없어서 안하기로 함
• hex 디코딩 속도가 좀 더 빠를 것 같이(?) 수정
  • dataset을 추가하고 if 문을 간소화

[cheese]

r90

• file 모듈에서 플래그 독립화
• base64 정리 및 버그코드 수정

[cheese]

디코드에서 length 가 올바르게 리턴되지 않는데......

길이계산 잘못된듯

Replying to cheese:

r90

• file 모듈에서 플래그 독립화
• base64 정리 및 버그코드 수정

[cheese]

r91

• decode 길이 문제 및 encode 결과 잘못되는 버그 수정

Replying to cheese:

디코드에서 length 가 올바르게 리턴되지 않는데......

길이계산 잘못된듯

Replying to cheese:

r90

• file 모듈에서 플래그 독립화
• base64 정리 및 버그코드 수정

[cheese]

r92

• 원본 데이터 길이가 4보다 작은 인코딩 데이터를 디코딩 하면, 잘못된 length가 나오던 문제 수정

[cheese]

r93

• 로그에서 파일이 있을 경우 추가하도록 수정
• file create 시에 내부 open 함수 호출 할 수 있도록 수정

[cheese]

r94
r95

• 파일 크기 가져올 때 인자를 fd에서 파일 경로로 변경

[cheese]

r96

• 디코더 파라미터에서 바이너리 길이 받도록 롤백 (예외처리라던가 타입 처리 문제 등)

[cheese]

r97

• makefile cygwin 부분 수정

[cheese]

r98
r99

• 로그 레벨 기능 추가 (CF_Log_SetLevel 참고)

r100

• cf_log.c author에 vfire추가

[cheese]

r101

• 로그 레벨을 Initialize 시에 설정하도록 수정
  • 별도의 인터페이스를 이용하면 사용자가 임의로 로그 레벨을 수정할 수 있으면 자원 관리 안될 수 있음
  • 예를 들어, 로그 레벨이 Close하기 전에 낮아진다면 자원 해제가 불가할 수 있음
  • Close 에서 무조건 성공했다고 return 할 수도 있겠지만... 그건 좀 아닌거 같아서.
  • 로그 레벨은 한번만 설정하는게 맞는거 같기도 하고.

• 관련된 코멘트 있으시면 달아주세요

r102

• 로그 레벨 체크 시에, 불필요한 논리연산 제거

[cheese]

r103

• 로그 관련 일부 심볼 변경
• 테스트 코드 수정
• 소켓 timeout 예외처리 부분 수정

r104

• 불필요한 TRY-CATCH 제거

r105

• 통합 테스트 코드 제거

r106

• 테스트 코드용 makefile 수정

[cheese]

r107

• sprintf 를 모두 snprintf로 교체
• 로그에서 쓸 때마다 strlen 하던 부분을 sprintf 의 return-value로 대체하여 퍼포먼스 조금 향상 (테스트 코드에서 체감속도 차이 있음)

[cheese]

r108

• 로그 레벨 제거
  • 로그 아이디 값을 로그 레벨로 충분히 활용가능하다고 판단

[cheese]

r109

• 자료구조 추가
  • linked-list / stack / queue
• 컨텍스트 및 관련 함수 네이밍 일부 변경

r110

• 누락된 테스트 코드 추가 (stack 및 queue)

r111
r112
r113

• doxygen 주석 추가

r114

• 잘못된 헤더 정의 수정

r115

• CF_List_Insert () 함수에 대한 doxygen 주석 추가

[cheese]

r116
r117

• doxygen 주석 수정 및 추가 정리

[cheese]

r118

• 자료구조 테스트 코드 오류 수정

[cheese]

r119

• doxygen configuration 파일 수정
• doxygen 주석 시작 문자를 @ 에서 \로 변경

[cheese]

r120

• 디버그 유틸 헤더에서 \see 항목 제거
  • 괜히 함수 원형 참조할 필요는 없다고 봄

[cheese]

r121

• CF_Thread_CreateCtx 를 CF_Thread_Create 로 롤백
  • 생성하여 실행하는거지, 컨텍스트만 생성하는게 아니니까..

[cheese]

r122
r123
r124
r125

• thread / mutex id 쪽 모두 context로 변경
  • 확장성이 낮고 복잡해서 -_-;;

r126

• thread / mutex 파일 분리

[cheese]

r127

• r123에서 깨진 글자 수정

[cheese]

r128
r129
r130

• chevalier가 짠 ARIA 에서 bitwise 모듈 가져다가 포팅

[cheese]

r131

• bitwise의 파라미터 assertion 수정

[cheese]

r132
r133

• doxygen making condition 수정

[cheese]

r134

• mac osx 지원 (macbook air 에서 작업)
• linux ld 옵션으로 -Wl,-Bsymbolic 제거
  • ​http://www.technovelty.org/c/what-exactly-does-bsymblic-do.html
  • wow 신기

[cheese]

r135

• 디버깅 유틸 테스트 코드를 좀 더 명확하게 수정

[cheese]

r136
r137

• 로그 쓰기 함수 호출 관계 수정

[cheese]

r138

• 비트 로테이션 부분 alloc/free 횟수 감소 시켜 평균 성능 약간 상향

[cheese]

속도 측정은 chevalier님의 ARIA 암호알고리즘 100만번 수행 속도로 비교함

시간 측정

BEFORE	AFTER
7.090000	7.040000
7.000000	6.980000
7.060000	6.990000
7.110000	7.000000
7.040000	6.970000
7.000000	7.080000
6.990000	7.080000
7.060000	7.060000
7.060000	7.010000
6.950000	7.040000

평균

• 변경 전 : 7.036
• 변경 후 : 7.025

측정 후기

• 100만 번에 0.01초.. 아니, 0.009초 차이로 나타나니 정말 미미한거 같다.

Replying to cheese:

r138

• 비트 로테이션 부분 alloc/free 횟수 감소 시켜 평균 성능 약간 상향

[cheese]

r139

• bitwise 테스트코드 추가

[cheese]

r140

• windows test project 에서 소스 코드 모두 제거
• 추가할 때 마다 수정하기 귀찮음
• 어차피 테스트 할 땐 하나만 올려서 빌드해야 하니 그냥 없애버리는게 나을 듯

[cheese]

r141

• doxygen 매뉴얼을 위한 bitwise sample 코드 명시

[cheese]

r142

• doxygen 일부 수정
• thread/mutex close 로직 수정

[cheese]

r143

• log-write 기능 내부 호출 함수 명 수정
• bitwise 예제 코드를 좀 더 간결하게 수정

[cheese]

r144
r145

• doxygen 로고 이미지 변경 헤헤

[cheese]

r146

• static library 빌드 옵션 수정

[cheese]

r147
r148

• mutex/thread 의존성 수정

[cheese]

r149

• 실 컨텍스트 구조체 이름 변경
  • CF_Xxxx_Ctx (opaque)와 CF_XXXX_CTX (real) 의 구분이 힘들어서 바꿈

[cheese]

r150

• 로고 이미지 변경

[cheese]

r151
r152

• 유틸 모듈 추가 및 인터페이스 수정

[cheese]

r153

• bitwise 더 단순하게 수정
  • r138과 같이 테스트한 결과, 7초 안넘는 결과 나옴

[cheese]

r154

• 파일 버그 수정
• datetime 구조체 약간 수정

r155

• 파일 컨텍스트가 path 를 가지고 있어서, 이를 wrapping 한 log 컨텍스트에서 path를 제거

[cheese]

r156

• context 관리의 편의를 위해 context-manager를 계획하고 오래 고민했으나.. 고민할 수록 별 필요성이 없다고 느껴져서 빼기로 함

[cheese]

r157

• 메모리 릭 수정

r158
r159

• localtime 함수 리턴 값에 대한 예외처리 코드 추가

r160

• 테스트 코드용 makefile 의존성 이상한 부분 수정

[cheese]

r161

• doxygen 생성용 메이크파일 별도 작성

[cheese]

r162

• change doxygen language

[cheese]

r163

• util 의 datetime 에서 millisecond 이상한 부분 수정

[cheese]

r164

• windows 에서 WaitForSingleObject 를 CriticalSection 으로 변경

[cheese]

r165

• *nix 계열 컴파일 오류 수정

[cheese]

r166

• fix indentation

r167

• fix crash bug in hex-encode (try to read at invalid pointer in for-loop)