기록용

Azure Functoin Single Queue 만들기

희나람 — Fri, 31 Jul 2020 17:20:23 +0900

# 현상

- single queue를 활용하여 데이터를 넣는 function을 만들었다.

- 부하테스트 겸 데이터를 밀어넣는데, DB 연결 초과 에러가 났다.

- 분명 queue 하나로만 돌도록 host.json을 세팅했는데, 왜 그런걸까.

# 추측

- host.json으로 single queue로 고정하더라도, queue에 쌓이는 메세지 양이 많아지자, function의 instance가 계속 확장하는 것으로 보인다.

- instance가 확장하는 만큼 DB 연결이 더 많아지고, 이에 DB 연결 초과 에러가 난 것

참고: https://docs.microsoft.com/ko-kr/azure/azure-functions/functions-bindings-storage-queue-output?tabs=csharp#host-json

# 해결방안

- Azure Functions의 VM 인스턴스를 1개로 해야함.

참고 : https://docs.microsoft.com/en-us/azure/azure-functions/functions-app-settings#websitemaxdynamicapplicationscaleout

- App config에 `WEBSITE_MAX_DYNAMIC_APPLICATION_SCALE_OUT`을 설정 값을 1로 수정해여 해결

python 부동소수점 연산 오류

희나람 — Tue, 12 Mar 2019 17:29:59 +0900

현상

raspberry pi에서는 잘 동작하던 코드인데, notebook 환경에서는 정상적인 값이 출력되지 않았다.

예제 샘플코드

    # 문제의 코드
    # 매번 같은 결과값이 나옴
    def create_time_key1():
        max_value = sys.maxsize
        now_seconds = time.time()
        return int(max_value-now_seconds)

    # 수정 후
    # 결과값이 잘 나옴
    def create_time_key2():
        max_value = sys.maxsize
        now_seconds = int(time.time())
        return max_value-now_seconds

원인

부동소수점 연산 오류로 인해 발생한 이슈로 보인다. 라즈베리파이에서는 문제가 발견 안되었던게, python에서 int연산이 32bit로 연산이 되고, notebook에서는 64bit로 연산이 된다. 64bit max size라는 매우 큰 값에서 연산을 하니, (부동 소수점 연산에서 발생하는) 오차가 생기는 현상이 발생하며, 이를 int로 변형하는 과정에서 같은 값이 나온 것으로 보인다.

느낀점

부동소수점 연산 오차를 고려할 정도로 작업을 한 적이 없어서, 크게 신경안쓰고 코딩을 했는데, 처음으로 문제를 만났다. 모르던 지식도 아닌데, 괜히 특정 조건 때에 python에서 변수 할당이 잘못되나 싶어서 메모리를 뜯어보려면 어떻게하나 하며 삽질을 했다. 라즈베리 파이에서 잘 동작하는 코드라 신경쓰지 않고 있었는데, 이렇게 문제를 만나니 꽤 재미난 경험이었다. 하하.

set-cookie header don't work in chrome browser

희나람 — Thu, 7 Mar 2019 10:51:10 +0900

당황스러운 사건이었는데, 로그인이 갑자기 안되기 시작했다. account쪽 소스코드를 수정한 적이 없는데? 라며 git status를 쳐보니 수정 내역이 쭉 나왔다. 인간의 기억력에 대한 믿음을 버려야함을 잠시 잊고 있었다. stash하고 다시 할까하다가, 아무리 수정 내역을 봐도 이 수정에 의해 문제가 발생할 것 같지 않았다. 여기저기 문서들을 들수셔 보다가, DB를 날렸다가 다시 해볼까 생각했는데, 전혀 그게 원인일 것 같지 않았다. 혹시해서 파이어폭스로 테스트를 해보니 로그인이 잘 되었다. 코드 쪽의 이슈가 아니라, 브라우저 관련 이슈라는 단서를 발견했다. 그렇다면 크롬과 파이어폭스 간의 차이는 무엇일까. 크롬 network debug를 해보니, 로그인 후 리다렉션할 때, 쿠키 인증값이 저장이 안되는 이슈가 보였다. 크롬 버그인가 여기저기 검색하며 찾아봤는데, 지구인들은 이런 일을 겪지 않은지 정보가 없었다. 최신 업데이트를 시도했는데 이미 최신이었다. 혹시하는 마음에, localhost의 쿠키를 clear하니, 이제 set-cookie header가 잘 먹힌다. 왜지? 이유는 알 수 없지만 해결은 한 사례가 되겠다.

enviroment

ASP.NET Core 2.2
chrome browser

fact

when login, don't login in web.

problem

set-cookie header is not executed.
since the cookie is empty, the login with cookie authentication dont not work

solution

chrome settings -> advanced -> search localhost -> clear the saved cookie

Azure Pipelines Build - project.assets.json not found

희나람 — Mon, 25 Feb 2019 15:30:10 +0900

환경

Azure Function 1.0 C# project
Dotnet Standard 2.0 library

build to apply template, error. below error log.

[error]C:\Program Files\dotnet\sdk\2.2.102\Sdks\Microsoft.NET.Sdk\targets\Microsoft.PackageDependencyResolution.targets(208,5): Error NETSDK1004: Assets file 'D:\a\1\s\Src\YoungInt.Cloud.Database\obj\project.assets.json' not found. Run a NuGet package restore to generate this file.

project.assets.json file is created as dotent restore.

so add 'dotnet restore' in build pipeline.

Azure Funtion에서 CreateResponse할 때 에러

희나람 — Mon, 18 Feb 2019 10:59:34 +0900

아래는 테스트한 샘플 코드이다.

        [FunctionName("Function2")]
        public static async Task<HttpResponseMessage> Run([HttpTrigger(AuthorizationLevel.Anonymous, "get", "post", Route = null)]HttpRequestMessage req, TraceWriter log)
        {
            return req.CreateResponse(HttpStatusCode.OK, "Hello world2");
        }

간단한, 별 문제 없는 코드인데, 이슈가 발생한다. (404 에러)

Azure 대시보드에서 콘솔에 뜬 로그를 보면

"The request does not have an associated configuration object or the provided configuration was null."

라고 나온다.

경고문대로 문제를 해결해주자면..

req.Properties[HttpPropertyKeys.HttpConfigurationKey] = new HttpConfiguration();

라는 코드를 앞에 추가하면 별 문제없이 동작한다. 그동안 잘 쓰다가, 왜 뜬금없이 위 코드를 추가해야 동작하는 걸까?

이유는 불명확하지만, Azure Function의 경우, 버전 1과 2로 나눠져 있다. 나는 dotnet core에서 azure storage library를 활용시 이슈가 있어 버전 1을 활용중인데, 여기서 이슈가 발생한 것 같다. 그래서 Application settings에 있는 FUNCTIONS_EXTENSION_VERSION 값을 ~2 -> ~1로 수정했다.

위와 같이 수정하면, 코드 추가없이 잘 동작한다. 버전1과 버전2의 호환성 이슈가 아닐까 싶다.

서비스 초기에 .Com(닷컴) 도메인이 갑자기 연결이 안될때

희나람 — Sat, 17 Nov 2018 17:02:55 +0900

환경

Azure Web App / ASP.NET Core 2.0
Domain / Hosting.kr
DNS / Azure DNS

현상

갑자기 도메인이 연결이 안됨. 서비스 연지 1주일동안 따로 코드를 건들거나 인프라를 수정한 적이 없었음.

대응

도메인 서비스쪽 문제인가 싶어 호스팅케이알에 전화하니 주말이라 응대가 안된다고ㅠ
Azure Web App에서 Custom Domain으로 등록된 것을 삭제하고 다시 등록하려니 등록이 안됨(?!)
혹시나 장애인가 싶어 여러 QnA와 커뮤니티들 살펴봤는데 평화로움
nslookup으로 네임서비스들에게 값을 다 읽어봄
- 국내 여러 네임서버에서 데이터를 읽어봤는데, kns.kornet.net만 되고 나머지는 잘 안됨
- 어이없게도 정상적으로 값이 오다가 안옴. 25% 확률로? 성공함
DNS 상태를 체크할 수 있는 훌륭한 서비스들을 알게됨
- https://mxtoolbox.com/domain/
- https://www.whatsmydns.net/
- 역시 다 안됨
Azure DNS를 지웠다가 다시 설정해보기도 했는데 안됨.
다른 DNS 서비스를 써볼까 생각하며 다른 서비스에 가입중,
왜 Domain이 네임서버에 배포가 안되나... 하고 망연자실 하다가

해결

...
닷컴의 경우, 정보에 대한 검열이 빡쎈게 있나보다...

DateTime 으로 변환할 때 문제

희나람 — Thu, 25 Oct 2018 16:44:59 +0900

DateTime을 단순한 구조체로만 생각하고 썼는데, 서버에서 사용하다보니 이슈를 발견했다. local 시간을 저장하고 싶어 이를 serialize화하여 보냈는데, 서버에 UTC값으로 저장되었다. 처음에는 Json.NET의 버그인가 싶어 찾아보다가, DateTime의 특성을 실험해봤다.

> DateTime.Parse("2018-10-19T19:00:00.1480253+09:00");
[10/19/2018 7:00:00 PM]
> DateTime.Parse("2018-10-19T19:00:00.1480253+00:00");
[10/20/2018 4:00:00 AM]

> DateTime.Parse("Thu, 25 Oct 2018 06:45:44 GMT");
[10/25/2018 3:45:44 PM]
> DateTimeOffset.Parse("Thu, 25 Oct 2018 06:45:44 GMT");
[10/25/2018 6:45:44 AM +00:00]

UTC 텍스트를 변환할 때, 바로 그대로 그 시간대로 변환하는게 아니라, 해당 환경에 맞게끔 시간을 변경한다. UTC 텍스트 값을 DateTime으로 변환했더니, 자기가 알아서 한국 시간에 맞쳐 +9시간을 더해버렸다. DateTimeOffset 변환과 비교해보면 좋다.

UTC로만 활용할 경우는 상관없는데, 특수한 이유로 Local 시간을 활용해야할 경우, DateTimeOffset을 활용하는게 더 다루기 좋겠다는 결론이다.

통계학 관련 자료 정리

희나람 — Sat, 19 May 2018 12:57:02 +0900

파이썬을 이용한 기초통계

https://statkclee.github.io/statistics/

통계학 3장 - 평균과 표준편차 (2)

희나람 — Tue, 8 May 2018 01:06:54 +0900

연휴를 보내고 하니 막연한 느낌이 든다. 약간 복습해보자면...

자유도란 개념에 대해 자세하게 알아보았다. 표본분산과 모분산의 차이가 나는데 이를 줄여주기 위해 자유도를 사용한다. 더 정확히는 불편추정량이 맞지만.. 자유도라는 개념이 아직 잘 안들어온다. 공부하다보면 나중에 또 부딪힐 일이 생길테니, 일단 또 여기서 건너가는걸로..(반복하는 것 같다.)

RMS : 음의 숫자로 인해 평균이 0이 나올때, 대략적인 평균을 구할 수 있는 방법이다.

'오차', '편의', '이탈값'이란 용어가 나왔다. 반복 측정하며 결과값을 얻다보면, 고민해야 하는 값들을 표현한 단어다.

이탈값은 이론에 맞지 않을 경우, 잘못 관측된 것이라 생각하고 무시하는 값이다. 그러나 이는 매우 조심해야 한다. 관측 결과를 그대로 받아들이지 않고 자기 마음대로 이론을 만들어버릴 수 있기 때문이다. 이것이 이탈 값인지, 자신이 세운 가설을 수정해야할 증거인지 고민이 필요하다는 말이다.

복습문제가 재미있는데(추리 문제 같다) 풀어봐야겠다.

연습문제 2. ... 불경기에는 시간당 평균임금이 상승하고 불경기가 끝나면 시간당 평균임금이 하락하기 시작한다. 이를 어떻게 설명하겠는가?

- 호황기에는 채용을 많이 한다. 사업규모를 키우게되면 당연히 사람들을 많이 필요로 하게 되고, 사람 수가 많이 늘어난다. 직원수를 급속도로 늘릴 땐, 대개 평균적으로 낮은 임금의 사람들로 채운다. 그러나 불경기가 되면 핵심 맴버만 두고 나머지는 정리해고를 한다. 그렇기 때문에 그 해에 연봉 상승률이 0%가 되더라도 저임금의 직원들이 정리해고 되었기에 평균 임금이 상승했을 가능성이 있다.

연습문제 8

- 통제집단과 처리집단이 무작위로 배정되지 않는다면, 어떤 결과가 나올까?

- 주로 편향된 결과가 나올 것이다. 한쪽 성향의 사람들만 실험에 응했을 수 도 있으니까 말이다.

- 그러나 문제를 풀기 앞서 질문을 해야할 것 같다. 무슨 실험일까?

- 1. 어떤 실험이든 관계없이, 피실험자들의 체중을 조사해보았다면? 1번 실험이 무작위로 배정이 안되었을 가능성이 크다. 2번에 비해 표준편차가 적고, 평균 몸무게가 처리집단과 통제집단 간의 차이가 크기 때문이다. 편향되어 있다.

- 2. 다이어트나 건강 식품으로서 결과값으로 나왔다면? 이전과 이후의 값에 대한 차이가 없는 걸 봐서는 2번은 아닐 것이다. 1번이 질문의 의도일 것 같지만, 2번으로도 생각하고 풀어볼 수 있나? 몇가지 가정을 해보자.

- 건강식품이 효능이 있다면? 처리집단과 통제집단 간의 차이가 뚜렷하게 날 것이다.

- 건강식품이 효능이 없다면? 처리집단과 통제진답 간의 차이가 뚜렷하지 않을 것이다.

- 건강식품이 효능이 있는지에 대한 신뢰성(?)을 알 수 있다면, 좀 더 나은 추리를 할 수 있을 것 같다.

오늘은 여기까지!