리무브 작품에 대한 질문

26 호이짜123 기타 7 3084 0 2022.07.09 15:05

리무브 작품이라는게 말 그대로 모자이크를 그럴 듯하게 지운게 아니라 합성한 것인가요???? 그런 말들이 있네요

7 Comments

50 aecho27 2022.07.09 15:12

GAN이라는 딥러닝기술로 픽셀단위로 추론해서 복구시키는거에요

65 Hellgate 2022.07.09 15:26

일전에 제가 저의 게시글에 답변드린 댓글이 있어 그글에 내용을 일부 추가해 올려드립니다.

모자이크 제거에 관하여서는 논란이 많이 있지요.다만 그것이 진짜냐 가짜냐 현실성이 있냐 없냐 등등 많이들 논하시곤 하는데,제 입장에서 본다면
원래 촬영당시에 담겨있었던 상태를 놓고 그걸 모자이크로 만들었으니,그 모자이크 안에 들어있는 상태는 모자이크라도 허상은 아니며,그 모자이크를 딥러닝을 통한 추상,추론으로 재현한다 개선한다 또는 실상에 가깝게 만든다고 해서 복원의 의미가 더 크지않을까 판단되네요
예전의 오래된 필름,사진 흐리흐리한 화면을 일련의 과정을 통해서 개선시킨다면 모자이크의 제거 후 화면도 일정의 합성(모자이크를 모자이크가 아닌 화면과 합치는작업)하여 현실과 같은 화면을 어느정도 구현한다하고 개인적으로는 정의내리고 있습니다.

작동의 원리는 모자이크제거 프로그램내 Teco-gan이라는 보간 프로그램과 연동해 모자이크를 인식하여 teco-gan으로 1차 보간(복원시도 또는 추상,추론이후 프레임을 이미지파일로 저장)하여 그걸 추가 업스케일링을 해 모자이크가 아니었던 영상부분과 합성을 합니다.
합성의 의미를 없었던 부분을 새로운 영상으로 입혀서 만드는게 아니라 모자이크이전에 있던 정보를 데코간을 이용해 프레임간 추가 예상하여 집어넣어 모자이크전의 영상과 비슷하게 만드는 작업해 결과물을 뽑아내게 됩니다.

그래서 모자이크가 작을수록 그 연산 및 추론,복원이 수월하며 모자이크가 클수록 연결부위 및 정보의 소실이 많아 복원이 더 어렵다는 의미도 되겠네요
말 그래도 합성이라는 의미로만 둔다면 그게 맞냐 아니냐라고 할때 맞을수도 또는 전부는 아닐수도 있다고 말씀 드리고 싶습니다.

어찌했든 없는 무형의 정보를 새로히 탄생시켜 만드는게 아닌 모자이크내 있던 원래의 정보를 모자이크가 없던 상태의 자리로 유추해 만든다 라고 정의 내리면 어떨까 싶네요
어차피 프로그래밍할때 학습은 유출본들의 영상을 갖고 프로그램 학습을 시키기에 더 현실적인 영상이 복원된다라고 말씀드리겟습니다.

금일 제가 올린 게시글 중에 모자이크원본과 유출본 그리고 제가 리무브 작업해 하나의 영상으로 만든 영상을 게시해 드렸습니다.
한번 보시고 진짜 유출본과의 일치되는 부분을 한번 보셔도 좋겠습니다.

도움이 되셨는지 모르겠네요 ^^ 즐거운 주말 되셔요

일전에 제가 저의 게시글에 답변드린 댓글이 있어 그글에 내용을 일부 추가해  올려드립니다.

모자이크 제거에 관하여서는 논란이 많이 있지요.다만 그것이 진짜냐 가짜냐 현실성이 있냐 없냐 등등 많이들 논하시곤 하는데,제 입장에서 본다면
원래 촬영당시에 담겨있었던 상태를 놓고 그걸 모자이크로  만들었으니,그 모자이크 안에 들어있는 상태는 모자이크라도 허상은 아니며,그 모자이크를 딥러닝을 통한 추상,추론으로 재현한다 개선한다 또는 실상에 가깝게 만든다고 해서 복원의 의미가 더 크지않을까 판단되네요
예전의 오래된 필름,사진 흐리흐리한 화면을 일련의 과정을 통해서 개선시킨다면 모자이크의 제거 후 화면도 일정의 합성(모자이크를 모자이크가 아닌 화면과 합치는작업)하여 현실과 같은 화면을 어느정도 구현한다하고 개인적으로는 정의내리고 있습니다.

작동의 원리는 모자이크제거 프로그램내 Teco-gan이라는 보간 프로그램과 연동해 모자이크를 인식하여 teco-gan으로 1차 보간(복원시도 또는 추상,추론이후 프레임을 이미지파일로 저장)하여 그걸 추가 업스케일링을 해 모자이크가 아니었던 영상부분과 합성을 합니다.
합성의 의미를 없었던 부분을 새로운 영상으로 입혀서 만드는게 아니라 모자이크이전에 있던 정보를 데코간을 이용해 프레임간 추가 예상하여 집어넣어 모자이크전의 영상과 비슷하게 만드는 작업해 결과물을 뽑아내게 됩니다.

그래서 모자이크가 작을수록 그 연산 및 추론,복원이 수월하며 모자이크가 클수록 연결부위 및 정보의 소실이 많아 복원이 더 어렵다는 의미도 되겠네요
말 그래도 합성이라는 의미로만 둔다면 그게 맞냐 아니냐라고 할때 맞을수도 또는 전부는 아닐수도 있다고 말씀 드리고 싶습니다.

어찌했든 없는 무형의 정보를 새로히 탄생시켜 만드는게 아닌 모자이크내 있던 원래의 정보를 모자이크가 없던 상태의 자리로 유추해 만든다 라고 정의 내리면 어떨까 싶네요
어차피 프로그래밍할때 학습은 유출본들의 영상을 갖고 프로그램 학습을 시키기에 더 현실적인 영상이 복원된다라고 말씀드리겟습니다.

금일 제가 올린 게시글 중에 모자이크원본과 유출본 그리고 제가 리무브 작업해 하나의 영상으로 만든 영상을 게시해 드렸습니다.
한번 보시고 진짜 유출본과의 일치되는 부분을 한번 보셔도 좋겠습니다.

도움이 되셨는지 모르겠네요 ^^ 즐거운 주말 되셔요

35 Wonwoni 2022.07.09 15:56

쉽게 설명해서
보통 잘 모르는 사람들이 생각하는 리무브작품 = 모자이크로 가리기 전 날 것의 상태인 영상.

실제 리무브 작품 = 딥러닝을 이용한 합성된 영상.

딥러닝기술이 그냥 알기쉽게 얘기하면 보지사진을 수백 수천장 Ai가 학습해서 모자이크로 덮여있는 영상을 그간 학습해온 보지사진들을 생각하며 상상속의 영상을 만든다..고 생각하시면 됩니다.

45 미호노 2022.07.09 18:42

그럴듯하게 지운다는게 합성한다는거랑 똑같은 말입니다

85 은쥬 2022.07.09 18:47

원빈얼굴에 가면 씌우는데 원빈가면 씌우는거랑 같죠.
원빈이지만 원빈아닌 원빈같은 거~~~

51 타다 2022.07.09 22:28

모파작에 대해서 여러 비유적인 표현을 봐왔는데
이 비유 이해가 쉬워서 좋네요

36 쵸코강정 2022.07.09 19:09

딥페이크 기술이랑 비슷하네요

로그인한 회원만 댓글 등록이 가능합니다.

이전 다음 목록