모자이크 제거에 대한 고찰과 연구결과
AVseeTV도 모자이크 제거를 해서 등록할수 없을까?
여러 영상보다는 특정영상을 골라서 등록해볼순 없을까?
하는 생각이 들었습니다.
사실 원인은 원본영상의 음성싱크문제였기때문에 싱크가 어긋나있는 영상의 싱크를
영상편집툴에 넣어보면 정말 지옥이 펼쳐집니다. *비디오 영상길이 2시간 *오디오 영상길이 1시간 50분
그럼 오디오를 잘라서 하나하나 맞춰가면서 비디오에서 해당 오디오가 나오는 예상되는 부분을 하나씩 파쇄된 종이를 복구하듯 만들어가야하기때문에
그런 지옥을 겪고 싶지 않았고 그럴바엔 차라리 만들어볼까로 귀결되었습니다.
그래서 3일정도 연구를 거듭한결과 JavPlayer를 테스트해봤지만 기대보다 큰 성능을 발휘하지 못했습니다.
21년 6월인 지금 최신버전의 좋은 툴들이 많이 나와있습니다.
그런 툴들의 공통점들은 아래와 같습니다.
1. 우수한 성능의 하드웨어가 필요하다.
사실 이건 문제 없습니다.
2. 특정 학습을시켜야한다.
이게 제일큰 문제로 생각됩니다. 그래서 모델링 파일이란게 있습니다.
흔히 AI를 학습시켜야한다는것인데 최소 샘플사진만 1000장단위로 준비가 되어있어야 학습후 사진정도는 모자이크를 제거해볼수 있다 라는것입니다.
동영상은 별개문제입니다. 학습을 시키기위해서는 많은시간동안 모자이크가 없는 영상을 위주로 ..하면될지도 모르겠습니다.
최대한 여러분이 원하는 자연스러운 수준까지 가려면 노모배우들의 소중이들 사진을 열씸히 하나로모아서 비슷한 구조일경우 가져다 붙이기 하는셈입니다.
사실 모자이크 제거는 그냥 합성이라 생각해도 괜찮습니다.
(github에 나와있는 동영상에대한 학습방법에대해서는 자세하게 확인하지 않았습니다.)
3. 굉장히 오랜시간이 걸린다.
테스트도 몇번해봤으나 30프레임의 2시간짜리 영상이 있다고 가정합니다.(일반 JAV 기준)
2시간의 프레임수는 30프레임x 120분 x 60초 = 216000 프레임입니다.
모자이크가 있는지 없는지 구분하지 못합니다. 그냥 21만 6천개의 사진을 하나씩 하나씩 체크해서 만들어지기때문에 굉장한 시간이 소요됩니다.
결론
남이 해주는 영상 감사하게 잘봐야한다.
그게 싫으면 작은화면으로 멀리서 보면됩니다.
인간의 뇌는 생각보다 대단한 상상력과 능력을 갖고있기 때문에 위의 AI와 고사양 컴퓨터가 하는일들을 실시간으로
눈에서 모자이크를 대충인식해서 대충 상상하고 대충 머릿속에서 그려내서 인식할수있게 해주거든요.
여러 영상보다는 특정영상을 골라서 등록해볼순 없을까?
하는 생각이 들었습니다.
사실 원인은 원본영상의 음성싱크문제였기때문에 싱크가 어긋나있는 영상의 싱크를
영상편집툴에 넣어보면 정말 지옥이 펼쳐집니다. *비디오 영상길이 2시간 *오디오 영상길이 1시간 50분
그럼 오디오를 잘라서 하나하나 맞춰가면서 비디오에서 해당 오디오가 나오는 예상되는 부분을 하나씩 파쇄된 종이를 복구하듯 만들어가야하기때문에
그런 지옥을 겪고 싶지 않았고 그럴바엔 차라리 만들어볼까로 귀결되었습니다.
그래서 3일정도 연구를 거듭한결과 JavPlayer를 테스트해봤지만 기대보다 큰 성능을 발휘하지 못했습니다.
21년 6월인 지금 최신버전의 좋은 툴들이 많이 나와있습니다.
그런 툴들의 공통점들은 아래와 같습니다.
1. 우수한 성능의 하드웨어가 필요하다.
사실 이건 문제 없습니다.
2. 특정 학습을시켜야한다.
이게 제일큰 문제로 생각됩니다. 그래서 모델링 파일이란게 있습니다.
흔히 AI를 학습시켜야한다는것인데 최소 샘플사진만 1000장단위로 준비가 되어있어야 학습후 사진정도는 모자이크를 제거해볼수 있다 라는것입니다.
동영상은 별개문제입니다. 학습을 시키기위해서는 많은시간동안 모자이크가 없는 영상을 위주로 ..하면될지도 모르겠습니다.
최대한 여러분이 원하는 자연스러운 수준까지 가려면 노모배우들의 소중이들 사진을 열씸히 하나로모아서 비슷한 구조일경우 가져다 붙이기 하는셈입니다.
사실 모자이크 제거는 그냥 합성이라 생각해도 괜찮습니다.
(github에 나와있는 동영상에대한 학습방법에대해서는 자세하게 확인하지 않았습니다.)
3. 굉장히 오랜시간이 걸린다.
테스트도 몇번해봤으나 30프레임의 2시간짜리 영상이 있다고 가정합니다.(일반 JAV 기준)
2시간의 프레임수는 30프레임x 120분 x 60초 = 216000 프레임입니다.
모자이크가 있는지 없는지 구분하지 못합니다. 그냥 21만 6천개의 사진을 하나씩 하나씩 체크해서 만들어지기때문에 굉장한 시간이 소요됩니다.
결론
남이 해주는 영상 감사하게 잘봐야한다.
그게 싫으면 작은화면으로 멀리서 보면됩니다.
인간의 뇌는 생각보다 대단한 상상력과 능력을 갖고있기 때문에 위의 AI와 고사양 컴퓨터가 하는일들을 실시간으로
눈에서 모자이크를 대충인식해서 대충 상상하고 대충 머릿속에서 그려내서 인식할수있게 해주거든요.








