AI 연산 클러스터와 데이터센터의 고속 상호연결 수요가 빠르게 증가하면서 광모듈 전송 속도는 400G와 800G를 넘어 1.6T, 3.2T 단계로 진입하고 있다. 전송 속도가 높아질수록 광변조기에는 더 넓은 대역폭뿐만 아니라 낮은 전력 소비, 작은 크기, 우수한 온도 안정성 및 높은 집적성이 요구된다.
이러한 배경에서 박막 리튬 나이오베이트(TFLN, Thin-Film Lithium Niobate), 또는 절연체 위 리튬 나이오베이트(LNOI)는 실험실 수준의 기술에서 차세대 고속 광통신을 위한 핵심 소재 플랫폼으로 빠르게 발전하고 있다.
1. 리튬 나이오베이트에서 TFLN으로의 발전
리튬 나이오베이트(LiNbO₃)는 우수한 전기광학, 음향광학 및 비선형 광학 특성을 가진 결정 소재로, 흔히 ‘광학 분야의 실리콘’이라고 불린다.
리튬 나이오베이트 광변조기의 핵심 원리는 포켈스 효과(Pockels Effect)이다. 외부 전기장을 가하면 소재의 굴절률이 전기장의 세기에 비례해 변화하며, 이를 이용해 광신호의 위상이나 세기를 고속으로 조절할 수 있다.
기존 벌크 리튬 나이오베이트 변조기는 이미 수십 년 동안 광통신 시스템에 사용되어 왔다. 그러나 소자의 길이가 센티미터 수준으로 크고, 구동 전압이 높으며, 변조 대역폭이 일반적으로 약 30GHz에 머무른다는 한계가 있다. 따라서 초고속 광모듈의 소형화와 저전력 요구를 충족하기 어렵다.
TFLN은 수백 나노미터 두께의 단결정 리튬 나이오베이트 박막을 SiO₂ 절연층이 형성된 실리콘, 석영 또는 리튬 나이오베이트 기판 위에 전사해 제작한다. 일반적인 구조는 다음과 같다.
리튬 나이오베이트 박막 / SiO₂ 절연층 / 지지 기판
박막화는 리튬 나이오베이트 자체의 전기광학 계수를 변화시키지는 않는다. 대신 광장과 전기장을 매우 좁은 영역에 집중시켜 두 장의 중첩 효과를 크게 향상시킨다.
그 결과 광도파로의 단면은 서브마이크론 수준으로 줄어들고, 소자의 길이는 센티미터에서 밀리미터 수준으로 축소된다. 구동 전압은 약 2V 수준까지 낮아질 수 있으며, 변조 대역폭은 100GHz 이상으로 확대될 수 있다.
이러한 특성으로 인해 TFLN은 1.6T와 3.2T 광모듈뿐만 아니라 향후 CPO(Co-Packaged Optics) 시스템에도 적합한 기술로 평가된다.
2. LNOI 웨이퍼의 제조 공정
현재 상용 LNOI 웨이퍼는 주로 SOI 웨이퍼 제조와 유사한 스마트 컷(Smart-Cut) 또는 이온 슬라이싱 공정을 이용해 생산된다.
첫 번째 단계는 이온 주입이다. 벌크 리튬 나이오베이트 웨이퍼에 헬륨 이온 또는 수소 이온을 주입한다. 이온은 설정된 깊이에서 집중되며, 결정 내부에 결함층 또는 분리층을 형성한다. 이온의 에너지에 따라 최종 리튬 나이오베이트 박막의 두께가 결정된다.
두 번째 단계는 지지 기판 준비이다. 실리콘, 석영 또는 리튬 나이오베이트 기판 위에 SiO₂ 절연층을 형성한다. 이후 CMP 화학기계적 연마를 통해 표면을 매우 평탄하고 매끄럽게 가공한다.
세 번째 단계는 웨이퍼 본딩이다. 이온 주입을 완료한 리튬 나이오베이트 웨이퍼를 뒤집어 SiO₂가 형성된 기판과 직접 접합한다. 양쪽 표면의 평탄도와 청정도가 충분히 높으면 별도의 접착제 없이 직접 본딩할 수 있다.
네 번째 단계는 열처리와 박리이다. 접합된 웨이퍼를 일정 온도로 가열하면 주입된 이온층에서 미세 기포와 내부 응력이 발생한다. 리튬 나이오베이트 결정은 이 결함층을 따라 분리되며, 얇은 단결정 박막만 지지 기판 위에 남게 된다.
마지막 단계는 CMP 평탄화이다. 박리 직후 박막 표면은 거칠고 두께가 일정하지 않을 수 있다. CMP를 통해 목표 두께로 조정하고, 표면 거칠기와 두께 균일성을 개선한다.
이 공정에서 박막 두께 균일도, 표면 거칠기, 본딩 강도, 결정 손상 및 웨이퍼 휨은 LNOI 웨이퍼의 품질을 결정하는 핵심 항목이다. 특히 6인치와 8인치 대구경 웨이퍼에서는 국부적인 두께 편차, 본딩 보이드 및 열응력이 후속 광소자의 성능과 수율에 직접적인 영향을 준다.
3. TFLN 광도파로의 주요 구조
TFLN 광도파로는 크게 단일 재료 식각형, 이종 재료 로딩형, 이종 접합형으로 구분할 수 있다.
단일 재료 식각형 광도파로는 리튬 나이오베이트 박막 자체를 직접 식각해 도파로를 형성한다. 광장과 전기장의 상호작용이 강해 높은 변조 효율을 얻을 수 있다. 그러나 리튬 나이오베이트는 화학적으로 안정적이고 식각이 어렵기 때문에 측벽 각도와 거칠기를 정밀하게 제어해야 한다. 측벽이 거칠면 광산란 손실이 증가한다.
이종 재료 로딩형 광도파로는 SiN, Si, TiO₂ 등의 재료를 리튬 나이오베이트 위에 형성해 광장을 제한한다. 이 방식은 리튬 나이오베이트의 직접 식각 난이도를 낮출 수 있지만, 실제로 리튬 나이오베이트 내부에 분포하는 광장의 비율이 줄어들어 변조 효율이 낮아질 수 있다.
이종 접합형 광도파로는 TFLN을 실리콘 포토닉스 또는 질화규소 플랫폼과 결합한다. 이를 통해 기존 실리콘 포토닉스 공정의 도파로, 결합기, 분배기, 다중화기 등 성숙한 수동 소자 라이브러리를 활용할 수 있다.
향후에는 InP 레이저가 광원을 제공하고, TFLN이 고속 변조를 담당하며, 실리콘 포토닉스가 광경로와 수동소자 집적을 담당하는 이종 집적 구조가 중요한 방향이 될 가능성이 높다.
4. TFLN과 InP·실리콘 포토닉스의 관계
TFLN은 InP 또는 실리콘 포토닉스를 완전히 대체하는 기술이 아니다. 각 소재는 광통신 시스템에서 서로 다른 역할을 담당한다.
InP는 직접 천이형 반도체이므로 레이저 광원을 제작하는 데 적합하다. 반면 실리콘과 리튬 나이오베이트는 자체적으로 효율적인 광원을 생성하기 어렵다.
실리콘 포토닉스는 도파로, 커플러, 멀티플렉서 등 다양한 수동 광소자를 대규모로 집적하는 데 유리하다. TFLN의 핵심 역할은 높은 전기광학 계수를 이용해 넓은 대역폭과 낮은 구동 전압을 구현하는 것이다.
따라서 차세대 광집적 시스템은 다음과 같은 구조로 발전할 가능성이 있다.
InP 광원 + TFLN 고속 변조기 + 실리콘 포토닉스 집적 플랫폼
이 세 가지 소재는 경쟁 관계이면서도 장기적으로는 상호 보완적인 관계를 형성할 것으로 예상된다.
5. 주요 응용 분야
TFLN은 고속 광통신 외에도 다양한 광전자 분야에 활용될 수 있다.
주요 응용 분야에는 광주파수 빗, 양자통신, 마이크로파 포토닉스, 광컴퓨팅, 광센서, 파장 변환 및 비선형 광학 소자가 포함된다.
리튬 나이오베이트는 넓은 광투과 범위와 우수한 비선형 광학 특성을 갖고 있다. 따라서 하나의 LNOI 플랫폼에서 고속 변조, 주파수 변환, 광신호 처리 및 광학적 조절 기능을 동시에 구현할 가능성이 있다.
이는 LNOI가 단순한 광변조기 소재를 넘어 다기능 광자집적회로 플랫폼으로 발전할 수 있다는 것을 의미한다.
6. 대규모 상용화를 위한 과제
TFLN의 기술적 장점은 분명하지만, 대규모 양산을 위해서는 여러 제조 과제를 해결해야 한다.
첫째, 대구경 웨이퍼에서 리튬 나이오베이트 박막의 두께 편차를 나노미터 수준으로 관리해야 한다. 박막 두께가 불균일하면 광도파로의 유효 굴절률과 위상 특성이 달라져 소자 성능 편차가 커진다.
둘째, 리튬 나이오베이트와 실리콘 사이에는 열팽창계수 차이가 크다. 열처리 과정에서 웨이퍼 휨, 균열 또는 계면 박리가 발생할 수 있으므로 본딩 조건과 어닐링 온도를 정밀하게 제어해야 한다.
셋째, 리튬 나이오베이트의 건식 식각 속도와 선택비가 낮다. 광도파로 측벽의 거칠기와 형상을 안정적으로 제어하는 것이 저손실 소자 제조의 핵심 기술이다.
넷째, LNOI 웨이퍼 가격, 변조기 칩 수율, 광섬유 결합 손실, 패키징 비용 및 CMOS 구동칩과의 이종 집적 기술도 지속적으로 개선되어야 한다.
따라서 TFLN 산업의 경쟁력은 단순한 소재 성능만으로 결정되지 않는다. 단결정 성장, 이온 주입, 웨이퍼 본딩, CMP, 미세 식각, 전극 형성, 광학 패키징 및 테스트 능력이 모두 결합되어야 한다.
결론
TFLN은 연구용 광자 플랫폼에서 실제 산업용 기술로 빠르게 전환되고 있다. 단기적으로는 1.6T 광모듈 시장에서 InP EML 및 실리콘 포토닉스 변조기와 함께 사용될 가능성이 높다.
향후 3.2T 광모듈, 단일 채널 400G, LPO 및 CPO 기술이 확대되면 TFLN의 높은 대역폭, 낮은 구동 전압 및 낮은 전력 소비라는 장점은 더욱 중요해질 것이다.
앞으로의 핵심 경쟁은 8인치 LNOI 웨이퍼의 두께 균일성, 웨이퍼 및 소자 수율, 저손실 광도파로 공정, 패키징 기술과 이종 집적 능력에 달려 있다.
이러한 문제를 먼저 해결하고 안정적인 대량생산 체계를 구축하는 기업이 차세대 고속 광통신 및 광자집적 산업에서 중요한 위치를 차지할 것으로 전망된다.