Docling(도클링)이란 무엇인가요?
- IBM Docling은 생성형 AI 애플리케이션을 위한 문서 처리 및 변환을 위한 오픈소스 툴킷 입니다. 제조 분야에서 AI 시스템 개발하시는 분에게 유용한 정보를 제공하겠습니다.
- PDF문서 추출 Tool을 이것 저것 사용해 봤는데 docling 이 최고인 것 같아 공유합니다. 무엇보다 사용해봐야 알겠죠~
핵심 기능
IBM Research Zurich의 AI for knowledge 팀에서 개발한 Docling은 PDF, DOCX, PPTX, XLSX, HTML, WAV, MP3, 이미지 파일 등 다양한 문서 형식을 파싱하고 처리할 수 있습니다.
주요 특징:
- 고급 PDF 이해: 페이지 레이아웃, 읽기 순서, 테이블 구조, 코드, 수식, 이미지 분류 등
- 통합 문서 표현: DoclingDocument 형식으로 구조화된 표현 제공
- 다양한 내보내기 형식: Markdown, HTML, DocTags, JSON 등으로 변환 가능
- 로컬 실행: 민감한 데이터와 격리된 환경에서 실행 가능
- AI 프레임워크 통합: LangChain, LlamaIndex, Crew AI, Haystack 등과 즉시 연결
기술적 특징
- Docling은 기존 OCR 기술의 한계를 극복하기 위해 페이지의 시각적 요소를 인식하고 분류하도록 훈련된 컴퓨터 비전 모델을 활용합니다.
- IBM is open-sourcing a new toolkit for document conversion - IBM Research DocLayNet 레이아웃 분석 모델과 TableFormer 테이블 구조 인식 모델과 같은 최첨단 AI 모델로 구동됩니다. Docling: An Efficient Open-Source Toolkit for AI-driven Document Conversion for AAAI 2025 - IBM Research
제조 분야 활용 가능성
제조업에서 Docling이 유용한 영역:
- 기술 문서 처리: 매뉴얼, 사양서, 도면 등의 복잡한 기술 문서를 AI가 처리할 수 있는 형태로 변환
- 품질 보증 문서: 검사 보고서, 인증서, 규정 문서 등을 구조화된 데이터로 변환
- 공정 문서화: 작업 지시서, 안전 매뉴얼 등을 RAG 시스템에 통합
- 공급업체 문서: 계약서, 사양서 등 다양한 형식의 문서를 일관된 형태로 처리
좋은 점:
- 사용자의 컴퓨터에서 로컬로 실행된다는 것입니다. API 호출이나 클라우드 종속성이 필요하지 않습니다.
- Docling은 macOS, Linux 및 Windows에서 작동하며 x86_64 및 ARM64 아키텍처를 모두 지원합니다(예: M1/M2 Mac에서 매우 유용합니다).
사용 방법
간단한 설치 및 사용이 가능합니다:
- **설치:
pip install docling- CLI 사용:
### Command Line Power Users
# 단일 문서 처리
docling https://arxiv.org/pdf/2206.01062
docling c/user/data/mypdf.pdf6
# 특정 출력 형식으로 처리
docling --to markdown research_paper.pdf
# 디렉토리에 있는 모든 PDF를 일괄 처리
docling --output ./processed/ ./documents/*.pdf
# 실험적 시각 언어 모델 사용
docling --pipeline vlm --vlm-model smoldocling research_paper.pdf- 파이썬 API:
from docling.document_converter import
DocumentConverter
source = "https://arxiv.org/pdf/2408.09869"
converter = DocumentConverter()
result = converter.convert(source)5print(result.document.export_to_markdown())파이썬 API (UI):
Test:
입력 PDF:
결과(markdown format)
Code
(코드가 필요하신 분은 연락주세요~)
0개의 댓글
로그인
로그인 이후 댓글 쓰기가 가능합니다.