러닛 회원가입
러닛 회원 로그인
사용자 인증
비밀번호 찾기
파이썬으로 웹 크롤러 만들기
일정 2019년 03월 예정 시간 미정 장소 러닛 압구정센터 지도보기 참가비 6만원  x 2개월 = 12만원

찜하기 클릭 시 스터디 시작 전 알려드립니다.

스터디 소개

소개

러닛 Basic 스터디는 스터디원들의 자발적인 참여로 진행되는 스터디입니다. 스터디가 원활하게 진행될 수 있도록 러닛 가디언이 함께합니다. 가디언은 역할 분담, 회고 정리, 출결 확인 등 전반적인 스터디 진행을 담당합니다.

러닛 Basic 운영방식
  1. 01 여러개의 세션 스터디 1회는 각자가 담당한
    여러개의 세션으로 구성됩니다.
  2. 02 내용정리+심화토론 하나의 세션은 [내용정리+심화토론]으로
    구성됩니다.
    - 발표형, 실습형, 토론형 등 주제에 맞게 선택해서 진행
  3. 03 전체 회고 모든 세션 종료 후 전체 회고를
    진행합니다.
    - 오늘 스터디의 좋았던 점 / 개선할 점 등 공유
  4. 04 네트워크 스터디원의 참가율이 높은
    우수 스터디는 회식비를
    지원해드립니다.


참가대상

✔ 파이썬에 대해 관심있는 분
✔ 파이썬 기반으로 바이럴 마케팅 관련 프로그램을 제작하고 싶으신 분
✔ 파이썬 기반 자동화 프로그램(봇)을 만들고 싶은 분

상세정보

  • 일정2019년 03월 예정
  • 시간미정
  • 장소러닛 압구정센터 지도보기
  • 참가비 6만원  x 2개월 = 12만원

후기

    커리큘럼 소개

    스터디 교재로 <파이썬으로 웹 크롤러 만들기>을 사용합니다. (교재는 별도 구매하셔야 합니다)
    파이썬으로 웹 크롤러 만들기
    • 1. 첫 번째 웹 스크레이퍼
      1.1.연결
      1.2.BeautifulSoup 소개

    • 2. 고급 HTML 분석
      2.1.닭 잡는 데 소 잡는 칼을 쓸 필요는 없습니다
      2.2.다시 BeautifulSoup
      2.3.정규 표현식
      2.4.정규 표현식과 BeautifulSoup
      2.5.속성에 접근하기
      2.6.람다 표현식
      2.7.BeautifulSoup를 넘어

      3. 크롤링 시작하기
      3.1.단일 도메인 내의 이동
      3.2.전체 사이트 크롤링
      3.3.인터넷 크롤링
      3.4.스크래파이를 사용한 크롤링

    • 4. API 사용
      4.1.API는 어떻게 동작하는가
      4.2.공통 표기법
      4.3.응답
      4.4.에코 네스트
      4.5.트위터
      4.6.구글 API
      4.7.JSON 파싱
      4.8.모든 것을 하나로

      5. 데이터 저장
      5.1.미디어 파일
      5.2.데이터를 CSV로 저장
      5.3.MySQL
      5.4.이메일

    • 6. 문서 읽기
      6.1.문서 인코딩
      6.2.텍스트
      6.3.CSV
      6.4.PDF
      6.5.마이크로소프트 워드와 .docx

      7. 지저분한 데이터 정리하기
      7.1.코드로 정리하기
      7.2.사후 정리

    • 8. 자연어 읽고 쓰기
      8.1.데이터 요약
      8.2.마르코프 모델
      8.3.자연어 툴킷
      8.4.추가 자료

      9. 폼과 로그인 뚫기
      9.1.파이썬 requests 라이브러리
      9.2.기본적인 폼 전송
      9.3.라디오 버튼, 체크박스, 기타 필드
      9.4.파일과 이미지 전송
      9.5.로그인과 쿠키 처리
      9.6.기타 폼 문제

    • 10. 자바스크립트 스크레이핑
      10.1.자바스크립트에 관한 간단한 소개
      10.2.Ajax와 동적 HTML
      10.3.리다이렉트 처리

      11. 이미지 처리와 텍스트 인식
      11.1.라이브러리 개관
      11.2.형식이 일정한 텍스트 처리
      11.3.CAPTCHA 읽기와 테서랙트 훈련
      11.4.CAPTCHA 가져오기와 답 보내기

    • 12. 스크레이핑 함정 피하기
      12.1.스크레이핑의 윤리에 관해
      12.2.사람처럼 보이기
      12.3.널리 쓰이는 폼 보안 기능
      12.4.사람처럼 보이기 위한 체크리스트

      13. 스크레이퍼로 웹사이트 테스트하기
      13.1.테스트 입문
      13.2.파이썬 unittest
      13.3.셀레니움을 사용한 테스트
      13.4.unittest vs 셀레니움

    • 14. 원격 스크레이핑
      14.1.원격 서버를 쓰는 이유
      14.2.토르
      14.3.원격 호스팅
      14.4.추가 자료
      14.5.미래를 향해



    EVENT
    파이썬으로 웹 크롤러 만들기
    스터디 참가신청