복잡한 객체의 파이썬 결정 트리 분류

Question

다양한 속성을 가진 의류/액세서리 제품 모음 (파이썬 객체로 표시)이 있습니다. 이러한 제품은 외부 API를 쿼리하고 판매자 웹 사이트를 스크랩하여 다양한 속성을 얻는 조합으로 생성됩니다.

제 목표는 이러한 특성을 사용하여 제품을 바지, 티셔츠, 드레스 등의 카테고리로 정확하게 분류하는 분류 기준을 개발하는 것입니다.

필자는 수동으로 분류 된 무작위로 균일하게 선택된 전체 데이터 세트의 하위 세트 인 교육 및 테스트 데이터 세트를 모두 보유하고 있습니다.

나는 기계 학습을 전문으로하는 전직 대학 동료와 이야기를 나누었으며 의사 결정 트리를 사용하도록 제안했습니다. 그러나 Python의 의사 결정 트리 라이브러리는 텍스트 속성을 기반으로 데이터를 분류하는 데 집중하는 것이 아니라 매우 수치 적으로 집중된 것으로 보입니다.

나는 Scikit Learn과 같은 라이브러리를 알고 있지만 간략한 분석을 통해 일반적으로 내가 필요로하는 것보다 규칙에 대한 논리가 간단하다는 것을 알 수 있습니다.

접근 방식, 라이브러리, 코드 구조 등에 대한 제안은 크게 감사하겠습니다. 그러나이 질문의 주된 초점은인데 가장 적합한 Python 컴퓨터 학습 라이브러리 (있는 경우)가 입니다.

• 이름 (str)
• 설명 (str)
• available_sizes ([str, str...])
• available_colours ([STR, STR ...])
:

제품 특성

에는 다음이 포함
• 가격 (float)
• url (,653,210)
• CATEGORY_NAME (str)
• 이미지 ([str, str...] - URL을)

제품의 예 :

당신이 사용할 수있는

{ 'category': u"Men's Accessories", 
    'colours': [u'White'], 
    'description': u'Keep your formal style looking classic with this white short sleeve Oxford shirt with roll up sleeve detailing.', 
    'ean': u'', 
    'gender': u'M', 
    'images': [ u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_large.jpg', 
        u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_2_large.jpg', 
        u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_3_large.jpg', 
        u'http://media.topman.com/wcsstore/TopMan/images/catalog/83D21DWHT_4_large.jpg'], 
    'last_scraped': datetime.datetime(2014, 11, 1, 7, 13, 28, 943000), 
    'merchant_id': 2479L, 
    'merchant_uri': u'http://www.topman.com/en/tmuk/product/white-oxford-short-sleeve-shirt-157702?geoip=noredirect', 
    'name': u'White Oxford Short Sleeve Shirt', 
    'price': 26.0, 
    'sizes': [u'XXS', u'XS', u'S', u'M', u'L', u'XL', u'XXL']} 

Answer 1

scikit을 배우기하지만 전처리가 필요하여 데이터. 의사 결정 트리의 다른 구현은 범주 데이터를 직접 처리 할 수 ​​있지만 문제를 해결할 수는 없습니다. 그래도 데이터를 전처리해야합니다.

먼저 이미지를 사용하지 않는 것은 다소 복잡합니다. 다른 모든 변수의 경우 기계 학습에 적합한 방식으로 인코딩해야합니다. 예를 들어, 사용 가능한 크기는 주어진 크기가 사용 가능한지 여부에 따라 0 또는 1로 인코딩 될 수 있습니다. 고정 된 문자열 집합에서 온 경우 색상을 범주형으로 인코딩 할 수 있습니다. 자유 텍스트 필드 인 경우 분류 기준을 사용하면 좋지 않을 수 있습니다 (예 : 사람들이 회색과 회색을 사용하고 있거나 완전히 다른 두 값이거나 오타가있을 수 있음)

설명 및 이름은 다음과 같습니다. 아마도 각 제품마다 고유하므로 범주 형 변수를 사용하면 각 변수가 한 번만 표시되므로 의미가 없습니다.이를 위해 단어 접근 방식을 사용하여 인코딩하는 것이 가장 좋습니다.

텍스트 분류에 대한 자습서는 tutorials section of the scikit-learn documentation에서 찾을 수 있습니다. 다른 자습서도 보길 원할 수 있습니다.

마지막으로 Naive Bayes 또는 LinearSVC와 같은 선형 분류기부터 시작하는 것이 좋습니다. 단일 트리는 실제 규칙을 추출하고 afaik 텍스트 처리에 거의 사용되지 않는 경우에 유용합니다 (수십 또는 수십만 개의 기능/단어가 있으므로 의미있는 규칙 추출이 어렵습니다). 트리 기반 방법을 사용하려면 무작위 포리스트 나 그라디언트 증폭과 같은 앙상블을 사용하면 더 나은 결과를 얻을 수 있습니다.