SpiderFoot

Read

SpiderFoot

SpiderFoot é uma ferramenta de automação de inteligência de código aberto. Seu objetivo é automatizar o processo de coleta de informações sobre um determinado alvo.

Objetivo

Existem três áreas principais onde SpiderFoot pode ser útil:

Se você é um testador de canetas, o SpiderFoot irá automatizar o estágio de reconhecimento do teste, dando-lhe um conjunto rico de dados para ajudá-lo a identificar as áreas de foco para o teste.
Compreenda o que a sua rede / organização está a expor abertamente ao mundo exterior. Essas informações nas mãos erradas poderiam ser um risco significativo.
SpiderFoot também pode ser usado para reunir inteligência de ameaça sobre IPs maliciosos suspeitos que você pode estar vendo em seus registros ou obteve através de alimentações de dados de inteligência de ameaça.

Características

Utiliza uma grande quantidade de fontes de dados ; Mais de 50 até agora e contando, incluindo SHODAN, RIPE, Whois, PasteBin, Google, SANS e muito mais.
Projetado para a extração máxima de dados ; Todos os dados são transmitidos para módulos que podem estar interessados, para que possam extrair informações valiosas. Nenhum pedaço de dados descobertos é salvo da análise.
Funciona em Linux e Windows. E totalmente open-source para que você possa garfá-lo no GitHub e fazer o que quiser com ele.
Visualizações. Visualizações incorporadas em JavaScript ou exportação para GEXF / CSV para uso em outras ferramentas, como Gephi, por exemplo.
UI e CLI baseados na Web. Escolha entre uma GUI que seja fácil de usar e uma poderosa interface de linha de comando. Dê uma olhada na galeria para obter capturas de tela da GUI.
Altamente configurável. Quase todos os módulos são configuráveis para que você possa definir o nível de intrusividade e funcionalidade.
Modular. Cada peça importante de funcionalidade é um módulo, escrito em Python. Sinta-se livre para escrever o seu próprio e enviá-los para serem incorporados!
Back-end SQLite. Todos os resultados da varredura são armazenados em um banco de dados SQLite local, para que você possa jogar com seus dados no conteúdo do seu coração.
Exames simultâneos. Cada análise de pegada é executada como seu próprio segmento, para que você possa realizar a pegada de muitos destinos diferentes simultaneamente.
Muito mais ... confira a documentação para obter mais informações.

Fontes de dados

Esta é uma lista cada vez maior de fontes de dados que SpiderFoot usa para reunir informações sobre seu alvo. Algumas exigem chaves API, mas estão disponíveis gratuitamente.

Módulo	Nome	Descrição
Sfp_accounts.py	Contas	Procure possíveis contas associadas em quase 200 sites como Ebay, Slashdot, Reddit, etc.
Sfp_adblock.py	AdBlock Check	Verifique se as páginas vinculadas serão bloqueadas pelo AdBlock Plus.
Sfp_alienvault.py	AlienVault OTX	Obter informações do AlienVault Open Threat Exchange (OTX)
Sfp_bingsearch.py	Bing	Alguns raspagem Bing leve para identificar subdomínios e links.
Sfp_binstring.py	Extractor de cordas binárias	Tente identificar cadeias de caracteres em conteúdo binário.
Sfp_bitcoin.py	Bitcoin Finder	Identifique endereços de bitcoin em páginas web raspadas.
Sfp_blacklist.py	Lista negra	Consulte vários bancos de dados da lista negra para relés abertos, proxies abertos, servidores vulneráveis, etc.
Sfp_botscout.py	BotScout	Pesquisas do banco de dados do botscout.com de IPs de spam e endereços de e-mail.
Sfp_censys.py	Censys	Obter informações da Censys.io
Sfp_clearbit.py	Clearbit	Verifique se há nomes, endereços, domínios e mais com base em pesquisas de endereços de e-mail em clearbit.com.
Sfp_coderepo.py	Código Repos	Identifique repositórios de códigos públicos associados (Github apenas por agora).
Sfp_cookie.py	Biscoitos	Extraia cookies de cabeçalhos HTTP.
Sfp_crossref.py	Referência cruzada	Identifique se outros domínios estão associados ('Afiliados') do alvo.
Sfp_crt.py	Transparência do certificado	Reúna nomes de host de certificados históricos em crt.sh.
Sfp_cymon.py	Cymon	Obter informações de Cymon.io
Sfp_darksearch.py	Darknet	Pesquisar Tor 'Onion City' motor de busca para menções do domínio alvo.
Sfp_defaced.py	Verificação de desfiguração	Verifique se um nome / domínio de host aparece no feed RSS de "defecements especiais" zone-h.org.
Sfp_dns.py	DNS	Executa uma série de verificações de DNS para obter subdominios / nomes de host, endereços IP e afiliados.
Sfp_duckduckgo.py	DuckDuckGo	Consulte a API do DuckDuckGo para obter informações descritivas sobre seu alvo.
Sfp_email.py	O email	Identifique os endereços de e-mail em todos os dados obtidos.
Sfp_errors.py	Erros	Identifique mensagens de erro comuns em conteúdo, como erros de SQL, etc.
Sfp_filemeta.py	Metadados de arquivo	Extrai meta dados de documentos e imagens.
Sfp_geoip.py	GeoIP	Identifica a localização física dos endereços IP identificados.
Sfp_googlemaps.py	Google Maps	Identifica possíveis endereços físicos e coordenadas de latitude / longitude.
Sfp_googlesearch.py	Pesquisa do Google	Alguns light scraping para identificar subdomínios e links.
Sfp_historic.py	Arquivos históricos	Identifica versões históricas de arquivos / páginas interessantes da Wayback Machine.
Sfp_honeypot.py	Honeypot Checker	Consulte o banco de dados projectthoneypot.org para entradas.
Sfp_hosting.py	Provedores de Hospedagem	Descubra se os endereços de IP identificados se enquadram em faixas conhecidas de hospedagem de terceiros, por exemplo, Amazon, Azure, etc.
Sfp_hunter.py	Hunter.io	Verifique os endereços de e-mail e os nomes no hunter.io.
Sfp_intfiles.py	Arquivos interessantes	Identifica possíveis arquivos de interesse, por exemplo, documentos do escritório, arquivos zip.
Sfp_ir.py	Registos da Internet	Consultas Registos da Internet para identificar netblocks e outras informações.
Sfp_junkfiles.py	Arquivos desnecessários	Procura arquivos antigos / temporários e outros semelhantes.
Sfp_malcheck.py	Verificação maliciosa	Verifique se um site, IP ou ASN é considerado mal-intencionado por várias fontes. Inclui nós de saída TOR e proxies abertos.
Sfp_malwarepatrol.py	MalwarePatrol	Pesquisas malwarepatrol.net do banco de dados de URLs maliciosos / IPs.
Sfp_names.py	Extrator de nome	Tentativa de identificar nomes humanos em conteúdo obtido.
Sfp_pageinfo.py	Página Info	Obter informações sobre páginas da web (eles aceitam senhas, eles contêm formulários, etc.)
Sfp_pastes.py	Pastas	PasteBin, Pastie e Notepad.cc raspando (via Google) para identificar conteúdo relacionado.
Sfp_pgp.py	PGP Key Look-up	Procure endereços de e-mail nos servidores de chaves públicas PGP.
Sfp_phone.py	Números de telefone	Identificar números de telefone em páginas web raspadas.
Sfp_portscan_tcp.py	Port Scanner - TCP	Verifica as portas TCP comummente abertas nos sistemas voltados para a Internet.
Sfp_psbdmp.py	Psbdmp.com	Verifique psbdmp.com (PasteBin Dump) para e-mails e domínios potencialmente pirateados.
Sfp_pwned.py	Senha Pwned	Verifique se eu fui Pwned? Para endereços de e-mail hackeados identificados.
Sfp_s3bucket.py	S3 Bucket Finder	Procure por potenciais baldes S3 associados ao alvo.
Sfp_sharedip.py	IP compartilhado	Procure Bing e / ou Robtex.com e / ou HackerTarget.com para hosts que compartilham o mesmo IP.
Sfp_shodan.py	SHODAN	Obtenha informações da SHODAN sobre endereços IP identificados.
Sfp_similar.py	Domínios semelhantes	Pesquise várias fontes para identificar nomes de domínio semelhantes, por exemplo, domínios agachados.
Sfp_social.py	Redes sociais	Identifique a presença em redes de redes sociais como LinkedIn, Twitter e outros.
Sfp_socialprofiles.py	Perfis de mídia social	Identifique os perfis das redes sociais para os nomes humanos identificados.
Sfp_spider.py	Aranha	Spidering de páginas da web para extrair conteúdo para pesquisa.
Sfp_sslcert.py	SSL	Reúna informações sobre certificados SSL usados pelos sites HTTPS do alvo.
Sfp_strangeheaders.py	Cabeçalhos estranhos	Obtenha cabeçalhos HTTP não padronizados devolvidos pelos servidores web.
Sfp_threatcrowd.py	ThreatCrowd	Obtenha informações da ThreatCrowd sobre endereços IP, domínios e endereços de e-mail identificados.
Sfp_tldsearch.py	TLD Search	Pesquise todos os TLDs de Internet para domínios com o mesmo nome do alvo (isso pode ser muito lento).
Sfp_virustotal.py	VirusTotal	Obter informações do VirusTotal sobre endereços IP identificados.
Sfp_vuln.py	Vulnerável	Verifique os serviços de verificação / notificação de vulnerabilidades externas (apenas agora openbugbounty.org) para ver se o alvo está listado.
Sfp_webframework.py	Estrutura da Web	Identifique o uso de frameworks populares como jQuery, YUI e outros.
Sfp_websvr.py	Servidor web	Obter bandeiras do servidor web para identificar as versões dos servidores web que estão sendo usadas.
Sfp_whois.py	Quem é	Execute uma pesquisa WHOIS em nomes de domínio e netblocks.
Sfp_wikileaks.py	Wikileaks	Pesquise Wikileaks para mencionar nomes de domínio e endereços de e-mail.
Sfp_xforce.py	XForce Exchange	Obtenha informações da IBM X-Force Exchange
Sfp_yahoosearch.py	Yahoo	Alguns light Yahoo raspagem para identificar sub-domínios e links.