#!/usr/bin/awk -f
# Example sources.list
# deb file:/
############################################################################
# main
############################################################################
function main()
{
add_source("http://deb.debian.org/debian",
"bullseye", "main contrib non-free", "i386 amd64")
add_source("http://deb.debian.org/debian",
"bullseye-updates", "main contrib non-free", "i386 amd64")
add_source("http://deb.debian.org/debian-security",
"bullseye-security", "main contrib non-free", "i386 amd64")
fetch()
verify()
}
############################################################################
# add_source
############################################################################
function add_source(url, dist, components, archs, curr, sc, sa, c, a)
{
split_whitespace(components, sc)
split_whitespace(archs, sa)
for(c in sc)
{
for(a in sa)
{
curr = ++ALLOC
SOURCES[curr] = curr
SourceUrl[curr] = url
SourceDist[curr] = dist
SourceComp[curr] = sc[c]
SourceArch[curr] = sa[a]
SourcePackageDir[curr] = dist "/" SourceComp[curr] "/" SourceArch[curr]
}
}
}
############################################################################
# verify
############################################################################
function verify( source)
{
for(source in SOURCES)
{
verify_packages(source)
}
}
############################################################################
# fetch
############################################################################
function fetch( source)
{
for(source in SOURCES)
{
fetch_metadata(source)
}
for(source in SOURCES)
{
fetch_packages(source)
}
}
############################################################################
# verify_packages
############################################################################
function verify_packages(source, input, line, tokens, tc, filename, checksum)
{
input = SourcePackageDir[source] "/Packages"
filename = ""
checksum = ""
if(!exists(input))
{
return
}
while(getline line < input == 1)
{
tc = split_whitespace(line, tokens)
if(tc >= 2)
{
if(tokens[0] == "Filename:")
{
filename = tokens[1]
}
else if(tokens[0] == "SHA256:")
{
checksum = tokens[1]
}
}
if(filename != "" && checksum != "")
{
print("Verifying: " filename)
if(!exists(SourcePackageDir[source] "/" filename))
{
error("Package does not exist")
}
if(sha256(SourcePackageDir[source] "/" filename) != checksum)
{
error("Package checksum did not match")
}
filename = ""
checksum = ""
}
}
close(input)
}
############################################################################
# fetch_packages
############################################################################
function fetch_packages(source, input, line, output, tokens, tc, skip, filename, checksum, url)
{
input = SourcePackageDir[source] "/Packages.orig"
output = "Packages.part"
filename = ""
checksum = ""
if(exists(SourcePackageDir[source] "/Packages"))
{
return
}
touch(output)
while(getline line < input == 1)
{
skip = 0
tc = split_whitespace(line, tokens)
if(tc >= 2)
{
if(tokens[0] == "Filename:")
{
filename = tokens[1]
skip = 1
print("Filename: " basename(filename)) > output
}
else if(tokens[0] == "SHA256:")
{
checksum = tokens[1]
}
}
if(!skip)
{
print(line) > output
}
if(filename != "" && checksum != "")
{
url = SourceUrl[source] "/" filename
filename = basename(filename)
if(!exists(SourcePackageDir[source] "/" filename))
{
download(url, SourcePackageDir[source] "/" filename, checksum)
}
else
{
print("Package exists [" filename "]")
}
filename = ""
checksum = ""
}
}
close(output)
close(input)
mv("Packages.part", SourcePackageDir[source] "/Packages")
rm(SourcePackageDir[source] "/Packages.orig")
}
############################################################################
# fetch_metadata
############################################################################
function fetch_metadata(source, dir)
{
dir = SourcePackageDir[source]
if(exists(dir "/Packages"))
{
return
}
if(exists(dir "/Packages.orig"))
{
return
}
download(SourceUrl[source] "/dists/" SourceDist[source] "/" SourceComp[source] "/binary-" SourceArch[source] "/Packages.xz", "Packages.xz")
if(system("xz -d 'Packages.xz'") != 0)
{
error("Failed to decompress meta-data")
}
mkdir_p(dir)
mv("Packages", dir "/Packages.orig")
}
############################################################################
# rm
############################################################################
function rm(path)
{
if(system("rm '" path "'") != 0)
{
error("Failed to remove file")
}
}
############################################################################
# mv
############################################################################
function mv(source, dest)
{
if(system("mv '" source "' '" dest "'") != 0)
{
error("Failed to move file")
}
}
############################################################################
# mkdir_p
############################################################################
function mkdir_p(path)
{
if(system("mkdir -p '" path "'") != 0)
{
error("Failed to create diectory")
}
}
############################################################################
# error
############################################################################
function error(message)
{
print("Error: " message)
exit(1)
}
############################################################################
# sha256
############################################################################
function sha256(path, cmd, line)
{
cmd = "sha256 -q '" path "'"
#cmd = "sha256sum '" path "' | awk '{ print $1 }'"
if(cmd | getline line != 1)
{
error("Failed to generate checksum")
}
close(cmd)
return line
}
############################################################################
# download
############################################################################
function download(source, dest, checksum, fetch_cmd)
{
#fetch_cmd = "ftp -o"
#fetch_cmd = "wget -O"
fetch_cmd = "fetch -qo"
print("Fetching: " basename(source))
if(system(fetch_cmd " 'download.a' '" source "'") != 0)
{
error("Failed to download")
}
if(!checksum)
{
if(system(fetch_cmd " 'download.b' '" source "'") != 0)
{
rm("download.a")
error("Failed to download")
}
if(sha256("download.a") != sha256("download.b"))
{
rm("download.a")
rm("download.b")
error("Checksums do not match")
}
rm("download.b")
}
else
{
if(sha256("download.a") != checksum)
{
rm("download.a")
error("Checksums do not match")
}
}
mv("download.a", dest)
}
############################################################################
# exists
############################################################################
function exists(path)
{
if(system("test -e '" path "'") == 0)
{
return 1
}
return 0
}
############################################################################
# touch
############################################################################
function touch(path)
{
if(system("touch '" path "'") != 0)
{
error("Failed to touch file")
}
}
############################################################################
# basename
############################################################################
function basename(path, ci, ls)
{
ls = -1
for(ci = 1; ci <= length(path); ci++)
{
if(substr(path, ci, 1) == "/")
{
ls = ci
}
}
if(ls == -1) return path
return substr(path, ls + 1)
}
############################################################################
# split_whitespace
#
# Split the string by any whitespace (space, tab, new line, carriage return)
# and populate the specified array with the individual sections.
############################################################################
function split_whitespace(line, tokens, curr, c, i, rtn)
{
rtn = 0
curr = ""
delete tokens
for(i = 0; i < length(line); i++)
{
c = substr(line, i + 1, 1)
if(c == "\r" || c == "\n" || c == "\t" || c == " ")
{
if(length(curr) > 0)
{
tokens[rtn] = curr
rtn++
curr = ""
}
}
else
{
curr = curr c
}
}
if(length(curr) > 0)
{
tokens[rtn] = curr
rtn++
}
return rtn
}
BEGIN { main() }
: 
